AI 可見度排名會晃:單次讀數多半是統計雜訊
更新 2026-10-14
儀表板上的 AI 可見度是一次抽樣,不是固定事實。生成式模型每次回答都會換一批來源,所以你和對手的差距,可能是真的,也可能只是兩次測量之間的晃動。Matt G. Southern 整理的是 Ron Sielinski 在 4 月 11 日放出的 IQRush 預印本。Sielinski 是這家測量軟體的共同創辦人。同一個月,聖加侖大學的另一組人也得到相近結論,所以這不是只有賣方在講。
目錄(6)
來源聲明 原文
完整來源聲明
來源聲明:本文根據 Search Engine Journal 對 IQRush 預印本的整理編譯,不是逐句翻譯。原文連結:https://searchenginejournal.com/rundowns/q3-ai-visibility-ai-citations-brand-mentions-content-refreshes-that-work。文中「編輯解讀」為本站觀點,不屬於原文。
排名要同時滿足兩件事
同一題重問 SearchGPT、Gemini 或 Perplexity,引用的網址會變。作者先前用跑鞋測 SearchGPT:Tom’s Guide 約佔引用的 9.5%,Runner’s World 約 6.0%。看板上看起來前者領先,但誤差區間重疊,3.5 個百分點的差距不能說成誰贏。
新論文把「可以相信的排名」拆成兩個條件,必須同時成立。第一,名次不再隨著新答案一直改。第二,前段網站彼此的差距要大於各自的誤差。30 組平台加主題的測試裡,兩條件同時成立所需的、帶引用的答案,少則 33 則、多則 94 則。其中 3 組在 125 題之後仍分不開前段,而且都在 SearchGPT。沒有一條適用所有平台的題數。
報表要改的地方
文中把 SparkToro 在 1 月的發現接上來:同一題重問,AI 工具給出不同品牌名單的情況超過 99%。這篇預印本補的是「要問幾次才穩」。Rand Fishkin 的建議是,付錢追蹤之前先看對方是否把算法攤開。
改版後引用份額升 3 個點,仍可能落在連續重跑的自然波動裡。要聲稱是改版見效,前後都得各測一次以上。同一則答案裡,Gemini 往往把多條引用堆到少數網站,資訊是重複的;SearchGPT 每則答案引用較少,但散得比較開。同樣的答案數,兩個引擎買到的信心不一樣。30 組裡有 3 組在預算內分不開前段,這時應寫資料不足,而不是硬排一名次。
前段比較站得住,中後段不行。前十名的典型誤差大約是 5 個名次,五分之一比 10 個名次還寬。可以談領先的那幾家,不要把中後段的精確名次寫進報告。
這篇沒有證明的事
它是預印本,不是同儕審查過的論文。材料是三個引擎上的 30 組測試,題目由 ChatGPT 生成,不是真實搜尋,而且只收了一段時間。只計算帶引用的答案。有一個主題 125 題只得到 104 則可用答案,約 17% 沒有引用,所以實際要提交的題數比論文裡的數字更多。
方法檢驗是拿同一批資料的早期排名對最終排名,不是對外部真值。聖加侖大學的 Julius Schulte、Malte Bleeker、Philipp Kaufmann 用另一份資料得到同一判斷:單次讀數不可靠,必須反覆抽樣。論文也沒有給出開工前就能知道的題數預算,並認為不會有一個通用預算。
常見問題
- 單次儀表板讀數可以拿來比較對手嗎?不行。引用份額會在重跑之間晃動。跑鞋例子裡 3.5 個百分點的差距仍落在誤差裡。
- 要收集多少帶引用的答案,排名才算穩?這 30 組測試裡是 33 到 94 則,而且名次要不再亂跳、前段差距要大於誤差。3 組在 125 題後仍分不開,沒有統一題數。
- Gemini 和 SearchGPT 可以用同一組答案數嗎?不可以。Gemini 常把引用堆在少數網站,SearchGPT 散得比較開。同樣的答案數,信心不一樣。
- 前十名的名次可以精確引用嗎?前段比較能談,但典型誤差約 5 個名次,五分之一超過 10 個名次。中後段不要寫精確名次。
編輯解讀
一句話重點:AI 可見度要報區間和重跑次數,不要報單一小數點。
這對你的網站意味著什麼:
- 同一組提示詞至少再跑一輪,再比較引用份額。
- 記下沒有帶回引用的回答,SearchGPT 這類引擎會把題數吃掉。
- 3 個點以內的份額變化先當波動,不寫成改版結果。
- 供應商若只給一個乾淨名次、不給誤差,先不要用那個名次做預算。
適用與不適用的情境:適合已經在看引用份額週報的團隊。不適合把 33 到 94 則當成自己品類的固定題數,原文寫明數字不能當對照表。
需要注意的限制:IQRush 賣的就是這種測量。預印本用模型生成的題目,不是真實搜尋。聖加侖大學那組是獨立資料,但本文沒有附他們的論文連結。
延伸閱讀:
可沉澱規則 · 供站點自檢2 條
從本文提煉,可供人工對照或 AI 分析站點時作為依據。全部規則
IQRush 預印本(Ron Sielinski,4/11):可信排名須同時滿足名次不再隨新答案亂跳、前段差距>各自誤差。30 組平台+主題需 33–94 則帶引用答案;3 組 SearchGPT 在 125 題後仍分不開前段。跑鞋例 Tom's Guide 9.5% vs Runner's World 6.0% 誤差重疊,3.5pp 不能判勝。
- 是否報重跑次數
- Gemini vs SearchGPT 引用集中度
預印本非同儕審查;30 組、ChatGPT 生成題非真實搜尋、只計帶引用答案(一主題 125 題僅 104 可用≈17% 無引用)。前十典型誤差≈5 名次、1/5 超 10 名次;中後段勿寫精確名次。3pp 改版前後仍可能是波動。IQRush 賣測量;聖加侖大學獨立得相近結論但本文未附其文連結。
- 是否標預印本
- 無引用回答是否計入
名詞與資料來源
- AI 可見度波動與停止規則 — Search Engine Journal:〈AI Visibility Rankings Aren’t Stable〉 https://searchenginejournal.com/rundowns/q3-ai-visibility-ai-citations-brand-mentions-content-refreshes-that-work(檢索日期:2026-10-14)
One Comment