大家都在引用同一個數字，卻得到不同答案

來源聲明：本文根據〈Everyone Is Quoting The Same Number And Getting Different Answers〉（Duane Forrester，刊於 Search Engine Journal，2026-09-10；文末註明原刊於 Duane Forrester Decodes）編譯整理。原文連結：https://searchenginejournal.com/everyone-is-quoting-the-same-number-and-getting-different-answers/588659。頁面未見開放授權。文中「編輯解讀」為本站觀點。本篇為 review 稿，維持草稿。

Anthropic 的 crawl-to-refer 比值，在約 13 個月內被報成 70,900:1、38,000:1、23,951:1、11,122:1、10,300:1、4,580:1、2,237:1 等——全都歸給 Cloudflare，卻可相差一個數量級。Duane Forrester 的重點是：不是有人撒謊，而是比值離開原文後，分母被一層層剝掉。

指標本身很清楚

Cloudflare 在 2025-07 前後引入該指標：某平台相關 user-agent 的 HTML 回應次數，除以 Referer 主機屬於該平台的 HTML 請求次數，再正規化成單次推薦。公式公開、可複核。問題出在傳播。

四層被忽略的分母

時間窗：刊出例為 2025-06-19 至 26 一週，Anthropic 約 70,900:1、Mistral 約 0.1:1；同月另一篇 Anthropic 約 73,000:1。下游卻把季、月、滾動 28 天與單週混著引用。Google 比值曾一週變約 19.4%，只因爬取排程變化。

哪個機器人：訓練爬蟲與使用者請求爬蟲行為不同，卻常加總成「一個平台」。這也讓和 Google 的對照結構不穩。

誰的網站：Cloudflare 只看過其網路的流量；不同面板上同一平台比值可差到約一倍。

有宣告的推薦：原生 App 常不帶 Referer；Cloudflare 寫明因此可能高估比值，且不清楚高估多少。另：排除 Google 自身網路上的推測預取等，也是判斷呼叫。

傳播鏈上，原生 App 註、時間窗與分組說明常被拿掉，最後只剩「一個整數 + 公司名 + 過度信心」。出版商已用這些數字決定放行或封鎖爬蟲；行銷則用它主張 AI 推薦流量不值得追——兩者都難回頭。

常見問題

• crawl-to-refer 比值在量什麼？比較某平台相關爬蟲抓了多少 HTML 頁，以及帶有該平台主機名稱 Referer 的 HTML 造訪有多少，並正規化成「每一次推薦對上多少次抓取」。
• 文中列出哪些被歸給 Cloudflare／Anthropic 的數字？約 70,900:1、38,000:1、23,951:1、11,122:1、10,300:1、4,580:1、2,237:1；都在約 13 個月內出現，其中兩個號稱同一個月卻可差約 17 倍。
• 為什麼同一來源會散成一個數量級？作者指出至少四層「分母」常被摘掉：統計時間窗、把訓練爬蟲與使用者請求爬蟲加總、Cloudflare 客戶組成的樣本偏差，以及只計算有 Referer 的推薦（原生 App 常沒有）。
• Cloudflare 自己怎麼披露限制？公式公開；並寫明 Claude 原生 App 等推薦可能沒有 Referer，因此比值可能高估，且「不清楚高估多少」。另例：Google 比值一週可因爬取排程變動約 19.4%。
• 作者建議做決策前問哪三件事？涵蓋哪個期間、為了產出數字做了哪些合併分組、蒐集邊界停在哪裡。三者不清楚就不該把裸數字當政策依據。

編輯解讀

一句話重點：引用產業指標時，把時間窗、分組與蒐集邊界當成數字的一部分；沒有這三樣，就只是「看起來像數字的形狀」。

這對你的網站意味著什麼：

• 決定封鎖／放行 AI 爬蟲前，核對原始方法論連結。
• 分開看訓練型與使用者觸发型爬蟲。
• 不要把單週尖峰寫進半年政策。
• 內部簡報強制附期間與定義。
• 對 AI 能見度供應商，優先選主動揭露窗口／分組／邊界者。

適用與不適用的情境：適合評估 AI 爬蟲政策與閱讀產業基準的人。不適合當成「正確 Anthropic 比值是幾」的答案文——作者刻意說明散佈本身才是主題。

需要注意的限制：文章刊於 SEJ，作者同時經營測量／顧問相關事業並自述「我也是其中一員」，存在立場；七個下游數字未點名來源。Cloudflare 原始方法以官方部落格為準¹。本篇為 review，維持 draft。

延伸閱讀：

• Cloudflare：〈The crawl before the fall… of referrals〉 https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/

名詞與資料來源

1. crawl-to-refer 方法說明 — Cloudflare：〈understanding AI’s impact on content providers〉 https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/（檢索日期：2026-09-30） 2. 比值被誤引的評論 — Search Engine Journal：〈Everyone Is Quoting The Same Number…〉 https://searchenginejournal.com/everyone-is-quoting-the-same-number-and-getting-different-answers/588659（檢索日期：2026-09-30） 3. 後續比值更新例 — Cloudflare：〈The crawl-to-click gap〉 https://blog.cloudflare.com/crawlers-click-ai-bots-training/（檢索日期：2026-09-30）