|

AI 爬蟲有沒有讀到頁面?用伺服器日誌查 403、499 與空白 200

AI 可見度報表告訴你「回答有沒有提到你」,引薦報表告訴你「人有沒有點進來」;兩者都不能直接回答爬蟲是否拿到該頁。伺服器或 CDN 的存取日誌,記錄的是特定層、特定期間實際接到的請求。要排查 AI 搜尋可達性,可以先用它確認:哪些已驗證的爬蟲來過、要了哪些網址、收到了什麼狀態碼,以及是否在內容送完前離開。

目錄(7)

編譯自 iPullRank/Moz · Zach Chahalis · 2026-10-29

完整來源聲明

來源聲明:本文根據 Zach Chahalis(iPullRank/Moz,2026-10-29)〈How To Analyze Server Logs for AI Search〉編譯為繁體中文,不是逐句翻譯;OpenAI 爬蟲用途另依其官方文件核對。原文案例與數字不視為本站測試結果。文中「編輯解讀」是本站觀點。原始資料見文末,檢索日期:2026-11-02。

先把日誌取對:CDN 與原站看到的流量不同

Moz 文章用一行日誌說明基本欄位:來源 IP、時間、請求方法與網址、HTTP 狀態碼、送出位元組數,以及使用者代理(user-agent)。實務上還值得要回應時間和快取狀態。這兩欄不一定存在於每套伺服器的預設日誌,應先向維運團隊確認。1

先取幾百行樣本,核對欄位、時區、網域與格式,再匯出較長區間。若大量頁面由 CDN 邊緣快取直接回應,原站不會收到同一請求;只看原站日誌,就可能把快取命中誤判為爬蟲沒來。也要問清楚有沒有抽樣、被排除的子網域,以及 WAF 拒絕請求寫在哪一層。Moz 建議一到兩週用來查具體故障,一到兩個月看一般模式;訓練型爬蟲來得較少時,可能需要更長區間。這些是起點,不是所有網站通用的最低天數。

可交給維運同事的一句需求是:「請先給我 CDN 或 WAF 的數百行存取日誌樣本,包含 IP、時間、方法、完整網址、user-agent、狀態碼、送出位元組;若有,再加回應時間與快取狀態,並註明抽樣、時區與所含網域。」樣本可讀,再擴成優先頁面的一到兩週資料。

辨認爬蟲時,不能只信 user-agent 名字

GPTBot、OAI-SearchBot 和 ChatGPT-User 都帶著 OpenAI 名稱,但用途不同。OpenAI 文件說,GPTBot 與模型訓練相關;OAI-SearchBot 用於 ChatGPT 搜尋;ChatGPT-User 用於部分使用者觸發的網頁讀取,並不作自動網頁爬行,也不用來決定 ChatGPT Search 是否顯示內容。封鎖其中一種,不能推論另外兩種也被封鎖。OpenAI 還指出,使用者觸發的 ChatGPT-User 請求,robots.txt 規則可能不適用。2

user-agent 是請求方自己宣稱的文字,任何人都能仿寫。計數或修改防火牆規則之前,應用對方公布的 IP 範圍或其他官方驗證方法核對。OpenAI 的文件列有各爬蟲的 IP 清單;這些清單可能更新,不能把某次匯出的位址永久當白名單。把未驗證的假爬蟲算進 AI 抓取量,會誇大覆蓋率;把真的爬蟲當偽裝流量擋掉,又會製造 403。2

讀狀態碼時,同時看位元組與回應時間

先按「已驗證的代理 × 重要頁面或目錄」做表,再看請求數、狀態碼分布、送出位元組、回應時間和快取命中。只看全站平均值,容易把一個重要的定價頁或產品頁淹沒在圖片、CSS 與低價值網址裡。用一般網站爬行得到的優先頁清單與日誌網址比對,能找出頁面存在卻沒有在觀測窗口被抓到、或爬蟲還在反覆找舊網址的情況;但「日誌裡沒看到」只表示這批日誌沒有記到,仍須排除來源層、期間和抽樣問題。1

  • 200:請求成功,不等於拿到完整正文。若位元組數異常少,檢查伺服器回傳的原始 HTML 是否只有 JavaScript 外殼,再比對快取版本。
  • 301/302:檢查是否多次跳轉、循環,或把爬蟲帶到不同語言、登入頁;單一正常跳轉不必當成故障。
  • 403:檢查是伺服器存取政策、WAF、機器人管理、地區或登入限制所致。只看狀態碼不能判斷是哪一條規則;robots.txt 是否阻止爬蟲發出請求,則要另外檢查。
  • 404/410:確認頁面是否真已移除;若有內容相近的新頁,才考慮轉向。無關的舊頁不應一律導向首頁。
  • 500 類:看同一爬蟲、同一頁型是否反覆出錯,並對照原站應用程式日誌。

Moz 的例子還包括 499:在 nginx 及部分 CDN/負載平衡器日誌中,通常表示用戶端在回應完成前關閉請求。這不是標準 HTTP 狀態碼,不同設備可能用不同名稱記錄。原文示範的一筆 ChatGPT-User 請求,在快取未命中後等了約 31 秒,送出位元組為 0,最後記成 499。這能提示「要查慢請求」,卻不能僅憑 499 斷言一定是網站過慢,更不能證明少了一次 AI 引用。用戶端可能主動取消,或在別的環節被限速、重啟。1

若同一批優先頁反覆出現 499,對照回應時間、快取命中/未命中、頁面模板、資料庫查詢、WAF 與同一代理其他請求。若只有快取未命中的產品頁容易中斷,先讓工程團隊重現這條路徑。修正後,在相同記錄層與相近期間再看錯誤率和位元組;是否增加引用,要另用 AI 回答與引用監測驗證。

用一張表把「抓到」與「被引用」分開

建議每週保留一張簡表:優先網址、爬蟲用途、已驗證請求數、200/403/499/500 數、回應時間分布、送出位元組、快取狀態、最後一次成功時間,以及負責修正的人。把已知政策封鎖和非預期故障分開。這些是技術可達性的證據;「ChatGPT 回答是否引用這頁」和「人是否點進來」仍是另外兩張表。

Moz 文末提到 iPullRank 客戶修好存取限制後 AI 可見度上升,但當時同時進行內容與衡量工作,作者也沒有把改善單獨歸因於日誌修正。原文另提 2026 年 4 月約 70 萬頁的速度與引用相關分析,那不是對照實驗。因此,本文把日誌用作排除可達性故障,不把回應速度寫成引用排名公式。1

常見問題

  • 日誌沒有 OAI-SearchBot,就代表 ChatGPT 完全找不到我的網站嗎?不能直接這樣說。先確認取的是 CDN/WAF 還是原站日誌、是否有快取與抽樣、期間是否足夠、子網域是否都在;再查 robots 和官方 IP 驗證。缺席只表示目前這批記錄沒有顯示其請求。
  • 看到 200,是否代表 AI 已讀完整篇文章?不一定。200 只表示請求成功;還要看送出位元組是否明顯偏少,以及不執行 JavaScript 時的原始 HTML 有沒有正文。更不能把 200 直接算成一次引用。
  • 499 一定是網站太慢嗎?不是。499 在 nginx 等環境通常表示用戶端提前關閉請求,並非通用標準狀態碼。要看是否在相同頁型、快取未命中和長回應時間上反覆發生;單筆無法確定原因。
  • 擋 GPTBot 會把 ChatGPT 搜尋也擋掉嗎?OpenAI 把 GPTBot 與訓練、OAI-SearchBot 與搜尋分開管理;另有使用者觸發的 ChatGPT-User。應逐一查 robots 與 WAF 規則,不能用「AI bot」一條總規則推論全部用途。

編輯解讀

一句話重點:先用正確層級的日誌證明爬蟲收到什麼,再談內容為何沒被引用。

這對你的網站意味著什麼:

  • 先要數百行樣本與欄位說明,再取優先頁一到兩週日誌;不要讓資料量大到無法驗證格式。
  • 分開報 OAI-SearchBot、GPTBot、ChatGPT-User,先做身分核驗,再解讀阻擋與流量。
  • 把非預期 403、重複 499、異常小的 200 回應優先交給維運排查,附上網址、時間、快取與回應時間。
  • 修正後比較同一類日誌指標;AI 引用與人類點擊另測,避免把技術故障修復誤報為引用成長的因果。

適用與不適用的情境:適用於有 CDN、WAF 或伺服器存取日誌,想排查 AI 爬蟲到達重要頁面狀況的網站。不適合只憑日誌推測模型訓練採用了內容、回答一定引用了頁面,或使用者一定點擊。

需要注意的限制:不同站點的日誌欄位、499 寫法、快取層和抽樣方式不同;user-agent 可以冒名。Moz 作者在 iPullRank 任職,文中亦提到自身客戶與合作研究;其案例及相關性分析不能單獨證明某項技術修正造成 AI 引用上升。

延伸閱讀:

可複用規則3 條

從本文提煉,可供人工對照或 AI 分析站點時作為依據。全部規則

  1. 分析 AI 爬蟲請求前,先按供應商公布的 IP 範圍或驗證方法核對身分,並區分搜尋、訓練與使用者觸發用途。

    適用 用存取日誌評估 AI 搜尋可達性時
    排除 不要把 user-agent 字串當作身分證明,也不要把所有 AI bot 合併計數
  2. 解讀爬蟲缺席前,先核對日誌取自 CDN、WAF 還是原站,以及快取、抽樣、期間與子網域範圍。

    適用 重要頁面在日誌中沒有 AI 爬蟲請求時
    排除 不要用原站日誌缺席直接宣稱爬蟲從未造訪
  3. 按爬蟲與重要頁面查非預期 403、反覆 499 和位元組異常少的 200,結合回應時間與快取狀態重現問題。

    適用 AI 爬蟲可達性或頁面讀取不穩定時
    排除 不要把單筆 499 當作慢站或引用流失的因果證據

名詞與資料來源

  1. Zach Chahalis/Moz:〈How To Analyze Server Logs for AI Search〉,刊登於 2026-10-29;日誌欄位、分層、狀態碼與 499 案例。https://moz.com/blog/analyze-log-files-ai-search(檢索:2026-11-02)
  2. OpenAI:〈Overview of OpenAI Crawlers〉;OAI-SearchBot、GPTBot、ChatGPT-User 用途及公布的 IP 清單。https://developers.openai.com/api/docs/bots(檢索:2026-11-02)

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *