AI 爬蟲有沒有讀到頁面?用伺服器日誌查 403、499 與空白 200
AI 可見度報表告訴你「回答有沒有提到你」,引薦報表告訴你「人有沒有點進來」;兩者都不能直接回答爬蟲是否拿到該頁。伺服器或 CDN 的存取日誌,記錄的是特定層、特定期間實際接到的請求。要排查 AI 搜尋可達性,可以先用它確認:哪些已驗證的爬蟲來過、要了哪些網址、收到了什麼狀態碼,以及是否在內容送完前離開。
目錄(7)
編譯自 iPullRank/Moz · Zach Chahalis · 2026-10-29
完整來源聲明
來源聲明:本文根據 Zach Chahalis(iPullRank/Moz,2026-10-29)〈How To Analyze Server Logs for AI Search〉編譯為繁體中文,不是逐句翻譯;OpenAI 爬蟲用途另依其官方文件核對。原文案例與數字不視為本站測試結果。文中「編輯解讀」是本站觀點。原始資料見文末,檢索日期:2026-11-02。
先把日誌取對:CDN 與原站看到的流量不同
Moz 文章用一行日誌說明基本欄位:來源 IP、時間、請求方法與網址、HTTP 狀態碼、送出位元組數,以及使用者代理(user-agent)。實務上還值得要回應時間和快取狀態。這兩欄不一定存在於每套伺服器的預設日誌,應先向維運團隊確認。1
先取幾百行樣本,核對欄位、時區、網域與格式,再匯出較長區間。若大量頁面由 CDN 邊緣快取直接回應,原站不會收到同一請求;只看原站日誌,就可能把快取命中誤判為爬蟲沒來。也要問清楚有沒有抽樣、被排除的子網域,以及 WAF 拒絕請求寫在哪一層。Moz 建議一到兩週用來查具體故障,一到兩個月看一般模式;訓練型爬蟲來得較少時,可能需要更長區間。這些是起點,不是所有網站通用的最低天數。
可交給維運同事的一句需求是:「請先給我 CDN 或 WAF 的數百行存取日誌樣本,包含 IP、時間、方法、完整網址、user-agent、狀態碼、送出位元組;若有,再加回應時間與快取狀態,並註明抽樣、時區與所含網域。」樣本可讀,再擴成優先頁面的一到兩週資料。
辨認爬蟲時,不能只信 user-agent 名字
GPTBot、OAI-SearchBot 和 ChatGPT-User 都帶著 OpenAI 名稱,但用途不同。OpenAI 文件說,GPTBot 與模型訓練相關;OAI-SearchBot 用於 ChatGPT 搜尋;ChatGPT-User 用於部分使用者觸發的網頁讀取,並不作自動網頁爬行,也不用來決定 ChatGPT Search 是否顯示內容。封鎖其中一種,不能推論另外兩種也被封鎖。OpenAI 還指出,使用者觸發的 ChatGPT-User 請求,robots.txt 規則可能不適用。2
user-agent 是請求方自己宣稱的文字,任何人都能仿寫。計數或修改防火牆規則之前,應用對方公布的 IP 範圍或其他官方驗證方法核對。OpenAI 的文件列有各爬蟲的 IP 清單;這些清單可能更新,不能把某次匯出的位址永久當白名單。把未驗證的假爬蟲算進 AI 抓取量,會誇大覆蓋率;把真的爬蟲當偽裝流量擋掉,又會製造 403。2
讀狀態碼時,同時看位元組與回應時間
先按「已驗證的代理 × 重要頁面或目錄」做表,再看請求數、狀態碼分布、送出位元組、回應時間和快取命中。只看全站平均值,容易把一個重要的定價頁或產品頁淹沒在圖片、CSS 與低價值網址裡。用一般網站爬行得到的優先頁清單與日誌網址比對,能找出頁面存在卻沒有在觀測窗口被抓到、或爬蟲還在反覆找舊網址的情況;但「日誌裡沒看到」只表示這批日誌沒有記到,仍須排除來源層、期間和抽樣問題。1
- 200:請求成功,不等於拿到完整正文。若位元組數異常少,檢查伺服器回傳的原始 HTML 是否只有 JavaScript 外殼,再比對快取版本。
- 301/302:檢查是否多次跳轉、循環,或把爬蟲帶到不同語言、登入頁;單一正常跳轉不必當成故障。
- 403:檢查是伺服器存取政策、WAF、機器人管理、地區或登入限制所致。只看狀態碼不能判斷是哪一條規則;
robots.txt是否阻止爬蟲發出請求,則要另外檢查。 - 404/410:確認頁面是否真已移除;若有內容相近的新頁,才考慮轉向。無關的舊頁不應一律導向首頁。
- 500 類:看同一爬蟲、同一頁型是否反覆出錯,並對照原站應用程式日誌。
Moz 的例子還包括 499:在 nginx 及部分 CDN/負載平衡器日誌中,通常表示用戶端在回應完成前關閉請求。這不是標準 HTTP 狀態碼,不同設備可能用不同名稱記錄。原文示範的一筆 ChatGPT-User 請求,在快取未命中後等了約 31 秒,送出位元組為 0,最後記成 499。這能提示「要查慢請求」,卻不能僅憑 499 斷言一定是網站過慢,更不能證明少了一次 AI 引用。用戶端可能主動取消,或在別的環節被限速、重啟。1
若同一批優先頁反覆出現 499,對照回應時間、快取命中/未命中、頁面模板、資料庫查詢、WAF 與同一代理其他請求。若只有快取未命中的產品頁容易中斷,先讓工程團隊重現這條路徑。修正後,在相同記錄層與相近期間再看錯誤率和位元組;是否增加引用,要另用 AI 回答與引用監測驗證。
用一張表把「抓到」與「被引用」分開
建議每週保留一張簡表:優先網址、爬蟲用途、已驗證請求數、200/403/499/500 數、回應時間分布、送出位元組、快取狀態、最後一次成功時間,以及負責修正的人。把已知政策封鎖和非預期故障分開。這些是技術可達性的證據;「ChatGPT 回答是否引用這頁」和「人是否點進來」仍是另外兩張表。
Moz 文末提到 iPullRank 客戶修好存取限制後 AI 可見度上升,但當時同時進行內容與衡量工作,作者也沒有把改善單獨歸因於日誌修正。原文另提 2026 年 4 月約 70 萬頁的速度與引用相關分析,那不是對照實驗。因此,本文把日誌用作排除可達性故障,不把回應速度寫成引用排名公式。1
常見問題
- 日誌沒有 OAI-SearchBot,就代表 ChatGPT 完全找不到我的網站嗎?不能直接這樣說。先確認取的是 CDN/WAF 還是原站日誌、是否有快取與抽樣、期間是否足夠、子網域是否都在;再查 robots 和官方 IP 驗證。缺席只表示目前這批記錄沒有顯示其請求。
- 看到 200,是否代表 AI 已讀完整篇文章?不一定。200 只表示請求成功;還要看送出位元組是否明顯偏少,以及不執行 JavaScript 時的原始 HTML 有沒有正文。更不能把 200 直接算成一次引用。
- 499 一定是網站太慢嗎?不是。499 在 nginx 等環境通常表示用戶端提前關閉請求,並非通用標準狀態碼。要看是否在相同頁型、快取未命中和長回應時間上反覆發生;單筆無法確定原因。
- 擋 GPTBot 會把 ChatGPT 搜尋也擋掉嗎?OpenAI 把 GPTBot 與訓練、OAI-SearchBot 與搜尋分開管理;另有使用者觸發的 ChatGPT-User。應逐一查 robots 與 WAF 規則,不能用「AI bot」一條總規則推論全部用途。
編輯解讀
一句話重點:先用正確層級的日誌證明爬蟲收到什麼,再談內容為何沒被引用。
這對你的網站意味著什麼:
- 先要數百行樣本與欄位說明,再取優先頁一到兩週日誌;不要讓資料量大到無法驗證格式。
- 分開報 OAI-SearchBot、GPTBot、ChatGPT-User,先做身分核驗,再解讀阻擋與流量。
- 把非預期 403、重複 499、異常小的 200 回應優先交給維運排查,附上網址、時間、快取與回應時間。
- 修正後比較同一類日誌指標;AI 引用與人類點擊另測,避免把技術故障修復誤報為引用成長的因果。
適用與不適用的情境:適用於有 CDN、WAF 或伺服器存取日誌,想排查 AI 爬蟲到達重要頁面狀況的網站。不適合只憑日誌推測模型訓練採用了內容、回答一定引用了頁面,或使用者一定點擊。
需要注意的限制:不同站點的日誌欄位、499 寫法、快取層和抽樣方式不同;user-agent 可以冒名。Moz 作者在 iPullRank 任職,文中亦提到自身客戶與合作研究;其案例及相關性分析不能單獨證明某項技術修正造成 AI 引用上升。
延伸閱讀:
可複用規則3 條
從本文提煉,可供人工對照或 AI 分析站點時作為依據。全部規則
分析 AI 爬蟲請求前,先按供應商公布的 IP 範圍或驗證方法核對身分,並區分搜尋、訓練與使用者觸發用途。
解讀爬蟲缺席前,先核對日誌取自 CDN、WAF 還是原站,以及快取、抽樣、期間與子網域範圍。
按爬蟲與重要頁面查非預期 403、反覆 499 和位元組異常少的 200,結合回應時間與快取狀態重現問題。
名詞與資料來源
- Zach Chahalis/Moz:〈How To Analyze Server Logs for AI Search〉,刊登於 2026-10-29;日誌欄位、分層、狀態碼與 499 案例。https://moz.com/blog/analyze-log-files-ai-search(檢索:2026-11-02)
- OpenAI:〈Overview of OpenAI Crawlers〉;OAI-SearchBot、GPTBot、ChatGPT-User 用途及公布的 IP 清單。https://developers.openai.com/api/docs/bots(檢索:2026-11-02)