AI 訓練爬蟲會讀站點地圖：用預設檔名或 RSS

更新 2026-10-12

John Mueller 在 10 月 1 日 Search Off the Record 和 Martin Splitt 談站點地圖還重不重要。他說 AI 訓練爬蟲通常沒有可以提交站點地圖的主控台。想被這些爬蟲找到，就用預設檔名 sitemap.xml，或改走 RSS。他在自己的伺服器日誌裡看過 AI 爬蟲讀站點地圖和 RSS，但沒有說是哪一家，也不知道對方有沒有寫進文件、讀了之後做什麼。

想藏起來，就不要用預設名

想讓站點地圖保持私密，用不尋常的檔名，不寫進 robots.txt，只提交給 Google。其他系統就找不到，Bing 多半要另外提交。協定裡的 Sitemap 行和 User-Agent 行是分開的。RSS 通常從 HTML head 連出去，比較好找。

llms.txt 不能當站點地圖

llms.txt 被問到能不能取代 XML 站點地圖。Mueller 把它比成 HTML 站點地圖：格式不夠嚴，Google 目前不能拿它當站點地圖。他說「希望大於現實」，搜尋系統也許有一天會讀 Markdown，但「目前都不會這樣做」。可以試，不要靠它。他曾在 8 月提到，測試站上聲稱接受 Markdown 的爬蟲多半是 SEO 工具，不是主流 AI 訓練 bot。5 月的報導也寫，Google 生成式 AI 優化指南把 llms.txt 列在網站不需要為生成式功能而做的項目之一。

Splitt 在節目結尾追問：為什麼有效、公開、又從 robots.txt 連出去的站點地圖，Search Console 仍顯示 Couldn’t fetch？Mueller 的回答是下一節的兩個原因，並強調 crawl demand 常來自對網站品質的判斷，「不純粹是技術問題」。

有效檔案仍可能抓不到

有效、公開、也從 robots.txt 連出的站點地圖，仍可能顯示 Couldn’t fetch。一個原因是主機負荷：Google 系統太忙來不及抓，Console 也會用同一訊息呈現。另一個是抓取需求（crawl demand）：若判斷不必再大量爬這個站，就可能跳過站點地圖。抓取需求常與對網站品質的感知有關。他在 2 月對 Reddit 使用者說，若不認為還有新的重要內容要索引，就不會使用這張站點地圖。Search Console 站點地圖說明頁把低抓取需求列為可能原因之一，並寫更好的內容會帶來較高抓取需求；其他原因還包括 robots.txt 阻擋、未解除的人工處置、錯誤網址等。

Mueller 也提醒：用不尋常檔名且不在 robots.txt 揭露的站點地圖，對未提交該檔的系統會保持隱藏；AI 訓練爬蟲通常沒有提交入口。想被 AI 爬蟲找到，就用預設檔名或 RSS；若 robots.txt 有 Sitemap 指令，支援該指令的爬蟲也會知道檔案位置。他建議依目前已文件化的行為規劃，而不是押在 llms.txt 上；他自己是在伺服器日誌裡看到 AI 爬蟲讀取 sitemap 與 RSS，你也應在 log 自行核對。

常見問題

• AI 訓練爬蟲怎麼找到站點地圖？Mueller 說它們通常沒有提交入口。想被找到就用 sitemap.xml，或提供 RSS。他在自己的日誌裡看過這兩種檔案被讀，但沒有點名爬蟲。
• 不想被 AI 爬蟲讀到站點地圖，要怎麼做？用不尋常的檔名，不寫進 robots.txt，只提交給 Google。其他系統就找不到，Bing 多半要另外提交。
• llms.txt 可以取代 XML 站點地圖嗎？不行。Mueller 說它像 HTML 站點地圖，格式不夠嚴，Google 目前不能拿它當站點地圖。可以試，不要靠它。
• 檔案有效仍顯示 Couldn’t fetch，是檔案壞了嗎？不一定。他說的兩個原因是主機負荷和抓取需求。抓取需求常常來自品質判斷，不在檔案本身。

編輯解讀

一句話重點：要被 AI 訓練爬蟲找到，用預設站點地圖或 RSS；要藏起來，就不要用預設名，也不要寫進 robots.txt。

這對你的網站意味著什麼：

• 先決定這張站點地圖是要被找到，還是只給 Google。兩種做法不能同時用預設檔名。
• 在伺服器日誌裡找非 Google 的爬蟲有沒有讀 sitemap.xml 或 RSS，不要只看 Search Console 有沒有提交成功。
• Couldn’t fetch 先對主機負荷和抓取需求，不要先改 XML 格式。
• llms.txt 可以留著試驗，不要把它算進索引或 AI 引用的必要條件。

適用與不適用的情境：適合要決定站點地圖檔名要不要公開的站。不適合把「日誌裡出現過」理解成某一家模型已經在引用你的頁面。

需要注意的限制：這是 Search Engine Journal 對 10 月 1 日播客的編譯。Mueller 沒有說出爬蟲名稱，也沒有說那些檔案被拿去做訓練還是發現。2 月的 Reddit 說法是轉述，這篇沒有貼出原帖。

延伸閱讀：

• 站點地圖顯示 couldn’t fetch：檔案可能沒壞

名詞與資料來源

1. 預設檔名、RSS 與 Couldn’t fetch — Search Engine Journal：〈AI Crawlers Access Sitemaps & RSS〉 https://searchenginejournal.com/googles-mueller-says-ai-crawlers-access-sitemaps-rss-in-his-logs/592012/（檢索日期：2026-10-08）
2. Sitemap 行與 User-Agent 分開 — Sitemaps.org：〈Sitemaps protocol〉 https://www.sitemaps.org/protocol.html（檢索日期：2026-10-08）
3. 抓不到的原因 — Google Search Console 說明：〈Sitemaps report〉 https://support.google.com/webmasters/answer/7451001（檢索日期：2026-10-08）