98 家 B2B 軟體站沒有在 robots.txt 全站擋住 AI 搜尋爬蟲
2026-10-09，Frase 的搜尋結果工具對 24 個美國英文買家搜尋各回了一批自然結果。從裡面取出 98 家 B2B 軟體網站，範圍是行銷自動化、CRM、專案管理、人資和客戶支援。查詢例子包括 best CRM software、zendesk alternatives、employee onboarding software。原計畫 25 個搜尋，有 1 個因為結果離題而拿掉。每個搜尋大約 7 到 10 筆結果。沒有一家在 robots.txt 裡全站屏蔽 OpenAI、Perplexity 或 Anthropic 的搜尋爬蟲。robots.txt 只表示意圖，這次沒有測試防火牆。
目錄（8）
編譯自 Frase · Georgina D’Souza · 2026-10-15 原文
完整來源聲明
來源聲明：本文根據 Georgina D’Souza（Frase，2026-10-15）〈Is your website blocking AI search?〉編譯為繁體中文，不是逐句翻譯。原文：https://frase.io/blog/is-your-website-blocking-ai-search。文中「編輯解讀」為本站觀點，不屬於原文。檢索日期：2026-10-16。
robots.txt 是請求，不是鎖
檔案在你的網域 /robots.txt。它告訴願意遵守的爬蟲：誰可以來、哪些路徑不要進。Googlebot，以及 OpenAI、Anthropic、Perplexity 的爬蟲，若遵守規則，會先看這份檔案。全站擋一個爬蟲的寫法是該爬蟲的群組裡寫 Disallow: /，斜線後面沒有路徑。
兩件事要分開。第一，它不是鎖。真正擋下請求的是防火牆或機器人防護，robots.txt 看不出防火牆在做什麼。第二，擋下可以是沒人打算的：外掛、安全設定，或從別處貼來的「擋 AI」片段。
OpenAI 的說法是：若在 robots.txt 拒絕 OAI-SearchBot，網站不會出現在 ChatGPT 的搜尋回答裡，但仍可能以導覽連結出現。這和「訓練時不要用我的內容」不是同一條規則。
搜尋爬蟲和訓練爬蟲不是同一個名字
多數公司把搜尋和訓練分成不同的爬蟲。這次 98 家沒有一家全站拒絕這三個搜尋用的名字：OAI-SearchBot、PerplexityBot、Claude-SearchBot。沒有寫到的爬蟲，預設就是允許。所以「沒有提到 AI 爬蟲」等於沒有擋，不是一種積極的允許聲明。
作者整理的用途，檢索各公司說明的日期是 2026-10-13。OAI-SearchBot 用來讓網站出現在 ChatGPT 的搜尋功能；擋住它，就不會出現在那些搜尋回答裡，但仍可能是導覽連結。GPTBot 是可能用於訓練的抓取；擋住它，是在表示內容不應用於訓練。ChatGPT-User 是使用者的問題需要某一頁時才來；OpenAI 說 robots.txt 的規則未必適用於它。PerplexityBot 用於 Perplexity 搜尋裡的呈現和連結，不是訓練；Perplexity 建議若希望出現在搜尋結果就放行。Perplexity-User 則被寫成通常忽略 robots.txt。Anthropic 的搜尋爬蟲是 Claude-SearchBot。訓練側作者點名的還有 ClaudeBot 和 CCBot。
若一個爬蟲有自己的群組，它完全不看 User-agent: * 那一組。所以星號群組寫 Disallow: / 會擋住沒有被點名的爬蟲；已經有自己群組的爬蟲則只看自己的群組。Disallow: /admin/ 只擋那個路徑。Allow 某一條路徑，可以蓋過較寬的 Disallow: /。
98 家實際做了什麼
6 家沒有把 robots.txt 交給作者那個會表明身分的指令碼，其中 5 家是機器人驗證頁。這 6 家她改用瀏覽器裡存下的副本來編碼，所以仍然算進 98。5 家驗證頁不能告訴你它們怎麼對待 AI 爬蟲，只能說明防火牆會擋下某些指令碼。
能檢查的 93 家裡，58 家發布了 llms.txt，大約 62%。檔案在 /llms.txt，純文字或 Markdown，用來告訴 AI 工具哪些內容比較有用。有些來自 SEO 外掛，至少有一個常見外掛會預設產生，所以她無法分辨多少是刻意的。她沒有量這個檔案會不會讓網站被引用，並寫這是下一步。比例也看你抽哪一批：有 7 家是 Google 顯示、但 Frase 工具沒有返回的，她讀得到的裡面 2 家有這份檔案。有 llms.txt 不等於會被引用。
其餘基本項接近普遍。98 家都有網站地圖，寫在 robots.txt 或放在 /sitemap.xml。91 個讀得到的首頁裡，79 個（87%）在伺服器回傳的 HTML 裡就有 JSON-LD，不是等 JavaScript 跑完才出現。
擋訓練和擋搜尋是不同的決定。98 家裡有 2 家（2%）至少拒絕一個 AI 訓練爬蟲。peoplehum 拒絕 GPTBot、ClaudeBot 和 CCBot。vendr 拒絕 GPTBot，同時明確允許 OpenAI 的搜尋爬蟲和使用者代理。
兩個容易踩的地方
第一個是把搜尋爬蟲和訓練爬蟲寫成同一個 Disallow。想不讓內容進訓練，應擋訓練用的名字，而不是把 OAI-SearchBot、PerplexityBot、Claude-SearchBot 一起全站擋掉。vendr 的寫法是：訓練爬蟲拒絕，搜尋爬蟲允許。
第二個是防火牆。Cloudflare 在 2026-09-15 改了預設。新網域預設允許 AI 搜尋爬蟲，但在有顯示廣告的頁面上阻擋訓練和代理爬蟲。而且，已經設定阻擋 AI 訓練的站，這個阻擋現在也涵蓋「搜尋和訓練做在一起」的爬蟲。Cloudflare 說這包括 Googlebot、Bingbot 和 Applebot，除非站方事先選擇退出。無論是較新的 AI 流量設定，或較舊的 Block AI bots，都值得檢查現在擋到誰。用 Cloudflare 擋訓練，可能把 Googlebot 一起擋住。
Frase 自己的網站不在這 98 家裡。他們的 robots.txt 允許上表裡的每個 AI 爬蟲，而且大多數有點名。各組還帶 Content-Signal：search=yes、ai-input=yes、ai-train=no，也就是表明不想用於訓練，但沒有擋訓練爬蟲。他們也發布 llms.txt。這是他們自己的做法，不是 98 家的統計。
這 98 家不是 Google 結果的複本
作者用兩個搜尋對過 Google 美國。一個很接近，9 個網域裡有 8 個相同。另一個只有 1 個網域相同。所以這是當天 Frase 工具返回的廠商，不是 Google 結果的複製。被提到的原因，她寫更可能取決於這次沒量的東西：頁面說了什麼、還有哪些站引用你。Frase 也提供一個免費的檢查工具，會看 robots.txt、防火牆或驗證頁、HTML 是否在 JavaScript 之前就有內容、llms.txt、網站地圖和結構化資料。工具是他們的產品。
常見問題
- 這 98 家有沒有擋住 ChatGPT 或 Perplexity 的搜尋爬蟲？沒有一家在 robots.txt 全站拒絕 OAI-SearchBot、PerplexityBot 或 Claude-SearchBot。這只表示 robots.txt 裡的意圖。防火牆沒有測。6 家沒把檔案交給指令碼，其中 5 家是驗證頁，她改用瀏覽器副本。
- 58 家有 llms.txt，是不是因此會被引用？這次沒有量引用。能檢查的 93 家裡 58 家有這個檔案。有些可能是外掛預設產生的。另有一份近 30 萬網域的分析沒有發現 llms.txt 和引用相關，那是另一個分母。
- 擋訓練會不會擋到 Googlebot？在 robots.txt 裡分開寫，就不會。vendr 拒絕 GPTBot，同時允許 OpenAI 的搜尋爬蟲。若用 Cloudflare 擋 AI 訓練，2026-09-15 之後這個阻擋也涵蓋 Cloudflare 所說、搜尋和訓練做在一起的爬蟲，包括 Googlebot、Bingbot 和 Applebot，除非事先退出。
- 沒有在 robots.txt 點名 AI 爬蟲，是允許還是拒絕？沒有點名就是允許，除非 User-agent: * 寫了 Disallow: /。有自己群組的爬蟲不看星號群組。Perplexity-User 被寫成通常忽略 robots.txt，所以檔案裡的允許對它不一定有效。
- 這 98 家是 Google 美國的結果嗎？不是複本。對過的兩個搜尋，一個 9 個網域有 8 個相同，另一個只有 1 個相同。日期是 2026-10-09，24 個美國英文買家搜尋，原計畫 25 個，1 個離題拿掉。
編輯解讀
一句話重點：先看 robots.txt 有沒有把搜尋爬蟲全站擋掉，再看 Cloudflare 的訓練阻擋有沒有波及 Googlebot。llms.txt 這次很常見，但沒有被拿來證明會被引用。
這對你的網站意味著什麼：
- 打開 /robots.txt，分開看 OAI-SearchBot、PerplexityBot、Claude-SearchBot，以及 GPTBot、ClaudeBot、CCBot。全站拒絕是 Disallow: /，斜線後沒有路徑。
- 星號群組若是 Disallow: /，沒被點名的爬蟲也會被擋。已有自己群組的爬蟲不看星號。
- 想不進訓練，就擋訓練爬蟲，不要把搜尋爬蟲一起全站擋掉。用 Cloudflare 擋訓練之前，確認 Googlebot 仍被允許。
- 問防火牆或 CDN 現在怎麼對待這些爬蟲。robots.txt 看不出驗證頁。
- 不要因為 58/93 有 llms.txt，就把放檔案寫成會被引用。
適用與不適用的情境：適用於檢查 B2B 軟體站是否在 robots.txt 裡誤擋搜尋爬蟲，以及 Cloudflare 在 2026-09-15 之後的訓練阻擋。不適用於用這 98 家代表 Google 美國的完整結果，也不適用於證明防火牆沒有擋人。
需要注意的限制：Frase 賣檢查工具，自己的 robots.txt 不在 98 家裡。爬蟲用途依各公司 2026-10-13 的說明。6 家用的是瀏覽器副本。Perplexity-User 忽略 robots.txt 是 Perplexity 的說法。ChatGPT 或 Perplexity 會不會點名你，作者寫更取決於頁面內容和別的站怎麼引用，那不在這次的測量裡。
延伸閱讀：
可沉澱規則 · 供站點自檢3 條
從本文提煉，可供人工對照或 AI 分析站點時作為依據。全部規則
全站沒有 Disallow 搜尋爬蟲，只表示 robots.txt 的意圖。這次沒有測防火牆。沒點名的爬蟲預設允許。
- 沒點名等於允許，除非星號群組全站拒絕
- 防火牆另查
用 Cloudflare 擋 AI 訓練，2026-09-15 之後可能一併擋到 Googlebot、Bingbot 和 Applebot。訓練爬蟲和搜尋爬蟲要分開寫。
- 2026-09-15 之後確認有沒有波及 Googlebot
- 訓練爬蟲和搜尋爬蟲分開寫
58/93 有 llms.txt，這次沒有量會不會被引用。有檔案不等於會被引用。
- 這次沒有量引用
- 有檔案和被引用分開
名詞與資料來源
- Georgina D’Souza／Frase：〈Is your website blocking AI search?〉 https://frase.io/blog/is-your-website-blocking-ai-search（刊登：2026-10-15；檢索：2026-10-16）