用 Oncrawl 做 AI 可見度的主題探索

來源聲明：本文根據 Andreas Voniatis〈Topic Discovery for AI Visibility using Oncrawl〉（Oncrawl，2026-08-25）編譯整理，不是逐句翻譯。原文連結：https://oncrawl.com/ai/topic-discovery-ai-visibility-oncrawl。頁面未見開放授權。文中「編輯解讀」為本站觀點。本篇為複核用草稿。

Andreas Voniatis 從 NLP 演進談起：TF-IDF、BM25 這類依詞頻與文件頻率打分的方法，很難區分「river bank」與「bank loans」這類同形異義。大型語言模型讓檢索從「詞重疊」走向「意義」。他還提到 AI 愈來愈依賴 schema、以及 Google 宣布的 Open Knowledge Format（OKF，以帶 YAML frontmatter 的 Markdown 目錄表示知識）等網頁標準來校準理解——細節以 Google 後續文件為準。

一個四步驟的主題探索法

核心問題：AI 搜尋眼中的「主題／實體」是什麼？一篇指南常同時覆蓋多個實體，有的是主角，有的是配角；配角若有實質內容，就可能值得獨立成篇。

1. 從 Oncrawl 取得 URL：照常爬取後，在 Data Explorer 匯出，聚焦可索引頁的 URL 與正文相關欄位。 2. 用 Beautiful Soup 抓正文：讀入匯出、篩 indexable=true，爬取各頁內容。保留標籤（如 p、h2）有助判斷實體是標題層級還是段落配角。 3. 用 LLM API 標實體：作者以 Claude API 為例，低 temperature、提高輸入上限，要求標出主主題與次主題、比例分數，並用知識圖譜／Wikipedia 等做驗證，再過濾錯誤 wiki 連結。輸出寫回 DataFrame。 4. 找「沒有頁面當家」的主題：看高分次主題是否曾出現在任何 URL 的主主題欄；沒有的就是內容缺口候選。文中示意例子包括「Startup ecosystems」頁下的 Entrepreneurship、再生能源頁下的 Energy storage 等。

接到 GEO 內容策略

作者強調這不是完整方法，但優點是主要用第一方資料，不必先買昂貴第三方主題資料庫。可再疊：

• GA4：全站流量當需求／互動的基準（他假設搜尋未必超過全站約 20%，僅作討論假設）。
• Google Search Console：主題相關曝光；但曝光深受排名影響，需做位置正規化。
• 社群分享：另一個熱度代理指標。

同一套爬正文流程，也可拿來產出 OKF 用的 Markdown 檔。

收尾句很直接：AI 搜尋的主題研究 ≠ 傳統關鍵字研究；要找的是 AI 認得出、且你站能合理主張的實體。從缺口清單起步，用自己的流量資料排序，再寫那篇實體該有的文章。

常見問題

• 這套流程要解決什麼問題？作者認為 AI 搜尋在意的是實體／主題，而單一文章常同時談多個實體。流程用來找出「頁面已深入談到、卻沒有獨立成篇」的主題缺口。
• 四個步驟是什麼？從 Oncrawl 匯出並篩可索引 URL；用 Beautiful Soup 抓正文；用 LLM API 標出主實體與次實體並做外部驗證；比對哪些高分次實體從未當過任何頁的主主題。
• 為什麼要保留 HTML 標籤資訊？作者認為只出現在段落裡的實體，和擁有獨立 H2 的實體，後續優化優先順序不同，多留一欄標籤有助判斷。
• 除了缺口清單，還建議疊哪些第一方資料？文中提到可用 GA4 流量、Search Console 曝光（需依排名位置做正規化）、社群分享等協助排序；爬取正文也可轉成 Open Knowledge Format 的 Markdown。

編輯解讀

一句話重點：先盤點站上「已經寫到、但沒專頁」的實體，比憑空開新關鍵字清單更接近 AI 可見度缺口。

這對你的網站意味著什麼：

• 用可索引 URL 清單當抽樣框，避免把 noindex 頁當主題資產。
• LLM 標實體時固定低溫度與驗證步驟，減少幻覺主題。
• 缺口清單要再用流量／商業相關性排序，不要全部開工。
• 若客戶使用 Claude Code／Agent，文件與定價頁結構也要一併評估（見同批 Claude 答案引擎文）。

適用與不適用的情境：有技術資源能跑爬取＋腳本的內容／GEO 團隊適用。純產品功能介紹、沒有可複現方法細節的頁面價值較低——本頁有方法步驟，但仍高度綁 Oncrawl 與 Claude 工具鏈，故維持草稿複核。

需要注意的限制：發布者 Oncrawl 可能在銷售爬蟲與 AI 相關能力；Wikipedia 驗證不完美，作者也自陳；OKF 與 AI 搜尋實務仍在演進。

延伸閱讀：

• 〈2300 萬條內部連結研究〉 https://seogeohq.com/internal-links-23m-case-study/
• 〈搜尋引擎最佳化入門〉 https://seogeohq.com/seo-starter-guide/

名詞與資料來源

1. Search Console — Google：〈Get started with Search Console〉 https://support.google.com/webmasters/answer/7451184（檢索日期：2026-09-30） 2. 結構化資料入門 — Google Search Central：〈Intro to structured data〉 https://developers.google.com/search/docs/appearance/structured-data/intro-structured-data（檢索日期：2026-09-30）