SEO 對照實驗在比什麼：同時跑的頁，不是改前改後

更新 2026-10-13

SearchPilot 賣 SEO 實驗平台。他們說，前後流量、趨勢和人工分組只能告訴你有變化，不能告訴你是不是你的改動造成排名、流量或營收變化。演算法、季節、競爭者和付費廣告會同時在動。他們的做法是在線上頁面做對照實驗，用統計上相近的對照組估計影響，再以可信區間報告。

對照組和轉換率測試不是同一套

頁面分成對照組和實驗組。改動只上實驗組。對照組用來估計沒改會怎樣。兩組同時對所有訪客開放，所以演算法、季節和競爭環境會互相抵消，剩下的才是改動本身。沒有對照組，就大多是在猜。

轉換率和體驗測試把個別訪客或工作階段隨機分組，單位多、彼此可比，差異很像是改動造成的。SEO 不能這樣做。每個平台的抓取程式是一個訪客，不能像人一樣被指定成全站的對照或實驗。網址也不是同等單位：各有流量歷史、季節、排名軌跡和競爭環境，自然流量比工作階段轉換更容易被外部衝擊打斷。所以他們把頁面放進桶，而不是隨機分人。把轉換率的統計直接拿來用，條件不對。

可信區間，以及 2019 年換掉的模型

統計顯著只說明結果不像碰巧，不說明估計有多準，也不說明該不該全站上線。他們報告的是估計影響的可信區間：最可能的效果、還說得通的範圍，以及模型帶著多少不確定。原本用開源的 Causal Impact，那是一般用途的貝氏時間序列，抓不住自然搜尋多層的季節性，區間較寬，無結論的測試較多。2019 年換成他們自己的神經網路 Split Optimizer，目標是對 SEO 流量更敏感，在同樣的信心水準下抓到較小的提升。之後他們說還在繼續提高敏感度。

模型用測試期間對照組的實際表現，加上測試前兩組的歷史關係，估計沒做這次 SEO 改動會怎樣，再和實際結果比。預測緊，小差異就有意義；預測鬆，同樣的差異可能是雜訊。它另外給一個對自己預測品質的信心，和結果上的可信區間分開。上線前兩組就意外分開，或流量異常波動，模型會把這點標出來，而不是用同一種精確度呈現。

分桶、誤報和季節

大站流量不平均，少數頁面拿走大部分造訪。高流量頁擠在一組，訊號變少、比較變吵。一起漲跌的頁，例如夏季目的地，若沒有均分，結果會偏。手分在規模上做不好。單純隨機去掉人的偏見，但不保證變數在兩組之間拆勻，雜訊會蓋住真正的效果。自動分桶看平均流量、波動和季節性。改動若很貴、不能先鋪到一大批頁，可以在接近上線時為已定的實驗組產生相似的對照頁，讓配對是新的。

他們把 90% 信心說成：在這份資料和事先假設下，真實效果有 90% 的機率落在所給範圍裡。要多有把握才行動，是速度和確定性的取捨，依商業情境定。SEO 較吵，同樣的顯著水準會得到較寬的區間。無結論不是失敗，而是這個改動還沒大到值得全站上線。

誤報被他們看成企業 SEO 測試裡商業傷害最大的錯誤：假的正面結果鋪開去，會浪費工程、對高層給錯期待，並讓人對「什麼在推動這個站」形成錯的模型。他們靠三件事壓低誤報：兩組同時面對相同外部條件、上線前用演算法做成相近的桶、模型針對自然搜尋的雜訊和季節。神經網路用這個站自己的 SEO 資料訓練，把季節放進反事實預測。旺季測試不比淡季不可靠。測試期間兩邊都會做異常值檢測，標出和這次改動無關的異常頁，並說明怎麼處理。結果可以按頁面類型、流量層和裝置拆。各類型、各流量層方向一致，比集中在單一簇更穩。

常見問題

• 為什麼不能用前後流量判斷 SEO 改動？演算法、季節、競爭者和付費廣告會同時在動。前後比較看得出有變化，看不出是不是這次改動造成的。
• 為什麼不把訪客隨機分成對照和實驗？抓取程式是一個訪客，不能像人一樣被指定成全站狀態。每個網址的流量歷史和季節也不同，所以他們分的是頁面桶。
• 顯著就該全站上線嗎？不夠。顯著不說明估計有多準。他們用可信區間看最可能的效果和還說得通的範圍。
• 無結論代表測試失敗嗎？不是。它表示這個改動還沒大到值得投入全站工程。

編輯解讀

一句話重點：SEO 實驗要比的是同時跑的對照頁，不是改前改後的整站流量。

這對你的網站意味著什麼：

• 上線前先看兩組的流量、波動和季節有沒有拆開，不要把熱門頁全放在一邊。
• 報告要有區間，不要只寫顯著或一個百分比。
• 無結論就不要為了全站改版排工程。
• 旺季可以測，但模型要吃得下這個站自己的季節，而不是套一套通用時間序列。

適用與不適用的情境：適合頁面夠多、能分出對照組的站。不適合把這套說法當成任何單次百分比都能外推。

需要注意的限制：這是 SearchPilot 對自己平台的說明，他們賣實驗服務。文中沒有給出某一次測試的樣本頁數或區間寬度。「值得數百萬美元」是他們對企業改動規模的說法，不是這篇裡的測量結果。

延伸閱讀：

• 產品頁品牌名改成內鏈，品牌列表頁自然流量約增 18%

名詞與資料來源

1. 對照實驗與可信區間 — SearchPilot：〈The Math Behind SearchPilot〉 https://www.searchpilot.com/resources/blog/the-math-behind-searchpilot-how-seo-ab-testing-actually-works（檢索日期：2026-10-13）
2. Split Optimizer — SearchPilot：〈An update on Split Optimizer〉 https://www.searchpilot.com/resources/blog/an-update-on-split-optimizer-searchpilots-neural-network-model（檢索日期：2026-10-13）
3. 換掉 Causal Impact — SearchPilot：〈We’ve doubled the sensitivity〉 https://www.searchpilot.com/resources/blog/weve-doubled-the-sensitivity-of-our-seo-split-testing-platform（檢索日期：2026-10-13）