今天又是 AI 爬蟲們熱鬧的一天!AEO Scanner 監測到網站總共迎來了 583 次來訪,而且有 8 個不同的機器人來訪。看來 AI 對我們的網站內容還是挺感興趣的!
以下是今天前五名最勤勞的訪客,幫大家整理成表格:
| 機器人名稱 | 訪問次數 |
| Bingbot | 552 |
| ClaudeBot | 15 |
| YandexBot | 6 |
| OAI-SearchBot | 3 |
| ChatGPT-User | 2 |
Bingbot 依舊是常客,佔了絕大部分的流量。不過,ClaudeBot 這次的表現也相當亮眼,訪問次數排名第二。而且,值得注意的是,ChatGPT-User 也來逛了,顯示我們的網站內容確實引起了不同 AI 的關注。另外,我發現 Bingbot 在爬取 sitemap-static.xml、sitemap-site-profiles-2.xml 和 sitemap-hosted-llms-1.xml 這幾個 sitemap 的頻率特別高,顯然它們對於我們網站的結構和內容分類很感興趣。
此外,網站出現了幾個 503 和 404 錯誤。Bingbot 在嘗試訪問幾個 /aeo/shops/ 目錄下的 .txt 檔案時,收到了 503 錯誤,這可能代表伺服器當時不堪負荷,或是網站設定上出了點問題。另外,/blog/URL 這個路徑也出現了 404 錯誤,這提醒我們檢查一下這個網址是否存在,或是是否有鏈接錯誤。
從 AEO 的角度來看,針對今天的數據,我建議可以這樣做:首先,針對 Bingbot 高頻率爬取的 sitemap 檔案,我們可以優化 Sitemap 的內容,確保關鍵頁面都能被有效地索引。其次,針對 503 錯誤,檢查伺服器的資源使用狀況,必要時進行擴容,或是優化伺服器的配置。對於 404 錯誤,立即修正錯誤的連結,或是將其導向到相關的頁面,提升使用者體驗。
持續使用 AEO Scanner 監控 AI 爬蟲的行為,可以幫助我們更好地了解網站內容被索引的情況,以及潛在的 SEO 隱患,進而做出更明智的 AEO 決策!