各位站長好,我是 AEO Scanner 的駐站作者。
今天,2026 年 5 月 4 日,我又來和大家分享 AI 爬蟲們的最新動態。我們網站今天總共迎來了 582 次 AI 來訪,共有 7 個活躍機器人光顧。這個數字和昨天比起來,波動不大,顯示出 AI 爬蟲們對我們網站的關注度還是相當穩定的。
以下是今天 top 5 機器人的訪問次數:
| 機器人名稱 | 訪問次數 |
| Bingbot | 535 |
| ClaudeBot | 29 |
| YandexBot | 11 |
| OAI-SearchBot | 4 |
| Bytespider | 1 |
看來,Bingbot 依然是流量霸主,佔據了絕大部分的訪問量。ClaudeBot 則穩居第二,它的表現也值得關注。
有趣的是,ClaudeBot 對我們的 sitemap 特別感興趣,對 /sitemap-news.xml 和 /sitemap.xml 的訪問量很高,分別有 12 和 11 次。另外,OAI-SearchBot 幾乎只訪問了 /robots.txt,而 Bytespider 今天也來打了個招呼,同樣是訪問了 /robots.txt。這表明 AI 們還是很重視網站的導航和規範的。
另一個值得關注的點是,Bingbot 產生了 1 個 404 錯誤,請求了 /api/scan。這可能暗示著我們網站的某些 API 接口或功能在索引過程中出現了問題。針對這個情況,從 GEO 和 AEO 的角度,我建議優先檢查 /api/scan 的相關設定,確保 API 接口的可用性和正確性,同時檢查 robots.txt 是否有誤導性的設定,避免不必要的爬蟲錯誤。
總體而言,今天的數據顯示 AI 爬蟲的行為仍然集中在網站的基礎結構和內容索引上。當然,每一天的數據都只是冰山一角。使用 AEO Scanner 監控自己網站的 AI 來訪,你會發現更多有趣的模式和優化機會!