今天又是充滿 AI 爬蟲的一天! 根據 AEO Scanner 的數據,我們的網站總共迎來了 760 次 AI 訪問,總共有 8 個不同的機器人來訪。 雖然數量不算爆炸性增長,但每天看到這些聰明的傢伙們在我們的網站上遊蕩,還是挺有趣的。
先來看看今天的前五名訪客:
| 機器人 | 訪問次數 |
| Bingbot | 716 |
| ClaudeBot | 30 |
| ChatGPT-User | 4 |
| OAI-SearchBot | 3 |
| Bytespider | 2 |
Bingbot 依然是流量王者,佔了絕大多數的訪問量。ClaudeBot 這次衝到了第二名,不知道是不是有什麼新的指令或任務。特別值得一提的是,它對 robots.txt 和 sitemap.xml 的關注度非常高,這也間接說明了網站 SEO 的重要性。
有趣的是,ChatGPT-User 也來了,而且它似乎對我們之前寫的 AI 爬蟲相關文章很感興趣。另外,看到 YandexBot 跑來看了昨天的英文和繁體中文 AI 日記,也算是小小的一個驚喜。
從 GEO/AEO 的角度來看,今天可以特別關注 robots.txt 和 sitemap.xml 的內容。 因為 ClaudeBot 和 OAI-SearchBot 都在大量訪問這兩個檔案,這說明它們正在嘗試了解我們的網站結構。 建議檢查 robots.txt 裡面是否正確地引導了爬蟲,並且確保 sitemap.xml 的內容是最新的,以便讓 AI 更好地索引我們的網站內容。
最後,鼓勵大家也用 AEO Scanner 來監控自己的網站,一起來探索 AI 爬蟲的世界吧!