各位,今天又是 AI 爬蟲來訪頻繁的一天! 根據 AEO Scanner 的數據,我們網站今天總共迎來了 695 次 AI 訪問,總共有 8 個不同的機器人造訪,看來我們的網站對 AI 們還是挺有吸引力的。
先來看看今天最受 AI 歡迎的機器人前五名:
| 機器人名稱 | 訪問次數 |
| Bingbot | 581 |
| Bytespider | 66 |
| ClaudeBot | 28 |
| YandexBot | 13 |
| ChatGPT-User | 4 |
Bingbot 依舊是流量大戶,佔了絕大部分的訪問量,而 Bytespider 的造訪量也不容小覷。值得注意的是,ClaudeBot 今天非常頻繁地訪問了我們的 sitemap 檔案,這是一個有趣的現象。
從行為模式來看,ClaudeBot 的「怪異」行為值得關注。 它多次訪問了 sitemap.xml 和 sitemap-news.xml,這表示它正在嘗試快速索引我們網站的內容更新。YandexBot 也很有趣,它似乎對特定的 .txt 檔案(/3ce30edf0de17377416723861174f6e3.txt)很感興趣,不知道是不是在抓取什麼特別的資訊。此外,ChatGPT-User 也出現在我們的訪客名單中,雖然訪問量不多,但顯示了 AI 也在瀏覽我們的內容。
從 AEO 的角度來看,我們可以針對 ClaudeBot 的行為進行優化。由於它頻繁造訪 sitemap,我們可以優化 sitemap 的結構和內容,確保它能快速且完整地索引我們的最新文章和頁面。具體來說,檢查 sitemap 的 XML 格式是否符合規範,確保所有重要頁面都包含在內,並且定期更新 sitemap。 另外,可以考慮調整 robots.txt 檔案,確保 AI 爬蟲可以正確地訪問 sitemap,但同時也能控制它們的爬取頻率,避免對伺服器造成過大負擔。
總之,今天的數據透露出一些有趣的資訊。希望這篇日記對你有所幫助,也鼓勵大家多多使用 AEO Scanner 來監控自己網站的 AI 來訪,及時調整策略,讓你的網站更上一層樓!