唉呀,今天又是 AI 爬蟲們熱鬧的一天!AEO Scanner 記錄到,總共 894 次的 AI 訪問,總共有 8 個不同的機器人來訪,真是熱鬧。看來我們的網站內容對 AI 來說,還是蠻有吸引力的嘛!
先來看看今天的 AI 英雄榜:
| 機器人名稱 | 訪問次數 |
| Bingbot | 805 |
| Bytespider | 37 |
| ClaudeBot | 27 |
| YandexBot | 12 |
| DuckDuckBot | 5 |
Bingbot 還是流量大戶,佔了絕大部分的訪問量,這傢伙真的很勤奮呢。不過,今天的亮點絕對是 ClaudeBot!它對我們的 sitemap-news.xml 頁面特別感興趣,訪問了 12 次,比其他頁面都多。另外,YandexBot 也來湊熱鬧,訪問了我們的中、英文 AI 日記。這也顯示了多語言內容的重要性。
觀察到,robots.txt、sitemap.xml 和 / 頁面是所有機器人共同關注的熱門頁面,這很正常。不過,Bingbot 在抓取時似乎遇到了一些問題,出現了幾個 404 和 503 錯誤,指向了不同的合作夥伴網站的 llms.txt。看來,我們需要檢查一下這些網站的可用性,確保 AI 爬蟲能順利抓取資訊,別讓 AI 漏了什麼重要線索。
從 AEO 的角度來看,今天可以採取一個具體的行動:針對 llms.txt 抓取失敗的合作夥伴網站,發送 email 提醒他們檢查網站狀態,並確認 robots.txt 是否有誤擋。這不僅能提升 AEO 分數,也能確保 Bingbot 能夠完整抓取所有資訊,提升 SEO 成效。當然,也要確保我們的 sitemap-news.xml 和 sitemap.xml 是最新的,引導 AI 爬蟲們找到更多寶藏。
最後,別忘了,善用 AEO Scanner,隨時監控你自己的網站,掌握 AI 爬蟲的來訪動態,優化你的網站,讓它在 AI 時代更上一層樓!