AI 爬蟲正在大量造訪台灣網站
AEO Scanner 持續追蹤超過 30 種 AI 爬蟲的即時活動。截至 2026 年 4 月，我們記錄到超過 15,000 次 AI 爬蟲造訪，涵蓋數千個台灣網站。
你可以在我們的 AI Visitors 即時追蹤頁面看到所有數據：https://aeo.codecity.com.tw/ai-visitors
目前活躍的 AI 爬蟲
| 排名 | 爬蟲名稱 | 組織 | 說明 |
| 1 | GPTBot | OpenAI | ChatGPT 搜尋和訓練資料爬取 |
| 2 | ClaudeBot | Anthropic | Claude AI 搜尋和內容索引 |
| 3 | PerplexityBot | Perplexity | Perplexity AI 搜尋引擎爬取 |
| 4 | Googlebot | Google 搜尋 + AI Overviews | |
| 5 | Google-Extended | Google Gemini AI 訓練資料 | |
| 6 | Bingbot | Microsoft | Bing 搜尋 + Copilot |
| 7 | Bytespider | ByteDance | 抖音/TikTok AI |
| 8 | DeepSeekBot | DeepSeek | DeepSeek AI 搜尋 |
| 9 | Applebot | Apple | Apple Intelligence/Siri |
| 10 | meta-externalagent | Meta | Meta AI (Facebook, Instagram) |
AI 爬蟲行為觀察
GPTBot（OpenAI）
GPTBot 是目前造訪量最大的 AI 爬蟲。它會優先爬取有 JSON-LD 結構化資料的頁面，並且會檢查 /llms.txt 檔案。如果你的網站有完整的結構化資料，GPTBot 的爬取頻率會明顯提高。
ClaudeBot（Anthropic）
ClaudeBot 偏好爬取內容豐富的頁面。它會特別關注有 FAQ Schema、文章結構清晰的頁面。ClaudeBot 會遵守 robots.txt，所以確保你沒有封鎖它。
PerplexityBot
PerplexityBot 的爬取模式較為積極，會深度爬取整個網站。它是即時搜尋引擎，所以對內容的新鮮度非常敏感。
如何讓更多 AI 爬蟲來你的網站
1. 確保 robots.txt 允許 AI 爬蟲
很多網站預設封鎖了 AI 爬蟲。明確允許它們：
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: DeepSeekBot
Allow: /
2. 提供 llms.txt
在你的網站根目錄放一個 /llms.txt 檔案，用純文字說明你的網站內容。這是 AI 爬蟲專用的「網站說明書」。
3. 加入結構化資料
JSON-LD 結構化資料是 AI 爬蟲最喜歡的格式。至少加入：
- WebSite schema
- FAQPage schema（如果有 FAQ）
- Article/BlogPosting schema（如果有文章）
4. 提供 RSS Feed
AI 系統會消費 RSS feed 來發現新內容。確保你的網站有 /feed.xml。
5. 提交到 IndexNow
IndexNow 協議可以主動通知 Bing 和 Yandex 你的網站有新內容。Bing 的資料會餵給 ChatGPT Search，Perplexity 也從 Bing 索引取資料。
6. 使用 AEO Scanner 掃描你的網站
掃描後你的網站會自動被收錄到我們的目錄中。我們會為你產生託管的 llms.txt，並把你的網站放入 sitemap。AI 爬蟲會透過我們的 sitemap 發現你的網站。
追蹤你的 AI 爬蟲流量
AEO Scanner 提供即時的 AI 爬蟲追蹤功能。掃描你的網站後，你可以在網站詳情頁看到哪些 AI 爬蟲造訪過你的網站、造訪次數、最後造訪時間。
即時追蹤頁面：https://aeo.codecity.com.tw/ai-visitors
數據每天更新
這篇文章的數據會隨著 AEO Scanner 的即時追蹤系統自動更新。AI Visitors 頁面（/ai-visitors）提供最新的爬蟲活動數據，每 5 分鐘重新整理一次。