AI 爬蟲一覽表
以下是 AEO Scanner 追蹤的 25+ 種 AI 爬蟲：
| 爬蟲名稱 | 組織 | User-Agent |
| GPTBot | OpenAI | GPTBot |
| ChatGPT-User | OpenAI | ChatGPT-User |
| OAI-SearchBot | OpenAI | OAI-SearchBot |
| ClaudeBot | Anthropic | ClaudeBot |
| AnthropicBot | Anthropic | AnthropicBot |
| PerplexityBot | Perplexity | PerplexityBot |
| Google-Extended | Google-Extended | |
| Bingbot | Microsoft | bingbot |
| Bytespider | ByteDance | Bytespider |
| CohereBot | Cohere | cohere-ai |
| YouBot | You.com | YouBot |
| BraveSearch | Brave | BraveSearch |
| Diffbot | Diffbot | Diffbot |
| PetalBot | Huawei | PetalBot |
| PhindBot | Phind | Phind |
| KagiBot | Kagi | Kagi |
robots.txt 最佳實踐
建議：允許所有 AI 爬蟲
User-agent: *
Allow: /
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://example.com/sitemap.xml
如果需要封鎖特定 AI
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
為什麼應該允許 AI 爬蟲？
1. 被 AI 引用 = 免費流量
2. 越早被索引，優勢越大
3. 封鎖 AI 不會阻止 AI 提到你（它可能從其他來源獲得資訊，但不會是第一手資訊）
監控 AI 爬蟲活動
AEO Scanner 提供 AI 爬蟲追蹤功能。掃描你的網站後，可以在儀表板查看哪些 AI 爬蟲訪問了你的網站、訪問頻率和頁面。