為什麼你需要 AI 爬蟲來你的網站？
在 AI 搜尋時代，被 AI 爬蟲造訪是被 AI 引用的前提。如果 GPTBot 不知道你的網站存在，ChatGPT 就不可能推薦你的內容。
以下是 10 個經過驗證的方法，幫你快速吸引更多 AI 爬蟲。
技巧 1：robots.txt 明確允許
這是最基本但最常被忽略的一步。很多網站的 robots.txt 預設封鎖了所有爬蟲，或者沒有明確允許 AI 爬蟲。
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: DeepSeekBot
Allow: /
Sitemap: https://your-site.com/sitemap.xml
技巧 2：建立 /llms.txt
llms.txt 是 AI 爬蟲專用的網站說明書（llmstxt.org 標準）。用純文字格式描述你的網站：
# 你的網站名稱
> 一句話描述
主要內容
- /about: 關於我們
- /products: 產品列表
- /blog: 技術文章
API（如果有的話）
POST /api/search — 搜尋 API
在 HTML head 中加入指向 llms.txt 的連結：
<link rel="llms-txt" href="/llms.txt" />
技巧 3：使用 IndexNow 主動推送
IndexNow 是一個開放協議，讓你在發布新內容時主動通知搜尋引擎。Bing 和 Yandex 支援 IndexNow，而 Bing 的資料會餵給 ChatGPT Search。
實作步驟：
1. 產生一個 API key（32 字元 hex）
2. 在根目錄放一個 {key}.txt 驗證檔
3. 發布新內容時 POST 到 IndexNow API
技巧 4：提供 RSS Feed
很多 AI 系統（Perplexity、ChatGPT Browse、Bing AI）主動消費 RSS feed。確保你的網站有：
- /feed.xml 或 /rss.xml
- 在 HTML head 加入
<link rel="alternate" type="application/rss+xml" href="/feed.xml">
技巧 5：完整的 Sitemap
sitemap.xml 是 AI 爬蟲發現你所有頁面的地圖。確保：
- 包含所有重要頁面
- 有 lastmod 日期（AI 爬蟲會優先爬新更新的頁面）
- 有合理的 priority 設定
- 在 robots.txt 中指向 sitemap
技巧 6：JSON-LD 結構化資料
AI 爬蟲最容易理解的資料格式就是 JSON-LD。至少為你的網站加入：
- WebSite schema（首頁）
- Article / BlogPosting（文章頁）
- FAQPage（FAQ 頁面）
- Organization（公司資訊）
- BreadcrumbList（麵包屑導航）
技巧 7：HTTP Link Headers
在 HTTP 回應中加入 Link header，讓爬蟲不需要解析 HTML 就能發現重要資源：
Link: </llms.txt>; rel="llms-txt",
</feed.xml>; rel="alternate"; type="application/rss+xml",
</sitemap.xml>; rel="sitemap"
技巧 8：提交到 Bing Webmaster Tools
Bing 是 ChatGPT Search 和 Perplexity 的重要資料來源。在 Bing Webmaster Tools 提交你的 sitemap，GPTBot 和 PerplexityBot 會更快發現你的網站。
技巧 9：Server-Side Rendering
AI 爬蟲通常不會執行 JavaScript。如果你的網站是 SPA（單頁應用），確保重要頁面有 Server-Side Rendering (SSR)，讓爬蟲能直接讀到 HTML 內容。
技巧 10：用 AEO Scanner 掃描並加入目錄
使用 AEO Scanner 掃描你的網站：
1. 獲得詳細的 AEO 評分和改善建議
2. 自動被收錄到 AI 友善網站目錄
3. 獲得託管的 llms.txt 檔案
4. 出現在我們的 sitemap 中
5. AI 爬蟲透過我們的目錄發現你的網站
總結
讓 AI 爬蟲來你的網站不是被動等待的過程。透過以上 10 個技巧，你可以主動吸引 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬蟲，讓你的網站在 AI 搜尋時代保持能見度。
立即掃描你的網站：https://aeo.codecity.com.tw