擋掉訓練用爬蟲沒問題，擋掉搜尋用爬蟲就不會被引用
robots.txt 內容
15 個爬蟲的判定/
貼上 robots.txt 內容，或按「載入範例」。沒有 robots.txt 的網站，所有爬蟲預設都可以讀取。
爬蟲用途說明
| GPTBot | 訓練資料 | 蒐集資料訓練 OpenAI 模型。封鎖它不影響 ChatGPT 搜尋引用你。 |
|---|---|---|
| OAI-SearchBot | AI 搜尋索引 | ChatGPT 搜尋的索引爬蟲。封鎖後 ChatGPT 搜尋結果較難引用你的頁面。 |
| ChatGPT-User | 使用者觸發 | 使用者在 ChatGPT 中要求讀取某個網址時發出的請求。 |
| ClaudeBot | 訓練資料 | 蒐集公開網頁供 Anthropic 模型訓練。 |
| Claude-SearchBot | AI 搜尋索引 | 改善 Claude 搜尋結果品質的索引爬蟲。 |
| Claude-User | 使用者觸發 | Claude 使用者提問時即時讀取網頁。 |
| PerplexityBot | AI 搜尋索引 | Perplexity 搜尋結果的索引爬蟲，官方表示不用於模型訓練。 |
| Perplexity-User | 使用者觸發 | 使用者提問時即時讀取網頁。官方說明此類請求一般不受 robots.txt 限制。 |
| Google-Extended | 訓練資料 | 不是獨立爬蟲，而是控制 Gemini 等模型能否使用內容的標記。不影響 Google 搜尋與 AI Overviews。 |
| Googlebot | 傳統搜尋 | Google 搜尋爬蟲。AI Overviews 與 AI Mode 的內容也來自它的索引，封鎖等於退出 Google。 |
| Bingbot | 傳統搜尋 | Bing 搜尋爬蟲；Copilot 的網頁答案仰賴 Bing 索引。 |
| Applebot-Extended | 訓練資料 | 控制 Apple 能否用 Applebot 抓到的內容訓練模型，不影響 Siri 與 Spotlight 搜尋。 |
| CCBot | 訓練資料 | 建立公開的 Common Crawl 資料集，常被各家模型拿來訓練。 |
| Bytespider | 訓練資料 | 字節跳動的爬蟲，用於模型訓練與搜尋。 |
| meta-externalagent | 訓練資料 | Meta 用於 AI 模型訓練與產品功能的爬蟲。 |
網站沒問題了，接下來看 AI 有沒有提到你
Raze 每週追蹤 Google AI 摘要提到誰、排第幾、引用了哪個網頁。留下 Email 申請 14 天免費試用，不用信用卡。
步驟
01
打開你的 robots.txt
在瀏覽器輸入 https://你的網域/robots.txt，全選複製。
02
貼上內容
貼進工具的輸入欄，工具會立刻解析群組、規則與 Sitemap 行。
03
看 15 個爬蟲的判定
每個爬蟲會標示允許或封鎖，並說明是哪一行規則決定的；搜尋用爬蟲被擋就表示 AI 搜尋讀不到你。
04
另外檢查一個路徑
填入商品頁或文章的路徑，確認重要頁面沒有被特定規則擋住。
說明
判定規則
依 RFC 9309 與 Google 的說明實作：爬蟲先找名稱相符的 User-agent 群組（不分大小寫，同名群組會合併），沒有才使用 * 群組。 同一群組內取路徑最長的相符規則；Allow 與 Disallow 一樣長時，Allow 優先。* 代表任意字元，結尾的 $ 代表網址到此結束。
注意：專屬群組存在時，* 群組的規則不會疊加上去。例如替 PerplexityBot 另外寫了一組規則，它就不會再遵守 * 群組裡的 Disallow。
訓練、搜尋、使用者觸發的差別
訓練資料：蒐集內容訓練模型，封鎖後不影響 AI 搜尋引用。AI 搜尋索引：決定 ChatGPT 搜尋、Perplexity、Claude 能不能找到並引用你的頁面。使用者觸發：使用者貼網址或提問時即時讀取，部分業者表示這類請求不一定受 robots.txt 限制。傳統搜尋：Googlebot 與 Bingbot，AI Overviews、AI Mode、Copilot 的資料也來自這些索引。
robots.txt 是公開的君子協定，不是存取控制。真正不想公開的內容，請用登入或伺服器端設定保護。
常見問題
- 01封鎖 GPTBot 會影響 ChatGPT 搜尋引用我的網站嗎？
- 不會直接影響。GPTBot 是訓練用爬蟲，ChatGPT 搜尋用的是 OAI-SearchBot；封鎖 GPTBot、保留 OAI-SearchBot，可以不被拿去訓練，又能被 ChatGPT 搜尋引用。
- 02沒有 robots.txt 會怎樣？
- 沒有 robots.txt 代表所有爬蟲都可以讀取全站，這對 AI 搜尋能見度沒有壞處。只有想限制特定路徑或特定爬蟲時才需要它。
- 03robots.txt 可以阻止內容被 AI 拿去訓練嗎？
- robots.txt 是公開的君子協定，主要業者會遵守，但不是存取控制。真正不想公開的內容，要用登入或伺服器端設定保護。