robots.txt 生成ツール — AI クローラー（GPTBot）プリセット付き
開発者ツールrobots.txt 生成ツールは、クロールポリシー、Disallow パス、サイトマップの場所、AI クローラーの許可/ブロックの選択を組み合わせて、サイトのルートに置く robots.txt ファイルを作成します。
AI支援翻訳をレビュー中
このページはAIの支援で翻訳され、まだ専門家によるレビューを完了していません。重要な判断の前に、引用元をご確認ください。
概要
robots.txt はサイトのルート（/robots.txt）に置く平文ファイルで、RFC 9309 の Robots Exclusion Protocol に従い、クローラー（User-agent）ごとの Allow・Disallow ルールとサイトマップの場所を宣言します。このツールは基本ポリシーとブロックするパスからファイルを組み立て、GPTBot・ClaudeBot・PerplexityBot・CCBot といった主要な AI クローラー向けのプリセットを追加します。遵守は任意であるため、robots.txt はセキュリティ機構ではありません。
robots.txt = User-agent ブロック（Allow/Disallow ルール）の繰り返し + Sitemap: URL
使い方
- 1基本ポリシー（すべて許可またはすべてブロック）を選び、ブロックするパスを列挙します。
- 2AI クローラーのプリセットを選び、サイトマップの URL を追加します。
- 3生成された robots.txt をダウンロードし、サイトのルート（/robots.txt）にアップロードします。
参照表
| クローラー | 運営者 | 目的 |
|---|---|---|
| GPTBot | OpenAI | AI モデル学習用のクロール |
| ChatGPT-User | OpenAI | ChatGPT ユーザー向けのリアルタイム取得 |
| OAI-SearchBot | OpenAI | ChatGPT 検索インデックス |
| ClaudeBot | Anthropic | AI モデル学習用のクロール |
| Google-Extended | Gemini 学習の制御トークン | |
| PerplexityBot | Perplexity | AI 検索インデックス |
| CCBot | Common Crawl | オープンなウェブアーカイブ（AI 学習に再利用） |
| Bytespider | ByteDance | AI 学習用のクロール |
| Applebot-Extended | Apple | Apple の AI 学習の制御トークン |
出典・基準
- RFC 9309: Robots Exclusion Protocol - IETF
- Introduction to robots.txt - Google Search Central
- OpenAI crawlers and bots - OpenAI
よくある質問
入力したルールはサーバーに送信されますか？
いいえ。robots.txt はすべてブラウザ内で生成され、アップロードは行われません。
robots.txt で AI クローラーをブロックすれば完全に止められますか？
いいえ。robots.txt は自発的な遵守（RFC 9309）を前提としています。GPTBot などの主要な AI クローラーは遵守を表明していますが、ルールを無視するボットを止めるにはサーバーやファイアウォールのレベルで対応する必要があります。
Disallow するとページは検索結果から削除されますか？
いいえ。Disallow はクロールを妨げるだけで、すでに知られている URL はインデックスされることがあります。検索結果から削除したい場合は noindex メタタグを使用してください。