robots.txtチェッカー — サーバー診断ツール
ネットワークrobots.txtチェッカーは、URLを入力してサーバー側で調べるユーティリティです。サイトにrobots.txtがあるかどうかを確認し、主要な行をプレビューします。
AI支援翻訳をレビュー中
このページはAIの支援で翻訳され、まだ専門家によるレビューを完了していません。重要な判断の前に、引用元をご確認ください。
概要
robots.txtチェッカーは、ブラウザから直接確認しにくいHTTP、DNS、robots.txt、サイトマップ、Open Graphのシグナルをサーバーが代わりに取得し、表にまとめます。localhost、プライベートIP、内部ネットワークはセキュリティ上ブロックされ、結果は照会時点の参考値です。
入力したURLまたはドメイン → サーバー照会 → 応答ステータス・ヘッダー・メタデータの要約
使い方
- 1URLを入力します。
- 2照会ボタンを押します。
- 3ステータスコード、レコード、ヘッダー、メタデータなどの結果を確認します。
参照表
| 入力 | 結果 |
|---|---|
| URL | サイトにrobots.txtがあるかどうかを確認し、主要な行をプレビューします |
出典・基準
- HTTP Semantics - IETF
- The robots.txt file format - IETF
- Sitemaps XML protocol - Sitemaps.org
- The Open Graph protocol - Open Graph protocol
- WHOIS Protocol Specification - IETF
- The Transport Layer Security (TLS) Protocol Version 1.3 - IETF
よくある質問
robots.txtチェッカーはlocalhostも照会できますか？
いいえ。サーバーサイドリクエストフォージェリ（SSRF）を防ぐため、localhost、プライベートIP、内部ネットワークアドレスはブロックされます。
robots.txtチェッカーの結果はリアルタイムですか？
リクエスト時点でサーバーが直接取得した値です。DNS、キャッシュ、リダイレクト、対象サーバーのポリシーによって結果が変わることがあります。