Vérificateur de robots.txt — outil de diagnostic de serveur
RéseauVérificateur de robots.txt est un utilitaire côté serveur qui vérifie si un site possède un fichier robots.txt et affiche ses lignes principales à partir de une url que vous saisissez.
Cette page a été traduite avec l’aide de l’IA et n’a pas encore été relue par un professionnel. Consultez les sources citées avant toute décision importante.
Qu’est-ce que c’est
Vérificateur de robots.txt interroge les signaux HTTP, DNS, robots.txt, sitemap et Open Graph difficiles à inspecter directement depuis le navigateur et les résume dans un tableau. Localhost, les IP privées et les réseaux internes sont bloqués pour des raisons de sécurité, et les résultats sont une référence au moment de la requête.
Comment l’utiliser
- 1Saisissez une url.
- 2Cliquez sur interroger.
- 3Consultez les codes de statut, les enregistrements, les en-têtes ou les métadonnées.
Référence
| Entrée | Résultat |
|---|---|
| une URL | vérifie si un site possède un fichier robots.txt et affiche ses lignes principales |
Sources et normes
- HTTP Semantics - IETF
- The robots.txt file format - IETF
- Sitemaps XML protocol - Sitemaps.org
- The Open Graph protocol - Open Graph protocol
- WHOIS Protocol Specification - IETF
- The Transport Layer Security (TLS) Protocol Version 1.3 - IETF
FAQ
Vérificateur de robots.txt peut-il interroger localhost ?
Non. Localhost, les IP privées et les adresses de réseau interne sont bloqués pour empêcher la falsification de requête côté serveur (SSRF).
Les résultats de Vérificateur de robots.txt sont-ils en temps réel ?
Le serveur les interroge au moment de la requête. Le DNS, les caches, les redirections et les politiques du serveur cible peuvent modifier le résultat.