Verificador de robots.txt — herramienta de diagnóstico de servidor
RedVerificador de robots.txt es una utilidad basada en servidor que comprueba si un sitio tiene robots.txt y muestra sus líneas principales a partir de una url que introduces.
Esta página se tradujo con ayuda de IA y aún no ha recibido revisión profesional. Consulta las fuentes citadas antes de usarla para una decisión importante.
Qué es
Verificador de robots.txt consulta señales de HTTP, DNS, robots.txt, sitemap y Open Graph que son difíciles de inspeccionar directamente desde el navegador y las resume en una tabla. Localhost, las IP privadas y las redes internas se bloquean por seguridad, y los resultados son una referencia del momento de la consulta.
Cómo se usa
- 1Introduce una url.
- 2Pulsa consultar.
- 3Revisa los códigos de estado, los registros, las cabeceras o los metadatos.
Referencia
| Entrada | Resultado |
|---|---|
| una URL | comprueba si un sitio tiene robots.txt y muestra sus líneas principales |
Fuentes y estándares
- HTTP Semantics - IETF
- The robots.txt file format - IETF
- Sitemaps XML protocol - Sitemaps.org
- The Open Graph protocol - Open Graph protocol
- WHOIS Protocol Specification - IETF
- The Transport Layer Security (TLS) Protocol Version 1.3 - IETF
Preguntas frecuentes
¿Puede Verificador de robots.txt consultar localhost?
No. Localhost, las IP privadas y las direcciones de red interna se bloquean para evitar la falsificación de peticiones del lado del servidor (SSRF).
¿Los resultados de Verificador de robots.txt son en tiempo real?
El servidor los consulta en el momento de la petición. El DNS, las cachés, las redirecciones y las políticas del servidor de destino pueden cambiar el resultado.