robots.txt-Prüfer — Server-Diagnosetool
Netzwerkrobots.txt-Prüfer ist ein serverbasiertes Dienstprogramm. Sie geben eine url ein, und das Tool prüft, ob eine website eine robots.txt hat, und zeigt deren wichtigste zeilen an.
Diese Seite wurde mit KI-Unterstützung übersetzt und noch nicht professionell geprüft. Prüfen Sie die zitierten Quellen vor einer wichtigen Entscheidung.
Was ist das
robots.txt-Prüfer ruft HTTP-, DNS-, robots.txt-, Sitemap- und Open-Graph-Signale ab, die sich direkt im Browser nur schwer prüfen lassen, und fasst sie in einer Tabelle zusammen. Localhost, private IP-Adressen und interne Netzwerke werden aus Sicherheitsgründen blockiert, und die Ergebnisse sind ein Referenzwert zum Abfragezeitpunkt.
Verwendung
- 1Geben Sie eine url ein.
- 2Klicken Sie auf Abfragen.
- 3Prüfen Sie Statuscodes, Einträge, Header oder Metadaten.
Referenz
| Eingabe | Ergebnis |
|---|---|
| eine URL | prüft, ob eine Website eine robots.txt hat, und zeigt deren wichtigste Zeilen an |
Quellen und Normen
- HTTP Semantics - IETF
- The robots.txt file format - IETF
- Sitemaps XML protocol - Sitemaps.org
- The Open Graph protocol - Open Graph protocol
- WHOIS Protocol Specification - IETF
- The Transport Layer Security (TLS) Protocol Version 1.3 - IETF
FAQ
Kann robots.txt-Prüfer localhost abfragen?
Nein. Localhost, private IP-Adressen und interne Netzwerkadressen werden blockiert, um Server-Side Request Forgery (SSRF) zu verhindern.
Sind die Ergebnisse von robots.txt-Prüfer in Echtzeit?
Der Server fragt sie zum Zeitpunkt der Anfrage ab. DNS, Caches, Weiterleitungen und die Richtlinien des Zielservers können das Ergebnis verändern.