ROBOTS.TXT VALIDATOR
Testing Tool
Teste und validiere deine robots.txt Datei. gib unten deine Regeln ein und prüfe, ob bestimmte URLs für verschiedene User-Agents blockiert (Disallowed) oder erlaubt (Allowed) sind.
1
Ergebnis
Passende Regel
-
Zeile -
Geprüfter User-Agent
-
Drücke TEST um zu starten
Häufige Fragen
Wie funktioniert das Matching?
Bots suchen zuerst nach dem spezifischsten "User-agent" Block. Wenn es z.B. einen Block für "Googlebot" gibt, nutzt Google diesen. Gibt es keinen, fällt er auf "*" zurück. Innerhalb des Blocks gewinnt meist die längste passende Regel (Longest Match Rule).
Was ist ein Robots.txt Validator?
Ein Robots.txt Validator ist ein Tool, mit dem du überprüfen kannst, ob deine
robots.txt-Datei syntaktisch korrekt ist und ob sie die gewünschten URLs tatsächlich blockiert oder freigibt. Er simuliert das Verhalten von Suchmaschinen-Bots (wie Googlebot) und zeigt dir, welche Regel für eine bestimmte URL angewendet wird. Das hilft, SEO-Probleme zu vermeiden, bei denen wichtige Seiten versehentlich ausgesperrt werden.