AI BOT CHECKER
Testing Tool
Prüfe, ob bekannte AI-Bots deine Webseiten crawlen, lesen und nutzen können. Das Tool checkt die robots.txt Datei und den HTTP-Statuscode für bis zu 10 URLs.
HÄUFIGE FRAGEN
Was genau prüft dieses Tool?
Das Tool prüft zwei Dinge: Erstens, ob die URL in deiner
robots.txt für den spezifischen Bot blockiert ist (Disallow). Zweitens, ob der Server dem Bot einen erfolgreichen Statuscode (200 OK) zurückgibt oder den Zugriff verweigert (z.B. 403 Forbidden).
Prüft das Tool auch JavaScript-Inhalte?
Nein. Dieses Tool prüft nur die Zugriffserlaubnis auf HTTP-Ebene. Es führt kein Rendering aus. Das bedeutet: Wir sehen nicht, ob der Bot deine JavaScript-generierten Inhalte (z.B. Texte in einer Single Page Application) tatsächlich "sehen" oder rendern kann. Dafür wäre ein vollständiger Render-Check notwendig.
Warum werde ich 'BLOCKED' angezeigt?
Das kann an deiner
robots.txt liegen (Disallow-Regel) oder an einer Firewall (WAF), die bekannte Bot-IPs oder User-Agents blockiert. Viele Hosting-Provider oder Sicherheits-Plugins blockieren KI-Bots standardmäßig.
Welche Robots-Regeln (User-Agents) gelten wofür?
Um spezifische Bots zu steuern, nutze diese User-Agents in deiner robots.txt:
- GPTBot: OpenAI Crawler (Training)
- ChatGPT-User: Live-Browsing von ChatGPT
- OAI-SearchBot: SearchGPT Indexierung
- PerplexityBot: Perplexity AI
- ClaudeBot: Anthropic / Claude
- Google-Extended: Google Gemini (Training)
- CCBot: Common Crawl (Basis für viele LLMs)
Beispiel:
User-agent: GPTBot
Disallow: /
Disallow: /