robots.txt Analyzer
robots.txt analysieren: Regeln, Sitemaps, Crawl-Delay und potentielle Probleme erkennen.
Methodik & Funktionsweise
Was wird geprueft?
Analysiert die robots.txt-Datei einer Website und zeigt die Crawler-Regeln übersichtlich an.
Wie funktioniert es?
Die robots.txt wird abgerufen und die Direktiven (Allow, Disallow, Sitemap, Crawl-delay) pro User-Agent geparst und ausgewertet.
Beispiel-Ergebnis
example.com/robots.txt → User-Agent: * – Disallow: /admin/, /tmp/ – Sitemap: https://example.com/sitemap.xml
Was ist robots.txt?
Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche der Website gecrawlt werden dürfen und welche nicht. Sie steuert den Zugang für verschiedene Bots über Allow- und Disallow-Direktiven und kann Sitemap-URLs referenzieren. Eine fehlerhafte robots.txt kann dazu führen, dass wichtige Seiten nicht indexiert werden oder dass sensible Bereiche für Crawler zugänglich sind. Unser Robots-Analyzer zeigt die Regeln übersichtlich pro User-Agent an.
robots.txt Best Practices
- 1Blockieren Sie keine CSS- oder JavaScript-Dateien – Googlebot benötigt sie für korrektes Rendering.
- 2Nutzen Sie die Sitemap-Direktive, um Suchmaschinen auf Ihre XML-Sitemap zu verweisen.
- 3Die robots.txt ist öffentlich einsehbar – listen Sie keine sensiblen URL-Pfade darin auf.
- 4Testen Sie Änderungen mit dem Robots-Generator, bevor Sie sie live schalten.