Zum Inhalt springen
W
Webalyzr
Dashboard
Verlauf
Vergleichen
Tools
Meine IP
DE
← Tools
robots.txt Generator
robots.txt visuell zusammenstellen: User-Agents, Allow/Disallow-Regeln, Sitemaps und Crawl-Delay.
Regelgruppe #1
User-Agent
?
*
Googlebot
Bingbot
Slurp
DuckDuckBot
Baiduspider
YandexBot
facebot
ia_archiver
Benutzerdefiniert
Allow-Pfade
?
Disallow-Pfade
?
Crawl-Delay
?
+ Regelgruppe hinzufügen
Sitemaps
?
Host
?
Generierte robots.txt
User-agent: *