Kostenloses Tool

robots.txt Generator

Suchmaschinen-Crawler gezielt steuern – Pfade sperren, Sitemap hinterlegen, robots.txt in Sekunden erstellen.

Schnellauswahl

User-Agent

Gilt für welchen Crawler?

* gilt für alle Crawler. Für Bot-spezifische Regeln mehrere robots.txt-Blöcke verwenden.

Gesperrte Pfade (Disallow)

Erlaubte Pfade (Allow)

Sitemap & Crawl-Delay

Sitemap-URL (optional)

Crawl-Delay in Sekunden (optional)

robots.txt Vorschau