robots.txt Validator

Fügen Sie den Inhalt Ihrer robots.txt ein, um die Syntax zu prüfen. Analysiert User-agent-, Disallow-, Allow- und Sitemap-Direktiven und visualisiert die Crawler-Zugriffsregeln.

Zuletzt aktualisiert: 2026-09-13

[[ labels.url_label ]]

[[ fetchError ]]

[[ labels.or_paste ]]

[[ labels.input_label ]]

[[ labels.sample_label ]]:

[[ labels.no_input ]]

[[ labels.result_label ]]

[[ labels.errors_label ]]

[[ labels.line_label ]] [[ err.line ]]: [[ errorMessage(err) ]]

✓ [[ labels.no_errors ]]

[[ labels.blocks_label ]]

User-agent: [[ ua === '*' ? labels.all_crawlers + ' (*)' : ua ]]

Disallow
Allow	[[ path ]]
[[ labels.no_rules ]]
Crawl-delay	[[ block.crawlDelay ]]

[[ labels.sitemaps_label ]]

[[ url ]]

Was ist der robots.txt-Validator?

Mit dem robots.txt-Validator können Sie Ihre robots.txt-Datei auf Syntaxfehler und subtile Fehler prüfen, indem Sie einfach ihren Inhalt einfügen oder sie direkt über eine URL abrufen. Das Tool analysiert jede Direktive – User-agent, Disallow, Allow, Sitemap und Crawl-delay – und zeigt in einer einzigen übersichtlichen Ansicht, welche Pfade für welchen Crawler erlaubt oder gesperrt sind.

Eine von Hand geschriebene robots.txt-Datei enthält leichter Fehler, als man denkt: Direktiven in der falschen Reihenfolge, eine Allow-Regel ohne passende Disallow-Regel oder ein Block, der der falschen User-agent-Gruppe zugeordnet ist, fallen bei einem flüchtigen Blick oft nicht auf – können aber dazu führen, dass Suchmaschinen Ihre gesamte Website ignorieren. Prüfen Sie die Datei daher unbedingt mit diesem Tool, bevor Sie sie veröffentlichen: So lassen sich solche Fehler beheben, während das noch nichts kostet.

So verwenden Sie den robots.txt-Validator

Bereiten Sie die zu prüfende robots.txt vor Halten Sie den Inhalt der Datei kopierbereit, oder notieren Sie sich einfach die URL der bereits veröffentlichten Website, die Sie prüfen möchten.
Rufen Sie die Datei über eine URL ab oder fügen Sie sie direkt ein Geben Sie die Adresse der Website im Feld „Von URL abrufen" ein, um sie automatisch zu laden, oder fügen Sie den Text direkt in das Textfeld darunter ein.
Prüfen Sie die Fehler und Warnungen im Ergebnis Unbekannte Direktiven, Direktiven ohne vorangehende User-agent-Zeile und weitere Fehler werden mit der genauen Zeilennummer angezeigt, in der sie auftreten.
Prüfen Sie die erlaubten und gesperrten Pfade je Crawler Das Ergebnis ordnet alle Regeln nach Crawler, sodass Sie schnell vergleichen können, was tatsächlich gesperrt ist und was Sie beabsichtigt hatten.
Bestätigen Sie, dass die Sitemap-Direktive vorhanden und korrekt ist Prüfen Sie, ob die URL Ihrer Sitemap richtig geschrieben und enthalten ist, da Suchmaschinen sich auf diese Zeile verlassen, um sie zu finden.

Tipps für die Nutzung

User-agent: * gilt für alle Crawler. Blöcke mit einem spezifischen Bot-Namen (z. B. Googlebot) haben Vorrang vor dem Platzhalterblock.
Disallow: ohne Wert bedeutet „alle Pfade erlauben". Disallow: / (nur Schrägstrich) sperrt alles. Verwechseln Sie sie nicht.
Die Allow:-Direktive hat Vorrang vor Disallow:, wenn beide übereinstimmen. Beispiel: Disallow: /private/ gefolgt von Allow: /private/public.html erlaubt genau diese Datei.
Crawl-delay: ist eine nicht standardisierte Direktive, die das Intervall zwischen Anfragen in Sekunden angibt. Bing und Yandex unterstützen sie; Google ignoriert sie.
Die Sitemap:-Direktive teilt Suchmaschinen die URL Ihrer Sitemap mit. Google und Bing erkennen sie; kombinieren Sie sie mit der manuellen Einreichung in der Search Console.

Anwendungsfälle

Abschließende Prüfung vor dem Website-Relaunch

Fügen Sie die für die Produktivumgebung vorgesehene robots.txt vor dem Livegang ein, um sicherzustellen, dass keine versehentlich übernommene Testregel die gesamte Website sperrt.

Prüfung der Standarddatei eines neuen CMS oder Frameworks

Viele Plattformen erzeugen bei der Installation automatisch eine robots.txt. Prüfen Sie hier, ob dabei nicht versehentlich Verzeichnisse gesperrt werden, die eigentlich indexiert werden sollen.

Als schnelle technische Prüfung im Rahmen eines SEO-Audits

Wenn das Ranking einer Website hinter den Erwartungen zurückbleibt, können Sie mit diesem Tool innerhalb von Sekunden ausschließen, dass eingeschränkter Crawler-Zugriff die Ursache ist.

Analyse der robots.txt eines Wettbewerbers

Rufen Sie die Website eines Wettbewerbers über die URL ab, um zu sehen, welche Verzeichnisse oder Dateitypen dieser bewusst vom Crawling durch Suchmaschinen ausschließt.

Glossar

User-agent: Die Direktive, die angibt, für welchen Crawler eine Regelgruppe gilt. * gilt für alle Crawler, für die keine spezifischere eigene Regel existiert.
Disallow: Die Direktive, die das Crawlen eines bestimmten Pfads sperrt. Ein leerer Wert bedeutet „alles erlauben" – leicht zu verwechseln mit einem einzelnen Schrägstrich, der „alles sperren" bedeutet.
Allow: Die Direktive, mit der innerhalb eines von Disallow gesperrten Pfads eine Ausnahme definiert wird, sodass nur diese eine Datei oder dieser Unterpfad erlaubt ist.
Sitemap-Direktive: Teilt Suchmaschinen mit, wo Ihre Sitemap-XML-Datei zu finden ist. Sie wird unabhängig von Disallow-Regeln gelesen und immer verarbeitet.
Crawl-delay: Eine nicht standardisierte Direktive, die das Mindestintervall in Sekunden zwischen Anfragen angibt. Bing und Yandex beachten sie, Google ignoriert sie vollständig.
Robots Exclusion Protocol (REP): Die 1994 entwickelte zugrunde liegende Konvention, die robots.txt umsetzt. Sie blieb fast drei Jahrzehnte lang ein informeller Standard, bevor sie 2022 offiziell als RFC 9309 veröffentlicht wurde.

Häufige Fragen

Ja. Das Sperren einer Seite mit Disallow verhindert, dass Crawler deren Inhalt lesen, sodass sie nicht indexiert wird. Wenn die Seite jedoch von anderen Sites verlinkt ist, können Suchmaschinen sie als „bekannt, aber nicht gecrawlt" auflisten. Für vollständigen Ausschluss kombinieren Sie es mit dem Meta-Tag noindex.

Nein. robots.txt gilt pro Ursprung. example.com/robots.txt gilt nicht für blog.example.com. Jede Subdomain benötigt eine eigene robots.txt-Datei.

Googlebot unterstützt * (beliebige Zeichenfolge) und $ (URL-Ende). Beispiel: Disallow: /private/*.pdf$ sperrt alle PDF-Dateien unter /private/. Nicht alle Crawler unterstützen Platzhalter.

Übrigens – Die Entstehung von robots.txt: der Tag, an dem das Internet Manieren lernte

1994 erfand der niederländische Ingenieur Martijn Koster das Robots Exclusion Protocol (REP). Damals durchstreiften Webcrawler Seiten unkontrolliert und überlasteten Server. Kosters Idee war einfach: „Wenn Sie eine Datei mit Regeln im Stammverzeichnis der Website ablegen, werden Crawler sie lesen." Diese Datei wurde zu robots.txt.

Entscheidend ist: robots.txt ist eine freiwillige Übereinkunft ohne Durchsetzungskraft. Wohlmeinende Crawler wie Googlebot und Bingbot respektieren sie, aber bösartige Bots ignorieren sie. Deshalb eignet sich robots.txt gut, um Suchmaschinen mitzuteilen, was nicht indexiert werden soll, sollte aber niemals zum Schutz sensibler Inhalte vor unbefugtem Zugriff verwendet werden.

Das Robots Exclusion Protocol existierte fast drei Jahrzehnte als informelle Konvention, bevor es im September 2022 von der IETF als RFC 9309 formal registriert wurde – fast 28 Jahre nach seiner Entstehung.

Alle Wissenstexte ansehen