Robots-Meta-Tag / X-Robots-Tag-Validator

Fügen Sie den Wert eines -Tags oder eines X-Robots-Tag-Headers ein, um die Direktiven in einem Durchgang zu prüfen. Erkennt Widersprüche wie noindex und index gleichzeitig sowie fehlerhafte Werte wie bei max-snippet und zeigt eine Übersicht je Direktive.

Zuletzt aktualisiert: 2026-09-20

Was Nutzer als Nächstes verwenden

Ihre Anweisungen zum Crawlen und Indexieren prüfen

`` und `X-Robots-Tag` sind das Mittel, einer Suchmaschine mitzuteilen, eine Seite nicht zu indexieren oder ihren Verweisen nicht zu folgen. Fügen Sie den Wert ein, und dieses Werkzeug zerlegt die Anweisungen, bringt widersprüchliche Angaben und fehlerhafte Werte ans Licht und legt das Ergebnis dar.

**Zuerst gilt es zu begreifen, dass bei einander widersprechenden Anweisungen die einschränkendere gilt.** Schreiben Sie `index, noindex`, so gewinnt `noindex`. **Der bei Weitem häufigste Unfall besteht allerdings darin, eine Seite mit `noindex` zu versehen und sie zugleich in der robots.txt zu sperren.** Der Crawler kann sie dann nicht mehr abrufen, sodass er **die Anweisung `noindex` überhaupt nie liest und die Seite im Index verbleibt.** Eine Seite, die verschwinden soll, muss crawlbar bleiben, damit das `noindex` gelesen werden kann. Beachten Sie ferner, dass `X-Robots-Tag` als HTTP-Kopfzeile dieselben Anweisungen auch für PDF-Dateien und Bilder erlaubt, die kein HTML für ein Meta-Element besitzen.

So gehen Sie vor

Fügen Sie den Wert ein Ein ``-Element, eine mit `X-Robots-Tag:` beginnende Zeile oder die bloßen Anweisungen werden gleichermaßen angenommen.
Probieren Sie zuerst die Beispiele Ein gutes und ein schlechtes Beispiel liegen bereit.
Lesen Sie Widersprüche und Fehler **Sowohl `noindex` neben `index` als auch fehlerhafte Werte bei `max-snippet` und Ähnlichem werden benannt.**
Sehen Sie die Aufschlüsselung durch Sie sehen die Anweisungen zerlegt und können feststellen, welche in Kraft sind.

Tipps für die Nutzung

Vermeiden Sie es, noindex gemeinsam mit einem robots.txt-Disallow für dieselbe Seite zu setzen. Blockiert Disallow das Crawling vollständig, kann der Crawler die noindex-Anweisung auf der Seite nie lesen, sodass die Entfernung aus dem Index ausbleiben kann.
Google gibt bei nicht erkannten Direktivennamen keinen Fehler aus, sondern ignoriert sie einfach. Ein unbekannter Wert ist somit nicht kritisch, ein Tippfehler kann dadurch aber unbemerkt bleiben.
max-snippet:-1 und max-video-preview:-1 bedeuten „unbegrenzt“. Der Wert 0 hat eine andere Bedeutung – „keinerlei Snippet anzeigen“ – verwechseln Sie die beiden nicht.
Der X-Robots-Tag-Header ist die einzige Möglichkeit, Anweisungen wie noindex auch auf Nicht-HTML-Dateien wie PDFs oder Bilder anzuwenden; ein -Tag lässt sich nur in ein HTML-Dokument einbetten.
Mehrere Direktiven werden kommagetrennt in einem einzigen content-Attribut bzw. Header-Wert zusammengefasst. Mehrere gleichnamige meta-Tags überschreiben sich nicht gegenseitig, sondern werden beide einzeln ausgewertet.

Wofür Sie es nutzen können

Um zu verhindern, dass eine Testumgebung öffentlich wird

**Sie können vor dem Start bestätigen, dass `noindex` wirklich greift.**

Um zu untersuchen, warum eine Seite den Index nicht verlässt

**Es gibt Ihnen den Anstoß zu prüfen, ob neben dem `noindex` eine Sperre in der robots.txt steht.**

Um das Erscheinen eines Treffers zu steuern

Sie können bestätigen, dass `max-snippet` und `max-image-preview` richtig angegeben sind.

Um über den Umgang mit PDF-Dateien zu entscheiden

Dateien ohne HTML verlangen `X-Robots-Tag` anstelle eines Meta-Elements.

Begriffe der robots-Anweisungen

Noindex: Die Anweisung, eine Seite aus den Suchergebnissen herauszuhalten. **Eine Sperre in der robots.txt verhindert, dass sie gelesen wird, beides darf daher nicht verbunden werden.**
Nofollow: Die Anweisung, den Verweisen auf der Seite nicht zu folgen.
Noarchive: Die Anweisung, keine zwischengespeicherte Fassung in den Ergebnissen anzubieten.
Max-snippet: Legt die Höchstlänge der in den Ergebnissen gezeigten Beschreibung fest. `0` unterdrückt sie, `-1` hebt die Grenze auf.
Max-image-preview: Legt die Größe der Bildvorschau fest, zur Wahl stehen `none`, `standard` und `large`.
X-Robots-Tag: Dieselben Anweisungen, **als HTTP-Kopfzeile zurückgegeben.** Es dient für Ressourcen wie PDF-Dateien und Bilder, die kein HTML mitführen.

Häufige Fragen

robots.txt steuert auf Website- bzw. URL-Muster-Ebene, ob ein Crawler eine bestimmte URL überhaupt abrufen darf. Der Robots-Meta-Tag (einschließlich X-Robots-Tag-Header) steuert dagegen seitenweise, ob eine bereits gecrawlte Seite indexiert oder ihren Links gefolgt werden darf. Kurz: Das eine regelt das Crawling, das andere die Indexierung und das Verfolgen von Links – zwei getrennte Stufen.

noindex weist Google an, die Seite nicht in die Suchergebnisse aufzunehmen. nofollow weist an, den Links auf dieser Seite nicht zu folgen, also sie nicht als Signal für das Crawlen der Ziel-URLs zu nutzen. Zusammen ergibt sich eine strenge Einstellung: Die Seite selbst erscheint nicht in den Suchergebnissen, und auch ihre ausgehenden Links liefern kein Crawling-Signal.

Ein meta-Tag lässt sich hier nicht einsetzen, da es nur innerhalb eines HTML-Dokuments funktioniert. X-Robots-Tag wird jedoch als HTTP-Antwort-Header gesendet und lässt sich daher auf jeden Dateityp anwenden – PDFs, Bilder, Videos und mehr. Üblich ist es, den Webserver so zu konfigurieren, dass er ihn pauschal je Dateiendung setzt.

Damit lässt sich die maximale Zeichenzahl begrenzen, die Google im Snippet der Suchergebnisse anzeigen darf. Das ist nützlich, wenn nur der Anfang eines Nachrichtenartikels sichtbar sein soll oder verhindert werden soll, dass der volle Text kostenpflichtiger Inhalte erscheint – ohne gleich zur schärferen Option nosnippet zu greifen, die die Anzeige komplett abschaltet.

Beides gleichzeitig zu setzen ist technisch möglich, funktioniert aber nicht wie erwartet. Sperrt robots.txt eine Seite per Disallow, kann der Crawler sie nicht abrufen und liest daher nie das darauf befindliche noindex-Tag, sodass die Seite womöglich nicht aus dem Index entfernt wird. Wer eine Seite aus den Suchergebnissen ausschließen möchte, sollte das Crawling erlauben und sich allein auf noindex verlassen.

Übrigens – Was unterscheidet robots.txt vom Robots-Meta-Tag? Die Arbeitsteilung zwischen Crawling und Indexierung

robots.txt und der Robots-Meta-Tag dienen beide Anweisungen an Suchmaschinen, wirken aber auf unterschiedlichen Ebenen. robots.txt ist eine statische Textdatei im Stammverzeichnis der Website, die pro URL-Muster steuert, ob überhaupt gecrawlt werden darf. Der Robots-Meta-Tag (und der X-Robots-Tag-Header) steuert dagegen seitenweise, ob eine bereits gecrawlte Seite indexiert oder ob ihren Links gefolgt werden darf – beide arbeiten als unabhängige Schichten.

Wegen dieser Arbeitsteilung bleibt ein noindex-Tag auf einer Seite wirkungslos, wenn robots.txt diese Seite bereits per Disallow sperrt. Der Crawler kann die Seite von vornherein nicht abrufen und bekommt daher nie die Gelegenheit, die darin enthaltene noindex-Anweisung zu lesen. Wer eine Seite aus den Suchergebnissen entfernen möchte, muss das Crawling erlauben und sich allein auf noindex verlassen.

Der X-Robots-Tag-Header wurde um 2007 von Google eingeführt und ermöglichte dieselbe Kontrolle auch für Nicht-HTML-Ressourcen wie PDFs, Bilder und Videos, in die kein meta-Tag eingebettet werden kann. Da er sich über die Webserver-Konfiguration (etwa in Apache) pauschal je Dateiendung setzen lässt, eignet er sich gut dafür, etwa eine ganze Sammlung von PDF-Dateien auf einmal auf noindex zu setzen.

Direktiven mit Wertangabe wie max-snippet, max-image-preview und max-video-preview sind vergleichsweise neu und wurden 2019 eingeführt, als Google seine Richtlinien zur Snippet-Anzeige in den Suchergebnissen präzisierte. Zuvor blieb Publishern nur die pauschale Option nosnippet, um die Anzeige vollständig abzuschalten – die neuen Direktiven erlaubten erstmals eine feinere Steuerung des Anzeigeumfangs.

Alle Wissenstexte ansehen