Robots-Meta-Tag / X-Robots-Tag-Validator

Fügen Sie den Wert eines -Tags oder eines X-Robots-Tag-Headers ein, um die Direktiven in einem Durchgang zu prüfen. Erkennt Widersprüche wie noindex und index gleichzeitig sowie fehlerhafte Werte wie bei max-snippet und zeigt eine Übersicht je Direktive.

Tipps

Vermeiden Sie es, noindex gemeinsam mit einem robots.txt-Disallow für dieselbe Seite zu setzen. Blockiert Disallow das Crawling vollständig, kann der Crawler die noindex-Anweisung auf der Seite nie lesen, sodass die Entfernung aus dem Index ausbleiben kann.
Google gibt bei nicht erkannten Direktivennamen keinen Fehler aus, sondern ignoriert sie einfach. Ein unbekannter Wert ist somit nicht kritisch, ein Tippfehler kann dadurch aber unbemerkt bleiben.
max-snippet:-1 und max-video-preview:-1 bedeuten „unbegrenzt“. Der Wert 0 hat eine andere Bedeutung – „keinerlei Snippet anzeigen“ – verwechseln Sie die beiden nicht.
Der X-Robots-Tag-Header ist die einzige Möglichkeit, Anweisungen wie noindex auch auf Nicht-HTML-Dateien wie PDFs oder Bilder anzuwenden; ein -Tag lässt sich nur in ein HTML-Dokument einbetten.
Mehrere Direktiven werden kommagetrennt in einem einzigen content-Attribut bzw. Header-Wert zusammengefasst. Mehrere gleichnamige meta-Tags überschreiben sich nicht gegenseitig, sondern werden beide einzeln ausgewertet.

Häufige Fragen

robots.txt steuert auf Website- bzw. URL-Muster-Ebene, ob ein Crawler eine bestimmte URL überhaupt abrufen darf. Der Robots-Meta-Tag (einschließlich X-Robots-Tag-Header) steuert dagegen seitenweise, ob eine bereits gecrawlte Seite indexiert oder ihren Links gefolgt werden darf. Kurz: Das eine regelt das Crawling, das andere die Indexierung und das Verfolgen von Links – zwei getrennte Stufen.

noindex weist Google an, die Seite nicht in die Suchergebnisse aufzunehmen. nofollow weist an, den Links auf dieser Seite nicht zu folgen, also sie nicht als Signal für das Crawlen der Ziel-URLs zu nutzen. Zusammen ergibt sich eine strenge Einstellung: Die Seite selbst erscheint nicht in den Suchergebnissen, und auch ihre ausgehenden Links liefern kein Crawling-Signal.

Ein meta-Tag lässt sich hier nicht einsetzen, da es nur innerhalb eines HTML-Dokuments funktioniert. X-Robots-Tag wird jedoch als HTTP-Antwort-Header gesendet und lässt sich daher auf jeden Dateityp anwenden – PDFs, Bilder, Videos und mehr. Üblich ist es, den Webserver so zu konfigurieren, dass er ihn pauschal je Dateiendung setzt.

Damit lässt sich die maximale Zeichenzahl begrenzen, die Google im Snippet der Suchergebnisse anzeigen darf. Das ist nützlich, wenn nur der Anfang eines Nachrichtenartikels sichtbar sein soll oder verhindert werden soll, dass der volle Text kostenpflichtiger Inhalte erscheint – ohne gleich zur schärferen Option nosnippet zu greifen, die die Anzeige komplett abschaltet.

Beides gleichzeitig zu setzen ist technisch möglich, funktioniert aber nicht wie erwartet. Sperrt robots.txt eine Seite per Disallow, kann der Crawler sie nicht abrufen und liest daher nie das darauf befindliche noindex-Tag, sodass die Seite womöglich nicht aus dem Index entfernt wird. Wer eine Seite aus den Suchergebnissen ausschließen möchte, sollte das Crawling erlauben und sich allein auf noindex verlassen.

Übrigens – Was unterscheidet robots.txt vom Robots-Meta-Tag? Die Arbeitsteilung zwischen Crawling und Indexierung

robots.txt und der Robots-Meta-Tag dienen beide Anweisungen an Suchmaschinen, wirken aber auf unterschiedlichen Ebenen. robots.txt ist eine statische Textdatei im Stammverzeichnis der Website, die pro URL-Muster steuert, ob überhaupt gecrawlt werden darf. Der Robots-Meta-Tag (und der X-Robots-Tag-Header) steuert dagegen seitenweise, ob eine bereits gecrawlte Seite indexiert oder ob ihren Links gefolgt werden darf – beide arbeiten als unabhängige Schichten.

Wegen dieser Arbeitsteilung bleibt ein noindex-Tag auf einer Seite wirkungslos, wenn robots.txt diese Seite bereits per Disallow sperrt. Der Crawler kann die Seite von vornherein nicht abrufen und bekommt daher nie die Gelegenheit, die darin enthaltene noindex-Anweisung zu lesen. Wer eine Seite aus den Suchergebnissen entfernen möchte, muss das Crawling erlauben und sich allein auf noindex verlassen.

Der X-Robots-Tag-Header wurde um 2007 von Google eingeführt und ermöglichte dieselbe Kontrolle auch für Nicht-HTML-Ressourcen wie PDFs, Bilder und Videos, in die kein meta-Tag eingebettet werden kann. Da er sich über die Webserver-Konfiguration (etwa in Apache) pauschal je Dateiendung setzen lässt, eignet er sich gut dafür, etwa eine ganze Sammlung von PDF-Dateien auf einmal auf noindex zu setzen.

Direktiven mit Wertangabe wie max-snippet, max-image-preview und max-video-preview sind vergleichsweise neu und wurden 2019 eingeführt, als Google seine Richtlinien zur Snippet-Anzeige in den Suchergebnissen präzisierte. Zuvor blieb Publishern nur die pauschale Option nosnippet, um die Anzeige vollständig abzuschalten – die neuen Direktiven erlaubten erstmals eine feinere Steuerung des Anzeigeumfangs.

Alle Wissenstexte ansehen

Robots-Meta-Tag / X-Robots-Tag-Validator

Tipps

Häufige Fragen

Was ist der Unterschied zwischen robots.txt und dem Robots-Meta-Tag?

Was passiert konkret bei der Angabe von „noindex, nofollow“?

Kann ich X-Robots-Tag für Bilder oder PDFs verwenden?

Welchen Vorteil bietet die Angabe von max-snippet?

Ist es problematisch, noindex und ein robots.txt-Disallow gleichzeitig zu setzen?

Übrigens – Was unterscheidet robots.txt vom Robots-Meta-Tag? Die Arbeitsteilung zwischen Crawling und Indexierung