Verifica del metadato robots e dell'intestazione X-Robots-Tag
Basta incollare il valore del metadato o dell'intestazione X-Robots-Tag per convalidarne in blocco le direttive. Rileva le indicazioni contraddittorie, come la presenza simultanea di noindex e index, e gli errori nei valori di max-snippet e simili, elencando il dettaglio direttiva per direttiva.
Consigli
- Evitate di usare insieme noindex e il divieto nel file robots.txt. Bloccando la raccolta con il divieto, il programma non può leggere il metadato noindex nella pagina e la rimozione dall'indice può non avvenire come desiderato.
- Google non considera errore una direttiva sconosciuta e semplicemente la ignora. Una direttiva sbagliata non è quindi fatale, ma proprio per questo un errore di digitazione può passare inosservato: la verifica resta importante.
- I valori max-snippet:-1 e max-video-preview:-1 significano «senza limiti». Lo zero ha invece il significato ben diverso di «non mostrare alcun estratto»: attenzione a non confonderli.
- L'intestazione X-Robots-Tag è l'unico modo per dare istruzioni come noindex anche a file non HTML, per esempio PDF e immagini: i metadati si possono incorporare soltanto nei documenti HTML.
- Indicando più direttive, riunitele separate da virgole in un unico attributo content o in un unico valore d'intestazione. Scrivendo più metadati con lo stesso nome non prevale l'ultimo: ciascuno è valutato per conto proprio.
Domande frequenti
A proposito — che cosa distingue robots.txt dal metadato robots: la divisione dei compiti fra raccolta e indicizzazione
Il file robots.txt e il metadato robots servono entrambi a impartire istruzioni ai motori di ricerca, ma intervengono in fasi diverse. Il file governa per schemi di indirizzo la liceità della raccolta ed è un testo statico collocato nella radice del sito. Il metadato, e con esso l'intestazione X-Robots-Tag, governa invece pagina per pagina se ciò che è stato raccolto possa essere indicizzato e se i collegamenti possano essere seguiti: due strati indipendenti.
Proprio per questa divisione dei compiti, scrivere un metadato noindex in una pagina vietata dal file robots.txt non produce alcun effetto: il programma di raccolta non può nemmeno scaricare la pagina e non ha quindi occasione di leggere l'istruzione. Per escludere una pagina dai risultati di ricerca occorre consentirne la raccolta e servirsi soltanto della direttiva noindex.
L'intestazione X-Robots-Tag fu introdotta da Google intorno al 2007 e ha reso possibile lo stesso controllo anche sulle risorse non HTML — PDF, immagini, filmati — in cui i metadati non si possono incorporare. Poiché la si può assegnare in blocco per estensione di file nella configurazione del servente web, si presta a rendere non indicizzabili in una sola volta grandi quantità di documenti.
Le direttive con valore, come max-snippet, max-image-preview e max-video-preview, sono relativamente recenti: furono aggiunte nel 2019, quando Google riordinò le proprie regole sulla visualizzazione degli estratti nei risultati di ricerca. Prima di allora si poteva soltanto disattivarli del tutto con nosnippet, e la possibilità di regolarne finemente l'ampiezza fu accolta con favore dagli editori.