Verifica del metadato robots e dell'intestazione X-Robots-Tag

Basta incollare il valore del metadato o dell'intestazione X-Robots-Tag per convalidarne in blocco le direttive. Rileva le indicazioni contraddittorie, come la presenza simultanea di noindex e index, e gli errori nei valori di max-snippet e simili, elencando il dettaglio direttiva per direttiva.

Ultimo aggiornamento: 2026-10-17

Esaminare le vostre istruzioni di scansione e indicizzazione

<meta name="robots"> e X-Robots-Tag sono il modo di dire a un motore di ricerca di non indicizzare una pagina o di non seguirne i collegamenti. Incollate il valore e questo strumento scompone le direttive, porta alla luce le impostazioni contraddittorie e i valori difettosi, ed espone il risultato.

La prima cosa da afferrare è che, quando le istruzioni si contraddicono, prevale la più restrittiva. Scrivete index, noindex e vince noindex. L'incidente di gran lunga più comune consiste però nel porre noindex su una pagina e insieme vietarla nel robots.txt. Il crawler non riesce più a prelevarla, sicché non legge mai l'istruzione noindex e la pagina resta nell'indice. Una pagina che si vuole togliere va lasciata scansionabile perché il noindex possa essere letto. Notate inoltre che X-Robots-Tag, essendo un'intestazione HTTP, consente di dare le stesse istruzioni a PDF e immagini, che non hanno HTML in cui alloggiare un meta tag.

Come si usa

Incollate il valore Un tag <meta>, una riga che cominci con X-Robots-Tag: o le sole direttive sono accolti allo stesso modo.
Provate prima gli esempi Sono forniti un buon esempio e uno cattivo.
Leggete le contraddizioni e gli errori Vengono segnalati sia lo scrivere noindex accanto a index sia i valori difettosi in max-snippet e simili.
Rivedete il dettaglio Vedete le direttive scomposte e potete stabilire quali siano in vigore.

Consigli per sfruttarlo al meglio

Evitate di usare insieme noindex e il divieto nel file robots.txt. Bloccando la raccolta con il divieto, il programma non può leggere il metadato noindex nella pagina e la rimozione dall'indice può non avvenire come desiderato.
Google non considera errore una direttiva sconosciuta e semplicemente la ignora. Una direttiva sbagliata non è quindi fatale, ma proprio per questo un errore di digitazione può passare inosservato: la verifica resta importante.
I valori max-snippet:-1 e max-video-preview:-1 significano «senza limiti». Lo zero ha invece il significato ben diverso di «non mostrare alcun estratto»: attenzione a non confonderli.
L'intestazione X-Robots-Tag è l'unico modo per dare istruzioni come noindex anche a file non HTML, per esempio PDF e immagini: i metadati si possono incorporare soltanto nei documenti HTML.
Indicando più direttive, riunitele separate da virgole in un unico attributo content o in un unico valore d'intestazione. Scrivendo più metadati con lo stesso nome non prevale l'ultimo: ciascuno è valutato per conto proprio.

Quando torna utile

Nell'evitare che un ambiente di prova diventi pubblico

Potete accertare prima del lancio che noindex sia davvero in vigore.

Nell'indagare perché una pagina non esca dall'indice

Vi dà lo spunto per rivedere se accanto al noindex vi sia un divieto nel robots.txt.

Nel regolare l'aspetto di un risultato

Potete accertare che max-snippet e max-image-preview siano indicati correttamente.

Nel decidere come trattare i PDF e simili

I file privi di HTML richiedono X-Robots-Tag anziché un meta tag.

Termini delle istruzioni robots

Noindex: L'istruzione che chiede di tenere una pagina fuori dai risultati. Vietarla nel robots.txt impedisce che venga letta, perciò le due cose non vanno combinate.
Nofollow: L'istruzione che chiede di non seguire i collegamenti della pagina.
Noarchive: In passato chiedeva di non mostrare nei risultati il link alla copia in cache. Google ha dismesso le pagine in cache e la Ricerca Google non utilizza più questa regola (viene ignorata).
Max-snippet: Fissa la lunghezza massima della descrizione mostrata nei risultati. 0 la sopprime e -1 toglie il limite.
Max-image-preview: Fissa la dimensione dell'anteprima dell'immagine, scegliendo fra none, standard e large.
X-Robots-Tag: Le stesse istruzioni restituite come intestazione HTTP. Serve per risorse quali PDF e immagini, che non recano HTML.

Domande frequenti

Il file robots.txt governa, per sito e per schema di indirizzo, se un programma di raccolta possa scaricare quell'indirizzo. Il metadato robots, e con esso l'intestazione X-Robots-Tag, governa pagina per pagina se ciò che è stato raccolto possa entrare nell'indice e se i collegamenti nella pagina possano essere seguiti. Il primo riguarda la raccolta, il secondo l'indicizzazione e il tracciamento dei collegamenti: due fasi distinte.

La direttiva noindex chiede a Google di escludere la pagina dai risultati di ricerca; nofollow chiede di non seguire i collegamenti contenuti nella pagina, cioè di non usarli per la raccolta. Insieme producono una configurazione rigorosa: la pagina non compare nei risultati e non trasmette alcuna valutazione ai propri collegamenti.

Il metadato si può incorporare soltanto nei documenti HTML e quindi no, ma l'intestazione X-Robots-Tag viaggia nella risposta HTTP e si può applicare a file di qualunque formato: PDF, immagini, filmati. Il modo consueto è assegnarla in blocco per estensione nella configurazione del servente web.

Permette di limitare la lunghezza massima dell'estratto mostrato nei risultati di ricerca. Torna utile quando si vuole mostrare soltanto l'inizio di un articolo o impedire che il testo di un contenuto a pagamento compaia per intero, regolando finemente la visualizzazione senza ricorrere al più drastico nosnippet.

Si può fare, ma non funziona come ci si aspetta. Con il divieto nel file robots.txt il programma di raccolta non scarica la pagina e non ha quindi occasione di leggervi il metadato noindex: la rimozione dall'indice può non avvenire. Per escludere una pagina dai risultati occorre consentirne la raccolta e usare soltanto noindex.

A proposito — che cosa distingue robots.txt dal metadato robots: la divisione dei compiti fra raccolta e indicizzazione

Il file robots.txt e il metadato robots servono entrambi a impartire istruzioni ai motori di ricerca, ma intervengono in fasi diverse. Il file governa per schemi di indirizzo la liceità della raccolta ed è un testo statico collocato nella radice del sito. Il metadato, e con esso l'intestazione X-Robots-Tag, governa invece pagina per pagina se ciò che è stato raccolto possa essere indicizzato e se i collegamenti possano essere seguiti: due strati indipendenti.

Proprio per questa divisione dei compiti, scrivere un metadato noindex in una pagina vietata dal file robots.txt non produce alcun effetto: il programma di raccolta non può nemmeno scaricare la pagina e non ha quindi occasione di leggere l'istruzione. Per escludere una pagina dai risultati di ricerca occorre consentirne la raccolta e servirsi soltanto della direttiva noindex.

L'intestazione X-Robots-Tag fu introdotta da Google intorno al 2007 e ha reso possibile lo stesso controllo anche sulle risorse non HTML — PDF, immagini, filmati — in cui i metadati non si possono incorporare. Poiché la si può assegnare in blocco per estensione di file nella configurazione del servente web, si presta a rendere non indicizzabili in una sola volta grandi quantità di documenti.

Le direttive con valore, come max-snippet, max-image-preview e max-video-preview, sono relativamente recenti: furono aggiunte nel 2019, quando Google riordinò le proprie regole sulla visualizzazione degli estratti nei risultati di ricerca. Prima di allora si poteva soltanto disattivarli del tutto con nosnippet, e la possibilità di regolarne finemente l'ampiezza fu accolta con favore dagli editori.

Vedi tutte le curiosità