Verifica del file robots.txt

Incollate il contenuto del file robots.txt per controllarne la sintassi. Analizza le direttive User-agent, Disallow, Allow e Sitemap e rende evidenti le regole di accesso destinate ai programmi di raccolta.

[[ labels.url_label ]]

[[ fetchError ]]

[[ labels.or_paste ]]

[[ labels.input_label ]]

[[ labels.sample_label ]]:

[[ labels.no_input ]]

[[ labels.result_label ]]

[[ labels.errors_label ]]

[[ labels.line_label ]] [[ err.line ]]: [[ errorMessage(err) ]]

✓ [[ labels.no_errors ]]

[[ labels.blocks_label ]]

User-agent: [[ ua === '*' ? labels.all_crawlers + ' (*)' : ua ]]

Disallow
Allow	[[ path ]]
[[ labels.no_rules ]]
Crawl-delay	[[ block.crawlDelay ]]

[[ labels.sitemaps_label ]]

[[ url ]]

Che cos'è la verifica del file robots.txt

La verifica del file robots.txt permette di individuare errori di sintassi e piccole sviste incollando semplicemente il contenuto del file, oppure indicando l'indirizzo del sito per recuperarlo direttamente. Lo strumento analizza ciascuna direttiva — User-agent, Disallow, Allow, Sitemap e Crawl-delay — e presenta in un'unica visione chiara quali percorsi sono ammessi o vietati per ogni programma di raccolta.

Un file robots.txt scritto a mano si presta più facilmente del previsto a piccoli errori: direttive nell'ordine sbagliato, una regola Allow priva del corrispondente Disallow, oppure un blocco collocato sotto il gruppo User-agent sbagliato possono sfuggire a una lettura distratta, pur finendo per escludere l'intero sito dai risultati di ricerca. Verificare il file con questo strumento prima di pubblicarlo consente di individuare questi errori quando è ancora semplice correggerli.

Come usare la verifica del file robots.txt

Preparate il file robots.txt da verificare Tenete a portata di mano il contenuto del file copiato, oppure semplicemente l'indirizzo del sito già pubblicato che volete controllare.
Recuperatelo da un indirizzo oppure incollatelo direttamente Inserite l'indirizzo del sito nel campo «Recupera da un indirizzo» per ottenerlo automaticamente, oppure incollate il testo direttamente nell'area sottostante.
Esaminate gli errori e gli avvisi nell'esito Le direttive sconosciute, quelle che compaiono prima di qualsiasi riga User-agent e gli altri errori vengono elencati insieme al numero esatto della riga in cui si trovano.
Verificate i percorsi ammessi e vietati per ciascun programma di raccolta L'esito organizza tutte le regole per programma di raccolta, così da poter confrontare rapidamente ciò che risulta effettivamente vietato con quanto si intendeva ottenere.
Confermate che la direttiva Sitemap sia presente e corretta Verificate che l'indirizzo della mappa del sito sia scritto correttamente e presente, poiché i motori di ricerca si affidano a questa riga per trovarla.

Consigli per sfruttarlo al meglio

La direttiva User-agent: * vale per tutti i programmi di raccolta. Un blocco che nomini un automa preciso, come Googlebot, ha la precedenza.
La direttiva Disallow: senza valore significa «tutti i percorsi ammessi», mentre Disallow: /, con la sola barra, vieta tutto: attenzione a non confonderle.
La direttiva Allow: prevale su Disallow:. Scrivendo per esempio Allow: /private/public.html dopo Disallow: /private/, si consente l'accesso a quel solo file.
La direttiva Crawl-delay: indica in secondi l'intervallo fra le richieste ed è non standard: Bing e Yandex la rispettano, Google no, e occorre allora regolare la frequenza di raccolta in Search Console.
Con la direttiva Sitemap: si comunica ai motori di ricerca l'indirizzo della mappa del sito. Google e Bing la riconoscono entrambi ed è efficace usarla insieme all'invio manuale dai rispettivi strumenti per amministratori.

Situazioni d'uso

Controllo finale prima del rilancio di un sito

Incollate il robots.txt destinato alla produzione prima della pubblicazione, per accertarvi che non sia rimasta per errore una regola di blocco totale ereditata dall'ambiente di prova.

Verificare il file predefinito generato da un nuovo CMS o framework

Molte piattaforme generano automaticamente un robots.txt all'installazione: controllatelo qui per accertarvi che non blocchi cartelle che invece volete far indicizzare.

Come controllo tecnico rapido in un audit SEO

Quando il posizionamento di un sito non è all'altezza delle attese, questo strumento consente di verificare in pochi secondi se l'accesso alla raccolta fa parte del problema.

Esaminare il robots.txt di un concorrente

Recuperate il sito di un concorrente tramite il suo indirizzo per scoprire quali cartelle o tipi di file tiene deliberatamente fuori dalla raccolta dei motori di ricerca.

Glossario

User-agent: La direttiva che indica a quale programma di raccolta si applica un gruppo di regole. L'asterisco vale per ogni automa privo di una regola più specifica.
Disallow: La direttiva che vieta la raccolta di un determinato percorso. Un valore vuoto significa «tutto ammesso», facile da confondere con la sola barra, che significa «tutto vietato».
Allow: La direttiva usata per introdurre un'eccezione all'interno di un percorso che una regola Disallow vieterebbe altrimenti, ammettendo solo quel file o quel sottopercorso specifico.
Direttiva Sitemap: Indica ai motori di ricerca dove trovare il file XML della mappa del sito. Viene letta indipendentemente dalle regole Disallow e viene sempre elaborata.
Crawl-delay: Una direttiva non standard che specifica l'intervallo minimo, in secondi, fra le richieste. Bing e Yandex la rispettano, mentre Google la ignora del tutto.
Protocollo di esclusione dei robot (REP): La convenzione di base che robots.txt mette in pratica, ideata nel 1994. È rimasta uno standard non ufficiale per quasi tre decenni, prima di essere pubblicata formalmente come RFC 9309 nel 2022.

Domande frequenti

Bloccando la raccolta con Disallow, la pagina non viene indicizzata dai motori di ricerca. Le pagine collegate da siti esterni, però, possono comparire ugualmente nei risultati come «esistenti ma di contenuto ignoto». Per escluderle davvero dall'indice si raccomanda di affiancare il metadato noindex.

No. Il file vale per un solo dominio: quello di example.com non si applica a blog.example.com. Per il sottodominio occorre predisporre un file distinto.

Sì. Googlebot prevede l'asterisco, che sostituisce una stringa qualsiasi, e il simbolo del dollaro, che indica la fine della riga: con Disallow: /private/*.pdf$ si vietano per esempio tutti i PDF sotto /private/. Non tutti i programmi di raccolta, però, li riconoscono.

A proposito — la nascita di robots.txt, il giorno in cui si stabilì la buona educazione di Internet

Nel 1994 l'ingegnere olandese Martijn Koster ideò il protocollo di esclusione dei robot. Sul web di allora i programmi di raccolta percorrevano i siti senza alcun ordine, sovraccaricando i serventi. Koster progettò robots.txt muovendo da un'idea semplice: collocando nella radice del sito un file con le regole, i programmi di raccolta lo avrebbero letto.

Ciò che conta è che robots.txt sia un patto fra galantuomini, privo di forza vincolante. I programmi di raccolta in buona fede, come quelli di Google e di Bing, lo rispettano; gli automi malevoli lo ignorano. È dunque efficace per non farsi indicizzare dai motori di ricerca, ma è fuorviante usarlo per impedire la divulgazione di informazioni a terzi: i contenuti riservati vanno protetti con l'autenticazione.

Rimasto per anni una consuetudine non ufficiale, il protocollo di esclusione dei robot è stato finalmente registrato presso l'ente che cura gli standard di Internet nel settembre del 2022, con la norma RFC 9309: una standardizzazione giunta a circa ventotto anni dalla proposta, che ha definito ufficialmente l'indifferenza fra maiuscole e minuscole nelle direttive e sciolto le ambiguità della sintassi.

Vedi tutte le curiosità