Verifica del file robots.txt

Incollate il contenuto del file robots.txt per controllarne la sintassi. Analizza le direttive User-agent, Disallow, Allow e Sitemap e rende evidenti le regole di accesso destinate ai programmi di raccolta.

[[ labels.url_label ]]

[[ fetchError ]]

[[ labels.or_paste ]]

[[ labels.input_label ]]

[[ labels.sample_label ]]:

[[ labels.no_input ]]

[[ labels.result_label ]]

[[ labels.errors_label ]]

[[ labels.line_label ]] [[ err.line ]]: [[ errorMessage(err) ]]

✓ [[ labels.no_errors ]]

[[ labels.blocks_label ]]

User-agent: [[ ua === '*' ? labels.all_crawlers + ' (*)' : ua ]]

Disallow
Allow	[[ path ]]
[[ labels.no_rules ]]
Crawl-delay	[[ block.crawlDelay ]]

[[ labels.sitemaps_label ]]

[[ url ]]

Consigli

La direttiva User-agent: * vale per tutti i programmi di raccolta. Un blocco che nomini un automa preciso, come Googlebot, ha la precedenza.
La direttiva Disallow: senza valore significa «tutti i percorsi ammessi», mentre Disallow: /, con la sola barra, vieta tutto: attenzione a non confonderle.
La direttiva Allow: prevale su Disallow:. Scrivendo per esempio Allow: /private/public.html dopo Disallow: /private/, si consente l'accesso a quel solo file.
La direttiva Crawl-delay: indica in secondi l'intervallo fra le richieste ed è non standard: Bing e Yandex la rispettano, Google no, e occorre allora regolare la frequenza di raccolta in Search Console.
Con la direttiva Sitemap: si comunica ai motori di ricerca l'indirizzo della mappa del sito. Google e Bing la riconoscono entrambi ed è efficace usarla insieme all'invio manuale dai rispettivi strumenti per amministratori.

Domande frequenti

Bloccando la raccolta con Disallow, la pagina non viene indicizzata dai motori di ricerca. Le pagine collegate da siti esterni, però, possono comparire ugualmente nei risultati come «esistenti ma di contenuto ignoto». Per escluderle davvero dall'indice si raccomanda di affiancare il metadato noindex.

No. Il file vale per un solo dominio: quello di example.com non si applica a blog.example.com. Per il sottodominio occorre predisporre un file distinto.

Sì. Googlebot prevede l'asterisco, che sostituisce una stringa qualsiasi, e il simbolo del dollaro, che indica la fine della riga: con Disallow: /private/*.pdf$ si vietano per esempio tutti i PDF sotto /private/. Non tutti i programmi di raccolta, però, li riconoscono.

A proposito — la nascita di robots.txt, il giorno in cui si stabilì la buona educazione di Internet

Nel 1994 l'ingegnere olandese Martijn Koster ideò il protocollo di esclusione dei robot. Sul web di allora i programmi di raccolta percorrevano i siti senza alcun ordine, sovraccaricando i serventi. Koster progettò robots.txt muovendo da un'idea semplice: collocando nella radice del sito un file con le regole, i programmi di raccolta lo avrebbero letto.

Ciò che conta è che robots.txt sia un patto fra galantuomini, privo di forza vincolante. I programmi di raccolta in buona fede, come quelli di Google e di Bing, lo rispettano; gli automi malevoli lo ignorano. È dunque efficace per non farsi indicizzare dai motori di ricerca, ma è fuorviante usarlo per impedire la divulgazione di informazioni a terzi: i contenuti riservati vanno protetti con l'autenticazione.

Rimasto per anni una consuetudine non ufficiale, il protocollo di esclusione dei robot è stato finalmente registrato presso l'ente che cura gli standard di Internet nel settembre del 2022, con la norma RFC 9309: una standardizzazione giunta a circa ventotto anni dalla proposta, che ha definito ufficialmente l'indifferenza fra maiuscole e minuscole nelle direttive e sciolto le ambiguità della sintassi.

Vedi tutte le curiosità