Robots Meta 標籤／X-Robots-Tag 驗證工具
貼上 標籤或 X-Robots-Tag 頭部的值，一次性驗證所有指令。可檢測 noindex 與 index 並存等矛盾設定，以及 max-snippet 等引數的錯誤值，並以列表形式展示每個指令的明細。
檢視抓取與索引的指示
<meta name="robots"> 與 X-Robots-Tag 是您用來告知搜尋引擎「別索引本頁」「別跟隨其連結」的手段。把取值貼進來，本工具便會把各條指令拆開，揪出彼此矛盾的設定與有誤的取值，並把結果攤開來看。
首先要明白的是：指示彼此矛盾時，以更嚴格的一條為準。 寫了 index, noindex，勝出的便是 noindex。不過最常見的事故，莫過於給某頁加了 noindex，卻又在 robots.txt 裡一併禁止抓取。 爬蟲從此取不到那一頁，於是壓根讀不到那條 noindex，該頁便一直留在索引裡。 想要移除的頁面，必須讓其可被抓取，noindex 才讀得到。另需留意，X-Robots-Tag 既是 HTTP 標頭，便可為沒有 HTML 承載中繼標籤的 PDF 與圖片下達同樣的指示。
使用方法
-
貼入取值
<meta>標籤、以X-Robots-Tag:開頭的一行，或僅僅幾條指令，都可接受。 - 先試一試範例 好例與壞例都已備好。
-
閱讀矛盾與錯誤
noindex與index並寫，以及max-snippet之類取值的錯誤，都會被點名。 - 查看拆解的清單 可以看到各條指令被拆開，從而判明哪些正在生效。
用好本工具的小技巧
- 請避免同時對同一頁面設定 noindex 和 robots.txt 的 disallow。如果 disallow 已阻止抓取，爬蟲根本無法讀取頁面內的 noindex 標籤，反而可能導致該頁面無法按預期從索引中移除。
- Google 不會將無法識別的指令名稱視為錯誤，而是直接忽略。這意味著混入未知指令並不致命，但也意味著拼寫錯誤如果不檢查就很難被發現。
- max-snippet:-1 和 max-video-preview:-1 是表示「無限制」的特殊值，而 0 則表示「完全不顯示摘要」這一不同的含義，請勿混淆兩者。
- X-Robots-Tag 頭部是對 PDF、圖片等非 HTML 檔案也能下達 noindex 等指令的唯一方式，因為 meta 標籤只能嵌入 HTML 文件中。
- 同時指定多個指令時，應以逗號分隔併合併到同一個 content 屬性或頭部值中。重複書寫多個同名 meta 標籤並不會「後者生效」，而是各自獨立生效，需特別留意。
這些情境會用到
防止測試環境不慎公開
上線之前，便可確認 noindex 是否真的生效。
查究頁面為何遲遲不下索引
它提醒您去核對：是否把 robots.txt 的禁止與 noindex 一併用上了。
調整搜尋結果的呈現
可確認 max-snippet 與 max-image-preview 是否指定無誤。
決定 PDF 之類的處置
沒有 HTML 的檔案須改用 X-Robots-Tag，而非中繼標籤。
robots 指示的術語
- noindex
- 請求不要把某頁放進搜尋結果的指令。在 robots.txt 裡禁止便讀不到它，故二者切不可並用。
- nofollow
- 請求不要跟隨該頁上連結的指令。
- noarchive
- 過去用於請求不要在搜尋結果中顯示快取頁面連結的指令。Google 已停用快取頁面功能，Google 搜尋現已不再使用該指令（指定後會被忽略）。
- max-snippet
- 設定結果中所顯示說明文字的最大長度。
0為抑制，-1為不設限。 - max-image-preview
- 設定圖片預覽的大小，可在
none、standard、large之間選擇。 - X-Robots-Tag
- 以 HTTP 標頭回傳的同樣指示。它適用於 PDF、圖片之類不帶 HTML 的資源。
常見問題
閒話 ― robots.txt 與 robots meta 標籤的區別 ― 抓取與索引的分工
robots.txt 與 robots meta 標籤都是面向搜尋引擎的指令，但各自負責不同的階段。robots.txt 是放置在網站根目錄的靜態文本檔案，以 URL 模式為單位控制「是否允許抓取」。而 robots meta 標籤（以及 X-Robots-Tag 頭部）則以頁面為單位，精細控制「已抓取的頁面是否可以被索引」「是否可以追蹤其中的連結」，兩者作為相互獨立的層級發揮作用。
正因為存在這種分工結構，即使在被 robots.txt 設定為 disallow 的頁面上寫入 noindex 標籤也不會生效。因為爬蟲根本無法獲取該頁面，自然也就沒有機會讀取頁面內的 noindex 指令。如果想將頁面從搜尋結果中排除，需要在保持允許抓取的前提下，僅使用 noindex 指令。
X-Robots-Tag 頭部是 Google 大約在 2007 年引入的機制，使得無法使用 meta 標籤的 PDF、圖片、影片等非 HTML 資源也能進行同樣的控制。由於可以在 Apache 等 Web 伺服器配置中按副檔名批次設定，因此也適合用於將大量 PDF 檔案一次性設為 noindex 等場景。
max-snippet、max-image-preview、max-video-preview 等帶值的指令出現時間相對較晚，是 Google 在 2019 年整理搜尋結果摘要顯示相關政策時新增的。在此之前，若要限制摘要顯示，只能使用 nosnippet 將其完全關閉，因此能夠細緻調整顯示量的變化，對釋出者而言是值得歡迎的改進。