Robots Meta 标签／X-Robots-Tag 验证工具
粘贴 标签或 X-Robots-Tag 头部的值，一次性验证所有指令。可检测 noindex 与 index 并存等矛盾设置，以及 max-snippet 等参数的错误值，并以列表形式展示每个指令的明细。
检视抓取与收录的指示
`` 与 `X-Robots-Tag` 是您用来告知搜索引擎「别收录本页」「别跟随其链接」的手段。把取值贴进来，本工具便会把各条指令拆开，揪出彼此矛盾的设定与有误的取值，并把结果摊开来看。
**首先要明白的是：指示彼此矛盾时，以更严格的一条为准。** 写了 `index, noindex`，胜出的便是 `noindex`。**不过最常见的事故，莫过于给某页加了 `noindex`，却又在 robots.txt 里一并禁止抓取。** 爬虫从此取不到那一页，**于是压根读不到那条 `noindex`，该页便一直留在索引里。** 想要移除的页面，必须让其可被抓取，`noindex` 才读得到。另需留意，`X-Robots-Tag` 既是 HTTP 标头，便可为没有 HTML 承载元标签的 PDF 与图片下达同样的指示。
使用方法
- 贴入取值 `` 标签、以 `X-Robots-Tag:` 开头的一行，或仅仅几条指令，都可接受。
- 先试一试样例 好例与坏例都已备好。
- 阅读矛盾与错误 **`noindex` 与 `index` 并写，以及 `max-snippet` 之类取值的错误，都会被点名。**
- 查看拆解的清单 可以看到各条指令被拆开，从而判明哪些正在生效。
用好本工具的小技巧
- 请避免同时对同一页面设置 noindex 和 robots.txt 的 disallow。如果 disallow 已阻止抓取，爬虫根本无法读取页面内的 noindex 标签，反而可能导致该页面无法按预期从索引中移除。
- Google 不会将无法识别的指令名称视为错误，而是直接忽略。这意味着混入未知指令并不致命，但也意味着拼写错误如果不检查就很难被发现。
- max-snippet:-1 和 max-video-preview:-1 是表示「无限制」的特殊值，而 0 则表示「完全不显示摘要」这一不同的含义，请勿混淆两者。
- X-Robots-Tag 头部是对 PDF、图片等非 HTML 文件也能下达 noindex 等指令的唯一方式，因为 meta 标签只能嵌入 HTML 文档中。
- 同时指定多个指令时，应以逗号分隔并合并到同一个 content 属性或头部值中。重复书写多个同名 meta 标签并不会「后者生效」，而是各自独立生效，需特别留意。
这些场景会用到
防止测试环境不慎公开
**上线之前，便可确认 `noindex` 是否真的生效。**
查究页面为何迟迟不下索引
**它提醒您去核对：是否把 robots.txt 的禁止与 `noindex` 一并用上了。**
调整搜索结果的呈现
可确认 `max-snippet` 与 `max-image-preview` 是否指定无误。
决定 PDF 之类的处置
没有 HTML 的文件须改用 `X-Robots-Tag`，而非元标签。
robots 指示的术语
- noindex
- 请求不要把某页放进搜索结果的指令。**在 robots.txt 里禁止便读不到它，故二者切不可并用。**
- nofollow
- 请求不要跟随该页上链接的指令。
- noarchive
- 请求不要在搜索结果中提供缓存副本的指令。
- max-snippet
- 设定结果中所显示说明文字的最大长度。`0` 为抑制，`-1` 为不设限。
- max-image-preview
- 设定图片预览的大小，可在 `none`、`standard`、`large` 之间选择。
- X-Robots-Tag
- **以 HTTP 标头返回**的同样指示。它适用于 PDF、图片之类不带 HTML 的资源。
常见问题
闲话 ― robots.txt 与 robots meta 标签的区别 ― 抓取与索引的分工
robots.txt 与 robots meta 标签都是面向搜索引擎的指令，但各自负责不同的阶段。robots.txt 是放置在网站根目录的静态文本文件，以 URL 模式为单位控制「是否允许抓取」。而 robots meta 标签（以及 X-Robots-Tag 头部）则以页面为单位，精细控制「已抓取的页面是否可以被索引」「是否可以追踪其中的链接」，两者作为相互独立的层级发挥作用。
正因为存在这种分工结构，即使在被 robots.txt 设置为 disallow 的页面上写入 noindex 标签也不会生效。因为爬虫根本无法获取该页面，自然也就没有机会读取页面内的 noindex 指令。如果想将页面从搜索结果中排除，需要在保持允许抓取的前提下，仅使用 noindex 指令。
X-Robots-Tag 头部是 Google 大约在 2007 年引入的机制，使得无法使用 meta 标签的 PDF、图片、视频等非 HTML 资源也能进行同样的控制。由于可以在 Apache 等 Web 服务器配置中按文件扩展名批量设置，因此也适合用于将大量 PDF 文件一次性设为 noindex 等场景。
max-snippet、max-image-preview、max-video-preview 等带值的指令出现时间相对较晚，是 Google 在 2019 年整理搜索结果摘要显示相关政策时新增的。在此之前，若要限制摘要显示，只能使用 nosnippet 将其完全关闭，因此能够细致调整显示量的变化，对发布者而言是值得欢迎的改进。