로봇 메타 태그 / X-Robots-Tag 검증기
태그나 X-Robots-Tag 헤더의 값을 붙여넣으면 지시문을 한 번에 검증합니다. noindex와 index 동시 지정 같은 모순이나 max-snippet 등의 값 오류를 감지하고, 지시문별 상세 내역을 표로 보여줍니다.
크롤링과 색인의 지시를 점검하기
``와 `X-Robots-Tag`는 검색 엔진에 「이 페이지를 색인하지 말라」거나 「링크를 따라가지 말라」고 이르는 수단입니다. 값을 붙여 넣으면 이 도구가 지시어를 갈라 놓고, 서로 어긋나는 설정과 잘못된 값을 들춰내어 결과를 펼쳐 보여 줍니다.
**먼저 짚어 둘 것은, 지시가 서로 어긋날 때는 더 엄한 쪽이 채택된다는 점입니다.** `index, noindex`라 적으면 이기는 쪽은 `noindex`입니다. **그런데 가장 잦은 사고는, `noindex`를 붙인 페이지를 robots.txt에서 함께 막아 버리는 일입니다.** 크롤러가 그 페이지를 가져올 수 없게 되므로 **`noindex`라는 지시 자체를 읽지 못하고, 그 결과 색인에서 사라지지 않습니다.** 지우고 싶은 페이지는 크롤링을 허용해 두어야 `noindex`가 읽힙니다. 덧붙여 `X-Robots-Tag`는 HTTP 헤더이므로, 메타 태그를 실을 HTML이 없는 PDF나 그림에도 같은 지시를 내릴 수 있습니다.
사용하는 방법
- 값을 붙여 넣습니다 `` 태그든, `X-Robots-Tag:`로 시작하는 줄이든, 지시어만이든 다 받습니다.
- 먼저 예시로 확인합니다 좋은 예와 나쁜 예가 마련되어 있습니다.
- 어긋남과 잘못을 읽습니다 **`noindex`와 `index`를 함께 적은 것, `max-snippet` 같은 값의 잘못이 모두 짚입니다.**
- 갈라 놓은 목록을 확인합니다 지시어가 하나씩 갈라져 보이므로 어느 것이 듣고 있는지 가려낼 수 있습니다.
더 잘 활용하기 위한 팁
- noindex와 robots.txt의 disallow를 동시에 설정하는 것은 피하세요. disallow로 크롤링 자체를 차단하면 크롤러가 페이지 내 noindex 태그를 읽지 못해 색인 삭제가 의도대로 진행되지 않을 수 있습니다.
- Google은 인식하지 못하는 지시문 이름을 오류로 처리하지 않고 그냥 무시합니다. 따라서 알 수 없는 지시문이 섞여 있어도 치명적이지 않지만, 오타를 눈치채지 못할 수 있으니 확인이 중요합니다.
- max-snippet:-1과 max-video-preview:-1은 "무제한"을 뜻하는 특별한 값입니다. 0은 "스니펫을 전혀 표시하지 않음"이라는 다른 의미이므로 혼동하지 마세요.
- X-Robots-Tag 헤더는 PDF나 이미지 등 HTML이 아닌 파일에도 noindex 같은 지시를 내릴 수 있는 유일한 방법입니다. meta 태그는 HTML 문서에만 삽입할 수 있습니다.
- 여러 지시문을 함께 지정할 때는 쉼표로 구분해 하나의 content 속성이나 헤더 값에 모아야 합니다. 같은 이름의 meta 태그를 여러 개 작성해도 나중 것이 우선되지 않고 각각 개별적으로 평가되므로 주의가 필요합니다.
이럴 때 쓸 수 있습니다
시험 환경이 공개되는 사고를 막을 때
**공개 전에 `noindex`가 정말 듣고 있는지 확인할 수 있습니다.**
색인에서 사라지지 않는 까닭을 찾을 때
**robots.txt의 차단과 `noindex`를 함께 쓰고 있지 않은지 되짚어 볼 실마리가 됩니다.**
검색 결과의 모습을 다듬을 때
`max-snippet`과 `max-image-preview`가 바르게 지정되었는지 확인할 수 있습니다.
PDF 같은 파일의 처리를 정할 때
HTML이 없는 파일에는 메타 태그가 아니라 `X-Robots-Tag`를 써야 합니다.
robots 지시의 용어
- noindex
- 검색 결과에 내지 말아 달라는 지시입니다. **robots.txt에서 막으면 읽히지 않으므로 둘을 함께 써서는 안 됩니다.**
- nofollow
- 그 페이지의 링크를 따라가지 말아 달라는 지시입니다.
- noarchive
- 검색 결과에 캐시된 사본을 내지 말아 달라는 지시입니다.
- max-snippet
- 결과에 보이는 설명문의 최대 길이를 정합니다. `0`이면 억제, `-1`이면 제한 없음입니다.
- max-image-preview
- 그림 미리보기의 크기를 `none`·`standard`·`large` 가운데 정합니다.
- X-Robots-Tag
- 같은 지시를 **HTTP 헤더로 돌려주는 방식**입니다. PDF나 그림처럼 HTML이 없는 자원에 쓸 수 있습니다.
자주 묻는 질문
여담 ― robots.txt와 로봇 메타 태그는 무엇이 다를까 ― 크롤링과 색인의 역할 분담
robots.txt와 로봇 메타 태그는 둘 다 검색 엔진에 지시를 내리는 수단이지만 담당하는 단계가 다릅니다. robots.txt는 URL 패턴 단위로 크롤링을 허용할지를 제어하는, 사이트 루트에 두는 정적 텍스트 파일입니다. 반면 로봇 메타 태그(및 X-Robots-Tag 헤더)는 이미 크롤링된 페이지를 색인에 등록할지, 링크를 따라갈지를 페이지 단위로 세밀하게 제어하는 장치로, 둘은 독립된 계층으로 작동합니다.
이러한 역할 분담 때문에 robots.txt에서 disallow로 막은 페이지에 noindex 태그를 써도 효과가 없습니다. 크롤러가 애초에 그 페이지를 가져올 수 없으므로 페이지 안의 noindex 지시를 읽을 기회 자체가 없기 때문입니다. 페이지를 검색 결과에서 제외하고 싶다면 크롤링은 허용한 채로 noindex 지시문만 사용해야 합니다.
X-Robots-Tag 헤더는 2007년 무렵 Google이 도입한 장치로, meta 태그를 쓸 수 없는 PDF·이미지·동영상 등 HTML이 아닌 리소스에도 같은 제어를 가능하게 했습니다. Apache 등 웹 서버 설정에서 파일 확장자별로 일괄 적용할 수 있어, 대량의 PDF 파일을 한꺼번에 noindex로 만드는 운용에도 적합합니다.
max-snippet·max-image-preview·max-video-preview 같은 값이 있는 지시문은 비교적 최근인 2019년, Google이 검색 결과 스니펫 표시 정책을 정리하면서 추가되었습니다. 그 이전에는 nosnippet으로 표시를 완전히 끄는 방법밖에 없었기 때문에, 표시량을 세밀하게 조정할 수 있게 된 것은 퍼블리셔에게 반가운 변화였습니다.