로봇 메타 태그 / X-Robots-Tag 검증기
태그나 X-Robots-Tag 헤더의 값을 붙여넣으면 지시문을 한 번에 검증합니다. noindex와 index 동시 지정 같은 모순이나 max-snippet 등의 값 오류를 감지하고, 지시문별 상세 내역을 표로 보여줍니다.
팁
- noindex와 robots.txt의 disallow를 동시에 설정하는 것은 피하세요. disallow로 크롤링 자체를 차단하면 크롤러가 페이지 내 noindex 태그를 읽지 못해 색인 삭제가 의도대로 진행되지 않을 수 있습니다.
- Google은 인식하지 못하는 지시문 이름을 오류로 처리하지 않고 그냥 무시합니다. 따라서 알 수 없는 지시문이 섞여 있어도 치명적이지 않지만, 오타를 눈치채지 못할 수 있으니 확인이 중요합니다.
- max-snippet:-1과 max-video-preview:-1은 "무제한"을 뜻하는 특별한 값입니다. 0은 "스니펫을 전혀 표시하지 않음"이라는 다른 의미이므로 혼동하지 마세요.
- X-Robots-Tag 헤더는 PDF나 이미지 등 HTML이 아닌 파일에도 noindex 같은 지시를 내릴 수 있는 유일한 방법입니다. meta 태그는 HTML 문서에만 삽입할 수 있습니다.
- 여러 지시문을 함께 지정할 때는 쉼표로 구분해 하나의 content 속성이나 헤더 값에 모아야 합니다. 같은 이름의 meta 태그를 여러 개 작성해도 나중 것이 우선되지 않고 각각 개별적으로 평가되므로 주의가 필요합니다.
자주 묻는 질문
여담 ― robots.txt와 로봇 메타 태그는 무엇이 다를까 ― 크롤링과 색인의 역할 분담
robots.txt와 로봇 메타 태그는 둘 다 검색 엔진에 지시를 내리는 수단이지만 담당하는 단계가 다릅니다. robots.txt는 URL 패턴 단위로 크롤링을 허용할지를 제어하는, 사이트 루트에 두는 정적 텍스트 파일입니다. 반면 로봇 메타 태그(및 X-Robots-Tag 헤더)는 이미 크롤링된 페이지를 색인에 등록할지, 링크를 따라갈지를 페이지 단위로 세밀하게 제어하는 장치로, 둘은 독립된 계층으로 작동합니다.
이러한 역할 분담 때문에 robots.txt에서 disallow로 막은 페이지에 noindex 태그를 써도 효과가 없습니다. 크롤러가 애초에 그 페이지를 가져올 수 없으므로 페이지 안의 noindex 지시를 읽을 기회 자체가 없기 때문입니다. 페이지를 검색 결과에서 제외하고 싶다면 크롤링은 허용한 채로 noindex 지시문만 사용해야 합니다.
X-Robots-Tag 헤더는 2007년 무렵 Google이 도입한 장치로, meta 태그를 쓸 수 없는 PDF·이미지·동영상 등 HTML이 아닌 리소스에도 같은 제어를 가능하게 했습니다. Apache 등 웹 서버 설정에서 파일 확장자별로 일괄 적용할 수 있어, 대량의 PDF 파일을 한꺼번에 noindex로 만드는 운용에도 적합합니다.
max-snippet·max-image-preview·max-video-preview 같은 값이 있는 지시문은 비교적 최근인 2019년, Google이 검색 결과 스니펫 표시 정책을 정리하면서 추가되었습니다. 그 이전에는 nosnippet으로 표시를 완전히 끄는 방법밖에 없었기 때문에, 표시량을 세밀하게 조정할 수 있게 된 것은 퍼블리셔에게 반가운 변화였습니다.