robots.txt 유효성 검사기

robots.txt 내용을 붙여넣어 구문을 확인하세요. User-agent, Disallow, Allow, Sitemap 지시문을 분석하고 크롤러 접근 규칙을 시각화합니다.

마지막 업데이트: 2026-09-13

[[ labels.url_label ]]

[[ fetchError ]]

[[ labels.or_paste ]]

[[ labels.input_label ]]

[[ labels.sample_label ]]:

[[ labels.no_input ]]

[[ labels.result_label ]]

[[ labels.errors_label ]]

[[ labels.line_label ]] [[ err.line ]]: [[ errorMessage(err) ]]

✓ [[ labels.no_errors ]]

[[ labels.blocks_label ]]

User-agent: [[ ua === '*' ? labels.all_crawlers + ' (*)' : ua ]]

Disallow
Allow	[[ path ]]
[[ labels.no_rules ]]
Crawl-delay	[[ block.crawlDelay ]]

[[ labels.sitemaps_label ]]

[[ url ]]

robots.txt 유효성 검사기란

robots.txt 유효성 검사기는 파일 내용을 붙여넣거나 URL을 입력해 직접 가져오기만 하면 구문 오류와 미묘한 실수를 찾아내는 도구입니다. User-agent, Disallow, Allow, Sitemap, Crawl-delay 등 각 지시문을 분석하여, 어떤 크롤러가 어떤 경로에 접근할 수 있고 없는지를 하나의 화면에서 한눈에 확인할 수 있게 정리해 줍니다.

직접 작성한 robots.txt는 생각보다 쉽게 오류가 생깁니다. 지시문 순서가 뒤바뀌거나, 짝이 되는 Disallow 없이 Allow만 적혀 있거나, 규칙이 엉뚱한 User-agent 그룹 아래에 들어가는 등의 실수는 대충 훑어봐서는 알아차리기 어렵지만, 결과적으로 사이트 전체가 검색 결과에서 빠지는 사고로 이어질 수 있습니다. 공개하기 전에 이 도구로 미리 확인해 두면, 아직 수정 비용이 들지 않는 단계에서 이런 실수를 예방할 수 있습니다.

robots.txt 유효성 검사기 사용법

확인할 robots.txt를 준비합니다 보유한 파일의 내용을 복사해 두거나, 확인하려는 공개 사이트의 URL을 준비합니다.
URL에서 가져오거나 직접 붙여넣습니다 "URL에서 가져오기"에 대상 사이트의 주소를 입력해 자동으로 가져오거나, 텍스트 영역에 내용을 직접 붙여넣습니다.
분석 결과에서 오류와 경고를 확인합니다 알 수 없는 지시문, User-agent보다 먼저 나온 지시문 등의 실수가 정확한 줄 번호와 함께 표시됩니다.
크롤러별로 허용·차단 경로를 확인합니다 결과는 크롤러별로 규칙을 정리해 보여주므로, 실제로 차단된 내용과 의도한 내용을 빠르게 비교할 수 있습니다.
Sitemap 지시문이 올바르게 있는지 확인합니다 검색 엔진이 사이트맵을 찾을 때 이 줄에 의존하므로, 사이트맵 URL이 정확히 기재되어 있는지 확인합니다.

더 잘 활용하기 위한 팁

User-agent: *는 모든 크롤러에 적용됩니다. 특정 봇 이름(예: Googlebot)을 지정한 블록이 와일드카드 블록보다 우선합니다.
Disallow:를 빈 값으로 두면 "모든 경로 허용"을 의미합니다. Disallow: /(슬래시만)는 모든 것을 차단합니다. 혼동하지 마세요.
Allow: 지시문은 두 규칙이 모두 일치할 때 Disallow:보다 우선합니다. 예: Disallow: /private/ 후에 Allow: /private/public.html을 쓰면 해당 파일만 허용됩니다.
Crawl-delay:는 요청 사이 간격(초)을 지정하는 비표준 지시문입니다. Bing과 Yandex는 지원하지만 Google은 지원하지 않습니다.
Sitemap: 지시문으로 검색 엔진에 사이트맵 URL을 알릴 수 있습니다. Google과 Bing 모두 이 지시문을 인식합니다.

활용 사례

사이트 리뉴얼 공개 전 최종 확인

운영 환경에 배포할 robots.txt를 공개 전에 붙여넣어, 테스트 환경용 전체 차단 규칙이 실수로 남아 있지 않은지 확인합니다.

새 CMS·프레임워크가 생성한 기본 설정 점검

많은 플랫폼이 설치 시 robots.txt를 자동으로 생성합니다. 여기서 확인하여 색인되어야 할 디렉터리가 의도치 않게 차단되어 있지 않은지 점검합니다.

SEO 감사에서의 빠른 기술 점검 항목으로

사이트 순위가 기대만큼 오르지 않을 때, 이 도구로 크롤링 접근이 원인인지 몇 초 만에 확인할 수 있습니다.

경쟁 사이트의 크롤링 설정 조사

경쟁 사이트의 URL을 입력해 robots.txt를 가져와, 상대가 어떤 디렉터리나 파일 형식을 검색 엔진 크롤링에서 의도적으로 제외하고 있는지 조사합니다.

용어집

User-agent: 규칙 그룹이 어떤 크롤러에 적용되는지를 지정하는 지시문입니다. *는 더 구체적인 규칙이 없는 모든 크롤러에 해당합니다.
Disallow: 지정한 경로의 크롤링을 차단하는 지시문입니다. 값을 비워 두면 "모두 허용"을 의미하며, 슬래시 하나만 적어 "모두 차단"을 의미하는 것과 혼동하기 쉽습니다.
Allow: Disallow 규칙이 차단하는 범위 안에서 특정 파일이나 하위 경로만 예외적으로 허용하는 지시문입니다.
Sitemap 지시문: 사이트맵 XML 파일의 위치를 검색 엔진에 알리는 지시문입니다. Disallow 규칙과 무관하게 항상 읽혀 처리됩니다.
Crawl-delay: 요청 사이의 최소 간격(초)을 지정하는 비표준 지시문입니다. Bing과 Yandex는 이를 따르지만 Google은 전혀 반영하지 않습니다.
로봇 배제 프로토콜(REP): robots.txt가 구현하는 기반 규약으로, 1994년에 고안되었습니다. 거의 30년간 비공식 관행으로 남아 있다가 2022년에야 RFC 9309로 공식 표준화되었습니다.

자주 묻는 질문

네. Disallow로 페이지를 차단하면 크롤러가 내용을 읽을 수 없어 색인이 되지 않습니다. 단, 외부 사이트에서 링크된 경우 "알려졌지만 크롤링되지 않은" 페이지로 검색 결과에 나타날 수 있습니다. 완전한 제외를 위해서는 noindex 메타 태그와 함께 사용하세요.

아니요. robots.txt는 출처별로 적용됩니다. example.com/robots.txt는 blog.example.com에 적용되지 않습니다. 각 서브도메인에 별도의 robots.txt가 필요합니다.

Googlebot은 *(임의 문자열)와 $(URL 끝)를 지원합니다. 예: Disallow: /private/*.pdf$로 /private/ 아래의 모든 PDF를 차단할 수 있습니다. 모든 크롤러가 와일드카드를 지원하지는 않습니다.

여담 ― robots.txt의 탄생 ― 인터넷이 예절을 배운 날

1994년, 네덜란드 엔지니어 Martijn Koster가 로봇 배제 프로토콜(REP)을 고안했습니다. 당시 웹 크롤러들이 사이트를 무분별하게 돌아다니며 서버에 과부하를 주는 문제가 있었습니다. Koster의 아이디어는 단순했습니다: "사이트 루트에 규칙을 담은 파일을 놓으면 크롤러가 읽을 것이다." 그 파일이 robots.txt가 됐습니다.

중요한 점은 robots.txt가 강제력 없는 신사 협정이라는 것입니다. Googlebot, Bingbot 같은 선량한 크롤러는 이를 존중하지만 악의적인 봇은 무시합니다. 따라서 robots.txt는 검색 엔진에 색인하지 않을 페이지를 알리는 데는 효과적이지만, 민감한 콘텐츠를 무단 접근으로부터 보호하는 용도로는 절대 사용해서는 안 됩니다.

로봇 배제 프로토콜은 비공식 관행으로 약 30년간 존재하다가, 2022년 9월에야 IETF에 의해 RFC 9309로 공식 등록되었습니다. 탄생 후 거의 28년 만의 표준화였습니다.

모든 여담 보기