robots.txt 검사기: AI 크롤러가 실제로 막혔는지 확인

도메인을 넣으면 GPTBot, ClaudeBot, Google-Extended 같은 AI 크롤러가 그 사이트의 robots.txt 에 실제로 막혀 있는지 하나씩 판정합니다.

robots.txt 에 차단 줄을 적어 두고도 그것이 진짜 그 크롤러를 막는지는 확인하기 어렵습니다. 규칙이 겹칠 때 어느 줄이 이기는지, 대소문자와 와일드카드가 어떻게 걸리는지가 눈으로 읽히지 않기 때문입니다. 이 화면은 그 파일을 받아 RFC 9309 규칙 그대로 판정하고, 어느 줄 때문에 그렇게 되는지까지 보여 줍니다. 로그인도 설치도 없습니다.

주소만 넣으세요. 경로는 버리고 그 사이트 루트의 robots.txt 와 llms.txt 를 받아옵니다.

특정 글이 막히는지 보려면 그 경로를 넣으세요. 예: /posts/2026/ai

도메인을 넣고 확인을 누르면 여기 나옵니다.

이 화면이 판정하는 것

여기서 판정한 것은 robots.txt 가 무엇을 말하고 있는가입니다. 크롤러가 그 말을 실제로 지키는지는 우리가 보장하지 못합니다. robots.txt 는 요청이지 담장이 아니고, 규칙을 안 지키는 쪽을 막으려면 서버나 CDN 단에서 따로 막아야 합니다.

왜 막은 줄 알았는데 안 막히나

규칙이 겹치면 가장 긴 줄이 이깁니다. Disallow: / 아래에 Allow: /blog/ 가 있으면 블로그 글은 열려 있습니다. User-agent 이름은 대소문자를 안 가리지만 경로는 가립니다. 그리고 파일 맨 앞의 BOM 하나가 첫 줄의 User-agent 를 통째로 못 읽게 만들기도 합니다.

출처

robots.txt 로 AI 크롤러를 막는 법

함께 만든 것들

같은 사람이 만드는 다른 서비스입니다.