Google의 robots.txt와 국내 업체의 그것을 비교해보면, 그 세심함과 고민의 차이가 느껴집니다.
쉬운 설명
요즘 챗GPT나 퍼플렉시티 같은 AI에게 맛집이나 여러 정보를 물어보면, AI가 인터넷 어딘가에서 정보를 찾아와 척척 답변해 주곤 하죠. 그런데 모든 웹사이트가 AI에게 문을 활짝 열어두고 있는 건 아니에요. 어떤 가게는 손님(AI)에게 "얼마든지 들어와서 구경하고 다른 사람들에게도 널리 알려주세요!"라며 반기지만, 어떤 가게는 "절대 들어오지 마세요"라며 문을 굳게 닫아거는 것과 같습니다. 내가 아무리 블로그나 카페에 정성껏 글을 써두어도 플랫폼이 AI의 출입을 막아두었다면, AI는 그 글을 전혀 읽을 수 없고 결국 사람들에게 내 글을 소개해 줄 기회도 사라지게 되는 거죠.
요약
이번에 살펴볼 자료는 국내 사장님들이 자주 이용하는 대표 플랫폼 15곳의 robots.txt를 일일이 직접 확인한 실측 보고서입니다. 여기서 robots.txt는 사이트 운영자가 "어떤 로봇(봇)은 들어와도 좋고, 어떤 로봇은 들어오면 안 된다"고 공식적으로 적어둔 일종의 '출입 안내문' 파일이에요. 이 조사는 2026년 7월 27일에 전체를 확인한 뒤, 한 달 뒤인 8월 27일에 봇 이름 단위로 다시 한번 꼼꼼하게 검증을 거쳤습니다.
확인 결과, 플랫폼마다 AI를 대하는 전략이 완전히 달랐는데요. 네이버 블로그·카페·스마트스토어는 GPTBot, ClaudeBot 같은 AI 학습용 봇은 물론, OAI-SearchBot, PerplexityBot 같은 최신 AI 검색봇의 접근까지 전부 막아두었습니다. 특히 네이버 카페는 구글봇이나 빙봇 같은 전통적인 검색봇의 접근까지 차단하고 있었죠. 반면 브런치와 다이닝코드는 '학습용 수집은 막되, AI가 실시간으로 검색해서 인용하는 것은 허용'하는 정교한 방식을 취하고 있었고, 티스토리와 식신은 AI봇 관련 제한을 전혀 두지 않고 완전히 열어두었습니다. 실제로 한 중식당 사례에서 AI가 식당을 추천하며 인용한 출처가 공식 홈페이지가 아닌 다이닝코드였던 것도, 바로 이 robots.txt 설정 차이에서 비롯된 흥미로운 결과예요.
활용 포인트
블로그나 웹사이트를 운영하는 자영업자, 마케터, 콘텐츠 기획자라면 이 내용을 실무 체크리스트로 활용해 볼 수 있습니다. 만약 "우리 콘텐츠가 AI 답변에 잘 나오지 않는 것 같다"는 고민이 든다면, 글이 주로 어디에 올라가 있는지부터 살펴보세요. 오직 네이버 블로그에만 글을 올리고 있다면 AI 입장에서는 사실상 '세상에 없는 콘텐츠'나 다름없을 수 있거든요. 따라서 브런치나 티스토리처럼 AI 검색봇에 열려 있는 채널에도 함께 글을 올리는 이중화 전략을 고민해 보는 것이 좋습니다. 개발자나 실무자라면 회사 도메인 뒤에 '/robots.txt'를 붙여 파일 내용을 직접 열어보고, GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 등이 거부(Disallow) 목록에 들어가 있는지 확인하는 것부터 시작해 보세요.
음식점이나 매장을 운영할 때도 입점할 배달·리뷰 플랫폼을 고르는 중요한 기준이 될 수 있습니다. 같은 매장 정보라도 다이닝코드처럼 AI 검색봇에 열려 있는 곳에 등록되어 있는지, 캐치테이블처럼 허용 목록 방식으로 AI봇이 차단된 곳에만 있는지에 따라 AI 추천에 등장할 확률이 크게 달라지니까요. 또, 자체 웹사이트를 방화벽이나 보안 솔루션으로 보호하고 있다면 보안 설정 탓에 AI 크롤러까지 무심코 차단되고 있을 수 있으니, IT 담당자에게 AI봇들의 접근 허용 상태를 한 번쯤 점검해 달라고 요청해 보는 것도 좋은 방법입니다.
주의 사항
robots.txt는 각 사이트 관리자가 언제든지 바꿀 수 있는 설정값이에요. 따라서 이 글에서 정리한 내용은 2026년 7월과 8월 조사 당시의 스냅샷 기준이라는 점을 기억해 두셔야 합니다. 언제든 정책이 달라질 수 있으니, 중요한 결정을 내리기 전에는 해당 사이트의 robots.txt를 직접 확인해 보는 습관이 필요해요. 아울러 네이버 플레이스는 확인 과정에서 접속 요청 제한(429 오류)이 발생해 이번 조사 대상에서 제외되었다는 점, 그리고 robots.txt로 접근을 허용해 두었다고 해서 AI가 내 글을 무조건 인용해 준다는 보장은 아니라는 점도 함께 알아두시면 좋습니다.
자체 검증
원문에서 다룬 주요 핵심 내용들—'네이버 블로그·카페·스마트스토어의 학습봇 및 AI 검색봇 동시 차단', '브런치·다이닝코드의 학습봇 차단 및 AI 검색봇 허용', '티스토리·식신의 AI봇 무제한 개방', '캐치테이블의 허용 목록 방식 차단' 등은 모두 원문에 명시된 링크와 내용을 바탕으로 충실히 반영했습니다. 다만 각 사이트 robots.txt 최상단의 세부 경고 문구 등 원문 파일의 텍스트 원형은 캡처 화면 없이 그대로 옮기기 어려워 핵심 내용 위주로 알기 쉽게 요약했습니다. 정확한 문구를 확인하고 싶으시다면 원문 링크를 직접 참고해 보시길 권해드려요. 또한 '네이버가 왜 이런 차단 정책을 선택했는가'에 대한 배경 분석은 원문에서도 별도 링크로만 안내된 부분이라 본문에서는 깊이 다루지 않았습니다.
태그
#AI #robots.txt #GEO #검색최적화 #네이버 #크롤러 #AI검색
원문
https://wiztheplanning.com/guide/platform-ai-crawler-status