검색 순위 관리는 다들 합니다. 그런데 robots.txt 한 줄 때문에 ChatGPT나 퍼플렉시티 같은 AI가 우리 브랜드를 아예 답변에 넣지 못하는 경우는 잘 안 봅니다.
GEO는 크롤링부터 막힌다
SEO는 검색엔진이 이미 읽은 페이지를 어떻게 더 잘 노출시키느냐의 문제입니다. GEO(생성형 엔진 최적화)는 그 앞 단계가 있습니다 — AI가 우리 페이지를 읽을 수라도 있어야 답변에 인용할 수 있습니다.
문제는 많은 사이트가 자기도 모르게 이 크롤러들을 막고 있다는 겁니다. 크롤러마다 역할이 다른데, 이름이 비슷해서 자주 헷갈립니다.
| 봇 | 운영사 | 역할 | 막으면 |
|---|---|---|---|
| GPTBot | OpenAI | 학습 | 학습 제외. 검색 인용은 유지 |
| OAI-SearchBot | OpenAI | 검색 색인 | ChatGPT 검색 답변에서 제외 |
| ClaudeBot | Anthropic | 학습 | 학습 제외 |
| Claude-SearchBot | Anthropic | 검색 색인 | Claude 답변 인용에서 제외 |
| PerplexityBot | Perplexity | 검색 색인 | Perplexity 답변에서 제외 |
| Google-Extended | 제미나이 학습·그라운딩 제어 토큰(크롤러 아님) | 제미나이 학습만 제외. 검색·AI 오버뷰·랭킹 영향 없음 | |
| Applebot-Extended | Apple | Apple 파운데이션 모델 학습 제어 토큰 | 학습만 제외 |
각 토큰은 독립적입니다. ClaudeBot만 막는다고 Claude-SearchBot이 막히지 않습니다 — Claude 학습은 제외되지만 Claude 검색 답변 인용은 그대로 유지됩니다. 반대로 User-agent: * 로 일괄 차단하면 학습·검색·랭킹까지 전부 한 번에 막힙니다. 실무에서 가장 흔한 사고가 이 일괄 차단입니다.
robots.txt에 User-agent: GPTBot 밑에 Disallow: / 한 줄만 있어도 해당 AI는 그 사이트를 학습·인용 대상에서 제외합니다.
콘텐츠를 AI 학습에 쓰이지 않게 하려는 의도로 넣은 경우가 많은데, 그 대가로 그 AI의 답변에 아예 등장할 수 없다는 트레이드오프는 잘 알려지지 않았습니다.
llms.txt — 아직 신생이지만
/llms.txt는 AI 크롤러에게 사이트를 직접 요약해서 알려주는 새 규격입니다. 아직 공식적으로 지원을 선언한 AI 업체는 없지만, 있다고 손해될 건 없습니다.
저희 사이트(gi-corp.co.kr)도 robots.txt에서 AI 크롤러를 막지 않고, llms.txt를 두고 있습니다.
robots.txt만으로는 반쪽입니다
이 두 가지 — AI 크롤러 차단 여부와 llms.txt 유무 — 는 경쟁사 매체 스캐너인 GI-Radar에서도 함께 확인할 수 있습니다. 도메인만 넣으면 이 항목들이 바로 나옵니다.
다만 robots.txt만 확인하고 끝내면 안 됩니다. CDN·WAF 단에서 "AI 봇 차단" 옵션이 켜져 있으면 robots.txt는 정상인데도 실제 요청은 막힙니다. robots.txt와 서버 응답을 같이 확인해야 합니다.
자주 묻는 질문
robots.txt에서 GPTBot만 막으면 ChatGPT 답변에서 완전히 빠지나요?
아니요. GPTBot은 학습용 크롤러라 학습 데이터에서는 빠지지만, 검색 답변 인용은 OAI-SearchBot이 따로 담당하므로 그대로 인용될 수 있습니다.
Google-Extended를 막으면 구글 AI 오버뷰에서 안 보이나요?
아니요. Google-Extended는 제미나이 학습·그라운딩만 제어하는 토큰이고, 검색·AI 오버뷰·랭킹에는 영향을 주지 않습니다.
llms.txt가 없으면 손해인가요?
아직은 공식적으로 지원을 선언한 AI 업체가 없어 있다고 바로 이득이 생기지는 않습니다. 다만 있다고 손해될 것도 없습니다.
robots.txt만 확인하면 충분한가요?
아니요. CDN·WAF의 AI 봇 차단 옵션이 robots.txt와 별개로 요청을 막을 수 있어, 실제 응답까지 같이 확인해야 합니다.
이 글을 읽었다면 다음으로 볼 것은 robots.txt 자체가 아니라 CDN·WAF 단의 AI 봇 차단 설정입니다. robots.txt가 깨끗해도 그 앞단에서 막혀 있으면 결과는 같습니다.