검색 순위 관리는 다들 합니다. 그런데 robots.txt 한 줄 때문에 ChatGPT나 퍼플렉시티 같은 AI가 우리 브랜드를 아예 답변에 넣지 못하는 경우는 잘 안 봅니다.
GEO는 크롤링부터 막힌다
SEO는 검색엔진이 이미 읽은 페이지를 어떻게 더 잘 노출시키느냐의 문제입니다. GEO(생성형 엔진 최적화)는 그 앞 단계가 있습니다 — AI가 우리 페이지를 읽을 수라도 있어야 답변에 인용할 수 있습니다.
문제는 많은 사이트가 자기도 모르게 이 크롤러들을 막고 있다는 겁니다.
- GPTBot (ChatGPT)
- PerplexityBot (Perplexity)
- ClaudeBot (Claude)
- Google-Extended (제미나이·구글 AI 오버뷰)
- Applebot-Extended (Apple Intelligence)
robots.txt에 User-agent: GPTBot 밑에 Disallow: / 한 줄만 있어도 해당 AI는 그 사이트를 학습·인용 대상에서 제외합니다.
콘텐츠를 AI 학습에 쓰이지 않게 하려는 의도로 넣은 경우가 많은데, 그 대가로 그 AI의 답변에 아예 등장할 수 없다는 트레이드오프는 잘 알려지지 않았습니다.
llms.txt — 아직 신생이지만
/llms.txt는 AI 크롤러에게 사이트를 직접 요약해서 알려주는 새 규격입니다. 아직 소수만 쓰지만, 있다고 손해될 건 없습니다.
우리 사이트(gi-corp.co.kr)도 이 규칙을 따라 robots.txt에서 AI 크롤러를 막지 않고, llms.txt를 두고 있습니다.
우리 사이트는 어떤가
이 두 가지 — AI 크롤러 차단 여부와 llms.txt 유무 — 는 GI-Radar의 SEO·GEO 준비도 체크에 포함되어 있습니다. 도메인만 넣으면 우리 사이트가 AI에게 막혀 있는지 바로 확인할 수 있습니다.