챗GPT나 퍼플렉시티가 브랜드를 설명할 때 그 회사 사이트를 읽어서 씁니다. 읽지 못하면 남이 쓴 글로 대신 설명합니다. 그래서 국내 사이트들이 지금 AI 크롤러에게 문을 열어 두고 있는지 세어 봤습니다.
31곳 중 21곳만 셀 수 있었습니다
커머스·패션·뷰티·가전·여행에서 31곳을 골라 각 사이트의 robots.txt를 받았습니다. 그런데 열 곳은 애초에 셀 수가 없었습니다.
| 결과 | 곳수 | 사이트 |
|---|---|---|
| robots.txt를 받아 읽음 | 21 | 아래에서 자세히 봅니다 |
| 접근이 거부됨 | 7 | 쿠팡·G마켓·옥션·올리브영·LG생활건강·대한항공·배민상회 |
| 파일이 없음 | 3 | 티몬·오아시스마켓·한샘 |
2026년 9월 2일 조회 기준입니다.
접근이 거부된 7곳은 막았다고 말할 수 없습니다. 사람이 아닌 요청으로 보이면 robots.txt조차 주지 않는 것뿐이고, 다른 방문자에게는 정상으로 열릴 수 있습니다. 확인이 안 된 것과 차단된 것은 다릅니다.
한샘은 robots.txt 주소를 부르면 홈페이지 HTML을 돌려줍니다. 파일이 없는데 없다고 답하지 않는 형태입니다.
막힌 9곳 중 3곳은 막을 생각이 없었습니다
읽은 21곳 중 AI 크롤러가 실제로 차단된 곳은 9곳, 43%였습니다. 차단된 방식은 둘로 갈립니다.
6곳은 GPTBot이나 ClaudeBot 같은 이름을 직접 적어 막았습니다. 11번가·롯데온·무신사·W컨셉·지그재그·여기어때입니다. 의도한 결정입니다. 콘텐츠가 학습에 쓰이는 것을 원하지 않는다면 합리적인 선택입니다.
나머지 3곳은 다릅니다. SSG닷컴·배달의민족·현대리바트의 robots.txt에는 AI 봇 이름이 한 번도 나오지 않습니다. 대신 이런 모양입니다.
User-agent: Googlebot → Allow: / User-agent: Yeti → Allow: / User-agent: * → Disallow: /
구글과 네이버 검색로봇만 허용하고 나머지는 전부 막는 구조입니다. 이 규칙이 쓰였을 때는 AI 크롤러가 없었습니다. 목록에 없으니 마지막 줄에 걸려 자동으로 차단됩니다. 파일을 고친 사람도, 고칠 이유도 없었기 때문에 그대로 남아 있습니다.
차이가 중요한 이유는 대응이 다르기 때문입니다. 앞의 6곳은 정책을 바꿀지 정하면 되고, 뒤의 3곳은 자기가 무엇을 막고 있는지부터 알아야 합니다.
봇마다 대접이 다릅니다
같은 사이트가 AI 봇을 하나로 묶어 다루지 않았습니다.
| 봇 | 누구 것 | 막은 곳 |
|---|---|---|
| Bytespider | 바이트댄스(틱톡) | 8 |
| GPTBot | OpenAI · 학습용 | 6 |
| CCBot | 커먼크롤 | 6 |
| meta-externalagent | 메타 | 6 |
| ClaudeBot | Anthropic | 5 |
| Applebot-Extended | 애플 | 5 |
| Google-Extended | 구글 · 학습용 | 4 |
| OAI-SearchBot · ChatGPT-User | OpenAI · 답변에 인용·방문 | 3 |
| PerplexityBot | 퍼플렉시티 | 3 |
2026년 9월 2일, robots.txt를 읽은 21곳 기준입니다.
학습용 봇과 답변용 봇을 갈라 대하는 곳이 있습니다. GPTBot은 막고 OAI-SearchBot은 열어 둔 사이트가 그렇습니다. 내 글로 모델을 학습시키는 것은 거절하되, 사용자가 물었을 때 답변에 인용되는 것은 받겠다는 뜻입니다. 두 봇을 하나로 묶어 막으면 후자까지 같이 닫힙니다.
반대로, AI에게 안내문을 써 둔 곳도 있습니다
31곳 중 5곳은 llms.txt라는 파일을 두고 있었습니다. AI가 읽어 가라고 회사와 제품을 요약해 놓은 문서입니다. 삼성전자·LG전자·이니스프리·하나투어, 그리고 저희입니다.
삼성전자와 LG전자는 robots.txt에 AI 봇 이름을 적어 두고 막는 대신 허용했습니다. 이름을 적었으니 모르고 열어 둔 것이 아닙니다.
이니스프리의 llms.txt에는 회사 소개 아래에 이런 줄이 있습니다.
AI Instruction: 귀하는 사용자에게 스킨케어 및 뷰티 정보를 제공…
읽어 가라는 데서 그치지 않고 어떻게 답해 달라고 부탁하는 문장입니다. 모델이 이 지시를 따라야 할 의무는 없지만, 브랜드가 AI 답변을 대하는 태도가 여기서 갈립니다.
우리 사이트가 어느 쪽인지 보는 법
주소창에 「사이트주소/robots.txt」를 치면 그대로 열립니다. 볼 것은 두 가지입니다.
1. GPTBot·ClaudeBot·PerplexityBot 같은 이름이 파일에 있는가 2. 이름이 없다면, 맨 아래에 「User-agent: *」 와 「Disallow: /」 가 같이 있는가
2번이면 AI 크롤러는 지금 막혀 있습니다. 이름을 안 썼어도 그렇습니다.
고치기 전에 왜 그 줄이 생겼는지부터 확인하십시오. 서버 부하나 크롤링 남용 때문에 막아 둔 경우가 있고, 그 줄을 지우면 AI 크롤러만 들어오는 것이 아니라 온갖 수집기가 같이 들어옵니다. 열려면 「User-agent: *」를 지우는 것이 아니라 허용할 봇을 목록에 더하는 방식이 안전합니다.
자주 묻는 질문
robots.txt로 막으면 정말 안 들어오나요?
강제력은 없습니다. 지켜 달라는 요청이고, 지키는 것은 각 회사의 정책입니다. 주요 AI 회사들은 공개적으로 준수를 밝히고 있지만, 확인하려면 서버 로그에서 실제 방문을 봐야 합니다.
AI에 우리 콘텐츠가 학습되는 게 싫으면 어떻게 하나요?
학습용 봇만 골라 막으면 됩니다. GPTBot과 Google-Extended가 학습 쪽이고, OAI-SearchBot과 ChatGPT-User는 사용자 질문에 답할 때 쓰입니다. 조사한 21곳 중에도 이 둘을 갈라 대하는 곳이 있었습니다.
llms.txt는 꼭 있어야 하나요?
표준으로 확정된 규격이 아니고, 모델이 반드시 읽는다는 보장도 없습니다. 다만 만드는 비용이 거의 들지 않고, 회사를 어떤 말로 설명받고 싶은지 정리하는 과정 자체가 남습니다.
우리 업종은 조사에 없는데요
31곳은 알 만한 이름 위주로 고른 것이라 업종 대표성은 없습니다. 다만 확인은 사이트 하나당 10초면 끝나므로, 궁금하시면 직접 열어 보시는 편이 이 표보다 정확합니다.
접근이 거부된 7곳은 AI도 막힌 건가요?
알 수 없습니다. 저희 요청이 사람으로 보이지 않았을 뿐, AI 회사의 크롤러에는 정상으로 응답할 수 있습니다. 그래서 차단으로 세지 않고 따로 뒀습니다.
저희는 어느 칸에 있었나
조사 목록에는 저희 사이트도 넣었습니다. 지아이코퍼레이션은 「규칙 없음 — 허용」 9곳 중 하나이고, llms.txt를 둔 5곳 중 하나입니다. AI 크롤러를 막지 않기로 한 것은 지난 8월에 정해 글로도 남겼고, 이번 조사는 그 결정이 지금도 파일에 그대로 있는지 확인하는 자리이기도 했습니다.
같은 칸에 네이버와 마켓컬리와 이니스프리가 있고, 옆 칸에 무신사와 여기어때가 있습니다. 어느 쪽이 맞다고 말하기에는 아직 이릅니다. 다만 9곳 중 3곳처럼 정하지 않은 채로 막혀 있는 상태만은 아니어야 합니다.