블로그에 저작권 안내 문구 하나만 걸어두면 AI 학습으로부터 안전할 거라고 생각하는 운영자가 적지 않습니다. 하지만 실제로 이 문제를 좌우하는 건 문구가 아니라 기술적인 설정이에요. 챗GPT나 제미나이 같은 생성형 AI 서비스들은 저마다 전용 크롤러를 운영하면서 웹에 공개된 글을 수집해가고 있고, 이걸 막으려면 robots.txt라는 파일에 직접 규칙을 넣어야 합니다. 문제는 이 robots.txt조차 만능이 아니라는 점이죠. 오늘은 블로그 글이 AI 학습 데이터로 쓰이는 구조와, 실제로 막을 수 있는 방법 그리고 그 한계까지 정리해봅니다.
GPTBot이 지금도 내 글을 가져가고 있다
오픈AI는 GPTBot이라는 이름의 크롤러를 운영합니다. 자사 모델을 학습시키기 위해 공개된 웹페이지를 수집하는 용도인데, 사이트 운영자가 별도로 막지 않으면 다른 검색엔진 크롤러와 마찬가지로 자유롭게 접근할 수 있어요. 구글도 비슷한 개념의 'Google-Extended'라는 토큰을 운영하고 있습니다. 이건 독립된 크롤러가 아니라, 제미나이와 관련 AI 제품 학습에 콘텐츠를 쓸지 말지를 결정하는 robots.txt 전용 신호예요. 이 밖에도 앤트로픽의 ClaudeBot, 퍼플렉시티의 PerplexityBot, 여러 AI 기업이 함께 활용하는 공용 크롤러 CCBot까지, 이름과 목적이 조금씩 다른 크롤러들이 지금도 웹을 훑고 다니는 중입니다.
문체부는 이걸 '공정이용'으로 보고 있을까
문화체육관광부와 한국저작권위원회는 2026년 2월 26일 「생성형 인공지능의 저작물 학습에 대한 저작권법상 공정이용 안내서」를 발간했습니다. AI 기업이 학습 데이터를 수집·활용하는 행위가 공정이용에 해당하는지 판단할 때 참고할 네 가지 요소를 제시했는데, 이용의 목적과 성격, 저작물의 종류와 용도, 이용된 분량이 전체에서 차지하는 비중, 그리고 원저작물의 시장 가치에 미치는 영향이 그 기준입니다. 지난 5월 18일에는 이 안내서의 영문본도 함께 배포됐어요.
다만 이 문서는 문체부의 공식 유권해석이 아니라 참고 자료라는 점을 스스로 명시하고 있습니다. 실제로 특정 사례가 공정이용에 해당하는지는 결국 법원이 개별적으로 판단할 몫으로 남아 있어요. 관련 저작권법 개정안도 올해 3분기 안에 국회 제출을 목표로 준비되고 있다고 하니, 지금은 확정된 법이 아니라 논의가 진행 중인 가이드라인 단계로 보는 게 정확합니다.
robots.txt, 강제력은 없지만 신호는 된다
그렇다면 robots.txt로 AI 크롤러를 차단하면 완전히 안전해질까요. 여기서도 착각하기 쉬운 지점이 있습니다. robots.txt는 법적 구속력이 있는 장치가 아니라, 크롤러가 자발적으로 지키기로 약속한 신사협정에 가까워요. 오픈AI나 구글처럼 이름이 알려진 주요 AI 기업들은 이 규칙을 대체로 준수한다고 밝히고 있지만, 모든 크롤러가 이를 따른다는 보장은 없습니다. 그럼에도 지금 시점에서 운영자가 취할 수 있는 가장 확실한 의사표시 수단이라는 사실은 변하지 않아요.
참고로 구글의 Google-Extended는 검색 노출이나 순위, AI 개요 표시 여부와는 무관합니다. 이 토큰을 막는다고 해서 구글 검색 결과에서 빠지거나 순위가 떨어지는 일은 없고, 오직 제미나이 학습·그라운딩에 콘텐츠가 쓰이는지 여부만 결정한다는 점을 구글 공식 문서도 명확히 하고 있습니다.
블로그스팟에서 실제로 막아보기
티스토리와 달리 블로그스팟(Blogger)은 운영자가 직접 robots.txt 내용을 수정할 수 있다는 장점이 있어요. 블로그 관리 화면에서 설정 → 크롤러 및 색인 생성 메뉴로 들어가면 '맞춤 robots.txt' 항목이 보입니다. 이 토글을 켜면 기본 제공되던 규칙 대신 직접 작성한 내용을 넣을 수 있어요. 특정 AI 크롤러만 골라 차단하고 싶다면 아래와 같은 형태로 규칙을 추가하면 됩니다.
User-agent: GPTBot다음 줄에Disallow: /User-agent: Google-Extended다음 줄에Disallow: /User-agent: CCBot다음 줄에Disallow: /User-agent: PerplexityBot다음 줄에Disallow: /
기존에 구글 검색이나 네이버 검색을 위한 규칙을 이미 넣어뒀다면, 그 아래에 이 항목들을 이어서 추가하면 됩니다. 다만 맞춤 robots.txt는 통째로 새로 작성하는 방식이라, 기존 규칙이 실수로 지워지지 않도록 전체 내용을 한 번에 확인하면서 넣는 편이 안전합니다.
차단이 항상 유리한 선택은 아니다
여기서 한 가지 더 생각해볼 부분이 있습니다. AI 크롤러를 막는 게 무조건 이득이라고 단정하기는 어렵다는 점이에요. 생성형 AI 서비스의 답변에 근거로 인용되거나 출처로 노출되고 싶은 블로그라면, 오히려 크롤러 접근을 열어두는 편이 유리할 수 있습니다. 이런 관점에서 콘텐츠를 정리하는 흐름을 GEO(Generative Engine Optimization)라고 부르는데, 관련 개념은 GEO란 무엇인가를 다룬 글에서 소개한 적이 있으니 참고할 만합니다. 반대로 콘텐츠가 출처 표시 없이 그대로 재가공될 가능성을 더 걱정하는 입장이라면 차단 쪽에 무게를 두는 게 자연스러운 선택이겠죠. 정답이 정해진 문제가 아니라, 운영 목적에 따라 판단이 갈리는 영역이라는 뜻입니다.
결국 지금 시점에서 확실한 건 두 가지입니다. 하나는 아무 조치도 하지 않으면 대부분의 AI 크롤러가 기본적으로 수집을 허용한 것으로 간주한다는 점이고, 다른 하나는 robots.txt 차단이 법적 강제력을 가진 수단은 아니라는 점이에요. 저작권법 개정 논의가 어떻게 마무리되든, 지금 당장 할 수 있는 건 내 블로그가 어떤 방향을 원하는지부터 정하고 그에 맞게 robots.txt를 정비해두는 일입니다. AI가 콘텐츠를 다루는 방식 자체는 블로그 AI 생성 콘텐츠를 다룬 글에서도 다른 각도로 짚은 적이 있으니 함께 보시면 도움이 될 거예요.
체크리스트
- 내 블로그가 블로그스팟인지 확인하고, 설정 → 크롤러 및 색인 생성 메뉴에서 맞춤 robots.txt 토글 상태를 점검하기
- GPTBot, Google-Extended, CCBot, PerplexityBot 등 차단하고 싶은 크롤러 목록을 먼저 정리하기
- 맞춤 robots.txt를 새로 작성할 때 기존 검색엔진용 규칙이 지워지지 않았는지 전체 내용을 다시 확인하기
- AI 답변에 인용되고 싶은 콘텐츠라면 차단보다 개방 쪽을 고려하고, GEO 관점에서 콘텐츠 구조도 함께 점검하기
출처
- ZDNet Korea, "문체부, AI 학습 공정이용 안내서 영문본 배포...생성형 AI 저작물 학습 판단 기준 소개" (2026.05.18) — zdnet.co.kr
- Google Search Central, "robots.txt 소개 및 가이드" — developers.google.com
0 댓글