글

라벨이 AI크롤러차단인 게시물 표시

블로그 글 AI 학습 차단, robots.txt만 설정하면 끝이라는 착각

이미지
블로그에 저작권 안내 문구 하나만 걸어두면 AI 학습으로부터 안전할 거라고 생각하는 운영자가 적지 않습니다. 하지만 실제로 이 문제를 좌우하는 건 문구가 아니라 기술적인 설정이에요. 챗GPT나 제미나이 같은 생성형 AI 서비스들은 저마다 전용 크롤러를 운영하면서 웹에 공개된 글을 수집해가고 있고, 이걸 막으려면 robots.txt라는 파일에 직접 규칙을 넣어야 합니다. 문제는 이 robots.txt조차 만능이 아니라는 점이죠. 오늘은 블로그 글이 AI 학습 데이터로 쓰이는 구조와, 실제로 막을 수 있는 방법 그리고 그 한계까지 정리해봅니다. GPTBot이 지금도 내 글을 가져가고 있다 오픈AI는 GPTBot이라는 이름의 크롤러를 운영합니다. 자사 모델을 학습시키기 위해 공개된 웹페이지를 수집하는 용도인데, 사이트 운영자가 별도로 막지 않으면 다른 검색엔진 크롤러와 마찬가지로 자유롭게 접근할 수 있어요. 구글도 비슷한 개념의 'Google-Extended'라는 토큰을 운영하고 있습니다. 이건 독립된 크롤러가 아니라, 제미나이와 관련 AI 제품 학습에 콘텐츠를 쓸지 말지를 결정하는 robots.txt 전용 신호예요. 이 밖에도 앤트로픽의 ClaudeBot, 퍼플렉시티의 PerplexityBot, 여러 AI 기업이 함께 활용하는 공용 크롤러 CCBot까지, 이름과 목적이 조금씩 다른 크롤러들이 지금도 웹을 훑고 다니는 중입니다. 문체부는 이걸 '공정이용'으로 보고 있을까 문화체육관광부와 한국저작권위원회는 2026년 2월 26일 「생성형 인공지능의 저작물 학습에 대한 저작권법상 공정이용 안내서」를 발간했습니다. AI 기업이 학습 데이터를 수집·활용하는 행위가 공정이용에 해당하는지 판단할 때 참고할 네 가지 요소를 제시했는데, 이용의 목적과 성격, 저작물의 종류와 용도, 이용된 분량이 전체에서 차지하는 비중, 그리고 원저작물의 시장 가치에 미치는 영향이 그 기준입니다. 지난 5월 18일에는 이 안내서의 영문본도 함께 ...