Patreon이 AI 학습용 크롤러를 직접 막기 시작했다. TechCrunch 보도에 따르면 Patreon은 Cloudflare와 협력해 창작자 콘텐츠를 허락 없이 AI 모델 학습에 쓰려는 봇의 접근을 차단한다. 이전에는 robots.txt를 통해 크롤러에게 정책을 알리는 방식에 기대는 부분이 컸지만, Patreon은 이제 그 정도로는 충분하지 않다고 본다.
이번 조치가 흥미로운 이유는 Patreon의 제품 변화와 맞물려 있기 때문이다. Patreon은 원래 paywall 덕분에 많은 창작물들이 일반 크롤러의 접근 밖에 있었다. 하지만 최근 redesigned Home Feed와 tweet-like Quips 같은 발견 기능을 추가하면서, 창작자가 더 많은 잠재 후원자에게 노출될 수 있는 표면도 커졌다. 발견성은 플랫폼 성장에 필요하지만, 동시에 AI 학습 크롤러에게도 더 많은 진입점을 만든다.
Patreon이 전부 막겠다는 것은 아니다. 회사는 페이지를 인덱싱하고 정보를 정리해 사용자를 Patreon으로 돌려보내는 봇은 허용하겠다고 밝혔다. 선은 "검색"과 "학습" 사이에 그어진다. 검색 봇은 창작자에게 트래픽을 돌려줄 수 있지만, AI 학습 봇은 창작자의 작업을 모델 개선용 원료로 가져갈 수 있다. Patreon은 이 둘을 같은 크롤링 행위로 취급하지 않겠다는 입장이다.
보도에서 가장 강한 근거는 테스트 결과다. Patreon은 개별 AI training crawler의 주간 접근 시도가 수천 건에서 0으로 떨어졌다고 설명했다. 이는 일부 크롤러가 robots.txt를 따르지 않았다는 정황으로 읽힌다. Patreon 블로그의 표현처럼, 동의가 스크래퍼의 선의에 달려 있어서는 안 된다는 문제의식이다.
이 사례는 웹의 기본 규칙이 바뀌고 있음을 보여준다. robots.txt는 오랫동안 웹의 예의범절 같은 역할을 해왔다. 하지만 AI 학습 데이터 경쟁이 커지면서, 많은 플랫폼과 퍼블리셔는 더 이상 "오지 말라"는 문구만으로 콘텐츠 사용권을 지킬 수 없다고 느낀다. Cloudflare가 AI Crawl Control, Pay Per Crawl 같은 도구를 내놓는 것도 같은 흐름이다.
Patreon의 선택은 크리에이터 경제에 특히 중요하다. 창작자는 더 많은 관객에게 발견되고 싶지만, 그 노출이 곧 AI 학습 동의로 처리되는 것은 원하지 않을 수 있다. 앞으로 플랫폼의 경쟁력은 콘텐츠를 얼마나 잘 퍼뜨리느냐뿐 아니라, 어떤 봇에게 어떤 목적의 접근을 허용할지 창작자에게 얼마나 명확히 통제권을 주느냐에도 달려 있다.