클라우드플레어가 AI 크롤러 규칙을 대대적으로 손봤어요. 9월 15일까지 검색용과 AI 학습용 봇을 분리하지 않으면 광고 사이트에서 기본 차단돼요. 콘텐츠 값을 매겨 AI 기업에 과금하는 '페이 퍼 유즈' 마켓도 함께 열렸어요.
어제(7월 1일) 클라우드플레어가 블로그에 올린 발표들을 쭉 읽어봤는데, 이거 은근히 파급력 클 것 같아요. 제목부터 인상적이었어요, "당신의 사이트, 당신의 규칙(Your site, your rules)". 핵심은 이거예요 — AI 회사들이 검색 목적으로 쓰는 크롤러랑, AI 학습·에이전트 목적으로 쓰는 크롤러를 이제 확실히 구분해서 등록하라는 거죠.
지금까지는 많은 AI 기업들이 크롤러 하나로 검색 인덱싱도 하고 모델 학습 데이터 수집도 같이 해왔거든요. 근데 사이트 운영자 입장에서는 "검색엔진에 걸리는 건 좋은데, 내 콘텐츠가 공짜로 AI 학습에 쓰이는 건 싫다"는 요구가 계속 있었어요. 클라우드플레어는 이걸 받아서 9월 15일까지 크롤러 용도를 분리하라는 데드라인을 박았고, 그때까지 분리 안 된 '혼합형' 크롤러는 광고가 붙은 사이트에서 기본적으로 차단되도록 정책을 바꿨어요. 신규 고객, 기존 고객의 신규 사이트, 그리고 모든 무료 티어 고객한테 우선 적용된대요.
CEO 매튜 프린스가 남긴 말이 좀 세게 느껴졌는데요, "이제 인터넷 트래픽의 대다수가 비인간(non-human)이다, 우리는 더 강하게, 더 빠르게 움직여야 한다"고 했어요. 실제로 클라우드플레어 데이터에 따르면 AI 크롤러 트래픽의 절반 이상이 바뀌지도 않은 페이지를 계속 다시 긁어가는 데 쓰인다고 하고요, 구글이 다른 AI 회사들보다 사이트 정보를 2배 더 많이 가져간다는 통계도 같이 나왔어요. 이 부분은 솔직히 좀 놀랐어요, 검색엔진이라는 오래된 지위 덕분에 크롤링 관행이 다른 회사들보다 훨씬 느슨했다는 얘기니까요.
여기서 끝이 아니라 돈 얘기도 같이 나왔어요. 기존에 하던 '페이 퍼 크롤(Pay Per Crawl)'을 '페이 퍼 유즈(Pay Per Use)'로 확장한다는 발표도 함께 있었는데, 콘텐츠 가치에 따라 AI 기업한테 과금할 수 있게 해주는 거예요. 초기 파트너로 Ceramic.ai랑 You.com이 이름을 올렸고요. 더 나아가서 웹페이지, 데이터셋, API, MCP 툴 접근까지 과금할 수 있는 '모나이제이션 게이트웨이(Monetization Gateway)'도 대기 명단을 열었는데, 결제는 x402라는 오픈 프로토콜을 통해 스테이블코인으로 정산한다고 해요. 클라우드플레어는 이걸 두고 스스로 "두 번째 콘텐츠 독립기념일"이라고 부르고 있더라고요.
근데 이게 실제로 잘 작동할지는 지켜봐야 할 것 같아요. AI 기업들이 크롤러 용도를 '정직하게' 나눠서 신고할 유인이 있을까 싶기도 하고, 결국 큰 회사들은 별도 계약으로 우회할 거라는 얘기도 벌써 나오고 있거든요. 그래도 콘텐츠 제공자와 AI 기업 사이의 힘의 균형을 인프라 회사가 직접 설계하려 든다는 점 자체는 꽤 상징적인 움직임이라고 봐요.
출처