클라우드플레어가 AI 크롤러 규칙을 대대적으로 손봤어요. 9월 15일까지 검색용과 AI 학습용 봇을 분리하지 않으면 광고 사이트에서 기본 차단돼요. 콘텐츠 값을 매겨 AI 기업에 과금하는 '페이 퍼 유즈' 마켓도 함께 열렸어요.
어제(7월 1일) 클라우드플레어가 블로그에 올린 발표들을 쭉 읽어봤는데, 이거 은근히 파급력 클 것 같아요. 제목부터 인상적이었어요, "당신의 사이트, 당신의 규칙(Your site, your rules)". 핵심은 이거예요 — AI 회사들이 검색 목적으로 쓰는 크롤러랑, AI 학습·에이전트 목적으로 쓰는 크롤러를 이제 확실히 구분해서 등록하라는 거죠.
지금까지는 많은 AI 기업들이 크롤러 하나로 검색 인덱싱도 하고 모델 학습 데이터 수집도 같이 해왔거든요. 근데 사이트 운영자 입장에서는 "검색엔진에 걸리는 건 좋은데, 내 콘텐츠가 공짜로 AI 학습에 쓰이는 건 싫다"는 요구가 계속 있었어요. 클라우드플레어는 이걸 받아서 9월 15일까지 크롤러 용도를 분리하라는 데드라인을 박았고, 그때까지 분리 안 된 '혼합형' 크롤러는 광고가 붙은 사이트에서 기본적으로 차단되도록 정책을 바꿨어요. 신규 고객, 기존 고객의 신규 사이트, 그리고 모든 무료 티어 고객한테 우선 적용된대요.
CEO 매튜 프린스가 남긴 말이 좀 세게 느껴졌는데요, "이제 인터넷 트래픽의 대다수가 비인간(non-human)이다, 우리는 더 강하게, 더 빠르게 움직여야 한다"고 했어요. 실제로 클라우드플레어 데이터에 따르면 AI 크롤러 트래픽의 절반 이상이 바뀌지도 않은 페이지를 계속 다시 긁어가는 데 쓰인다고 하고요, 구글이 다른 AI 회사들보다 사이트 정보를 2배 더 많이 가져간다는 통계도 같이 나왔어요. 이 부분은 솔직히 좀 놀랐어요, 검색엔진이라는 오래된 지위 덕분에 크롤링 관행이 다른 회사들보다 훨씬 느슨했다는 얘기니까요.
여기서 끝이 아니라 돈 얘기도 같이 나왔어요. 기존에 하던 '페이 퍼 크롤(Pay Per Crawl)'을 '페이 퍼 유즈(Pay Per Use)'로 확장한다는 발표도 함께 있었는데, 콘텐츠 가치에 따라 AI 기업한테 과금할 수 있게 해주는 거예요. 초기 파트너로 Ceramic.ai랑 You.com이 이름을 올렸고요. 더 나아가서 웹페이지, 데이터셋, API, MCP 툴 접근까지 과금할 수 있는 '모나이제이션 게이트웨이(Monetization Gateway)'도 대기 명단을 열었는데,