AI 크롤러, 이제 못 숨는다
검색용과 학습용을 나누라는 새 규칙이 나왔어요.
마마우스워리어· 2026년 7월 2일· 클라우드플레어, AI크롤러, 콘텐츠과금, 매튜프린스, Cloudflare, AI정책, 퍼블리셔, 웹인프라· 0
웹 트래픽 절반이 봇인 시대 — 클라우드플레어, AI 크롤러 규칙 전면 개편
분리 데드라인
9월 15일
이 날까지 크롤러 용도 분리 안 하면 기본 차단
검색용 vs AI 학습용, 완전 분리
혼합형 크롤러는 광고 사이트에서 바로 차단돼요.
구글의 크롤링 규모
2배
다른 AI 기업보다 사이트 정보를 더 많이 긁어간다는 클라우드플레어 통계
콘텐츠에 값을 매기다
페이 퍼 크롤을 페이 퍼 유즈로 확장했어요.
매튜 프린스 CEO
"인터넷 트래픽 대다수가 이제 비인간이다, 더 빠르게 움직여야 한다"
— Matthew Prince, Cloudflare
관건은 실효성
AI 기업이 크롤러 용도를 정직하게 신고할지, 대형사는 별도 계약으로 우회할지가 관건이에요.
1 / 9