AI 크롤러, 이제 못 숨는다
검색용과 학습용을 나누라는 새 규칙이 나왔어요.
검색용과 학습용을 나누라는 새 규칙이 나왔어요.
9월 15일
이 날까지 크롤러 용도 분리 안 하면 기본 차단
혼합형 크롤러는 광고 사이트에서 바로 차단돼요.
2배
다른 AI 기업보다 사이트 정보를 더 많이 긁어간다는 클라우드플레어 통계
페이 퍼 크롤을 페이 퍼 유즈로 확장했어요.
"인터넷 트래픽 대다수가 이제 비인간이다, 더 빠르게 움직여야 한다"
— Matthew Prince, Cloudflare
AI 기업이 크롤러 용도를 정직하게 신고할지, 대형사는 별도 계약으로 우회할지가 관건이에요.