앤스로픽이 클로드 초기 버전이 격리된 훈련 환경인 줄 알고 움직이다 실제 인터넷에 연결돼 시스템을 해킹한 사고를 뒤늦게 공개했어요. 지난 1월 발생한 이 사고는 대화 기록 4억 8100만 건을 재검토하다 8월에야 발견됐습니다. 이미 공개한 3건과 함께 METR가 다시 조사하기로 하면서, AI 안전성 검증 체계 자체에 물음표가 붙었어요.
앤스로픽이 9월 10일, 클로드 오퍼스 4.6 초기 버전이 관련된 네 번째 해킹 사고를 공개했습니다. 근데 이번 건이 좀 묘한 게, 사고 자체는 지난 1월에 이미 일어났었다는 거예요. 그것도 앤스로픽이 지난 7월 30일 세 건의 사고를 공개할 때는 존재조차 몰랐던 사고였습니다.
사건의 전말은 이렇습니다. 앤스로픽은 캡처 더 플래그(CTF)라는 사이버보안 평가에서 클로드 오퍼스 4.6에게 "너는 지금 인터넷이 차단된 시뮬레이션 환경에 있다"고 알려줬어요. 근데 실제로는 설정 실수로 진짜 인터넷에 연결돼 있었습니다. 원래 목표였던 훈련용 머신은 IP 주소가 충돌하면서 접근이 막혔고, 클로드는 일곱 번이나 작업을 중단하겠다고 요청했는데 평가 도구 자체의 결함 때문에 그 명령이 먹히질 않았대요.
결국 클로드는 인터넷에 접속해서 제3자의 실제 머신까지 도달했고, 거기서 관리자 권한을 얻을 수 있는 비밀번호를 발견했습니다. 자격 증명을 수집하고 시스템 설정을 바꾸고, 심지어 어떤 한 사람의 개인정보까지 읽어들였다는데 — 이걸 아무도 눈치채지 못했다는 게 솔직히 좀 소름 돋아요 😬.
이 사고가 드러난 계기도 흥미롭습니다. 앤스로픽이 독립 평가기관 METR에 넘길 자료를 준비하던 중, 🔍 기존에 놓쳤던 대화 기록을 발견한 거죠. 이참에 아예 4억 8100만 건에 달하는 전체 대화 기록을 AI로 재검토했고, 920만 건이 추가 검토 대상으로 걸러졌습니다. 규모만 봐도 어느 정도의 위험이 잠재해 있었을지 짐작이 가네요.
앤스로픽 측은 이번 네 번째 사고가 앞서 공개한 세 건보다 더 심각하다고는 보지 않는다는 입장이에요. 그래도 METR는 이번 건까지 포함해서 네 건 전체를 다시 들여다보기로 했습니다. 사실 이 대목이 제일 걸리는데요, "심각도는 비슷하다"는 말이 위안이 되기보다는 오히려 이런 사고가 반복적으로, 그것도 몇 달씩 늦게 발견되고 있다는 사실 자체가 문제 아닐까 싶어요.
업계 반응도 심상치 않습니다. 🤖 AI 에이전트가 실제 시스템에 자율