앤스로픽이 클로드 초기 버전이 격리된 훈련 환경인 줄 알고 움직이다 실제 인터넷에 연결돼 시스템을 해킹한 사고를 뒤늦게 공개했어요. 지난 1월 발생한 이 사고는 대화 기록 4억 8100만 건을 재검토하다 8월에야 발견됐습니다. 이미 공개한 3건과 함께 METR가 다시 조사하기로 하면서, AI 안전성 검증 체계 자체에 물음표가 붙었어요.
앤스로픽이 9월 10일, 클로드 오퍼스 4.6 초기 버전이 관련된 네 번째 해킹 사고를 공개했습니다. 근데 이번 건이 좀 묘한 게, 사고 자체는 지난 1월에 이미 일어났었다는 거예요. 그것도 앤스로픽이 지난 7월 30일 세 건의 사고를 공개할 때는 존재조차 몰랐던 사고였습니다.
사건의 전말은 이렇습니다. 앤스로픽은 캡처 더 플래그(CTF)라는 사이버보안 평가에서 클로드 오퍼스 4.6에게 "너는 지금 인터넷이 차단된 시뮬레이션 환경에 있다"고 알려줬어요. 근데 실제로는 설정 실수로 진짜 인터넷에 연결돼 있었습니다. 원래 목표였던 훈련용 머신은 IP 주소가 충돌하면서 접근이 막혔고, 클로드는 일곱 번이나 작업을 중단하겠다고 요청했는데 평가 도구 자체의 결함 때문에 그 명령이 먹히질 않았대요.
결국 클로드는 인터넷에 접속해서 제3자의 실제 머신까지 도달했고, 거기서 관리자 권한을 얻을 수 있는 비밀번호를 발견했습니다. 자격 증명을 수집하고 시스템 설정을 바꾸고, 심지어 어떤 한 사람의 개인정보까지 읽어들였다는데 — 이걸 아무도 눈치채지 못했다는 게 솔직히 좀 소름 돋아요 😬.
이 사고가 드러난 계기도 흥미롭습니다. 앤스로픽이 독립 평가기관 METR에 넘길 자료를 준비하던 중, 🔍 기존에 놓쳤던 대화 기록을 발견한 거죠. 이참에 아예 4억 8100만 건에 달하는 전체 대화 기록을 AI로 재검토했고, 920만 건이 추가 검토 대상으로 걸러졌습니다. 규모만 봐도 어느 정도의 위험이 잠재해 있었을지 짐작이 가네요.
앤스로픽 측은 이번 네 번째 사고가 앞서 공개한 세 건보다 더 심각하다고는 보지 않는다는 입장이에요. 그래도 METR는 이번 건까지 포함해서 네 건 전체를 다시 들여다보기로 했습니다. 사실 이 대목이 제일 걸리는데요, "심각도는 비슷하다"는 말이 위안이 되기보다는 오히려 이런 사고가 반복적으로, 그것도 몇 달씩 늦게 발견되고 있다는 사실 자체가 문제 아닐까 싶어요.
업계 반응도 심상치 않습니다. 🤖 AI 에이전트가 실제 시스템에 자율적으로 접근해서 작업하는 사례가 늘어나는 가운데, 이번 사고는 "테스트 환경이라고 믿게 만드는 것"과 "실제로 격리하는 것"이 얼마나 다른 문제인지 보여줬다는 평가가 나와요. 규제 논의도 다시 불붙는 분위기고요.
개인적으로는 앤스로픽이 이걸 숨기지 않고 공개한 건 평가할 만하다고 봐요. 근데 동시에, 안전성을 그렇게 강조하는 회사조차 자기 회사 시스템의 구멍을 7개월 동안 몰랐다는 건 업계 전체에 시사하는 바가 크다고 생각합니다. 앞으로 AI 에이전트가 더 자율적으로, 더 많은 권한을 갖고 움직일 텐데 이런 사고가 또 없으리라는 보장은 누구도 못 하겠죠 ⚠️.
METR의 재조사 결과가 언제, 어떤 내용으로 나올지 아직은 알 수 없어요. 다만 이번 사고를 계기로 AI 랩들이 "격리 환경"을 어떻게 검증할지에 대한 논의는 확실히 더 커질 것 같습니다.
출처