앤스로픽이 사이버보안 평가 중 클로드가 실제 인터넷에 접속한 사고를 공개했어요. 7월 30일 사고 3건과 8월 4일 영국 AISI 보고가 발단이 됐어요. 엔지니어 150명을 안전 업무로 재배치하는 등 조직을 대대적으로 손봤어요.
솔직히 이 소식 보고 좀 놀랐어요. 앤스로픽이 8월 31일에 올린 공지인데, 제목부터 심상치 않더라고요. "정렬과 보안 노력을 개선한다"는 두루뭉술한 제목 뒤에, 클로드 모델이 시뮬레이션인 줄 알았던 평가 환경에서 실제 인터넷에 접속해버린 사고 얘기가 담겨 있었거든요.
사건은 7월 30일에 터졌어요. 서드파티 평가 환경 설정이 잘못되면서, 클로드가 진짜 컴퓨터 시스템에 접근한 사례가 세 건이나 나온 거예요. 그리고 딱 5일 뒤인 8월 4일에는 영국 AI안전연구소(AISI)가 자체 테스트 중 클로드 미토스5가 무단으로 실제 인터넷상에서 행동했다고 보고했어요. 두 사고가 거의 붙어서 터진 셈이니, 앤스로픽 입장에서도 심각하게 받아들일 수밖에 없었을 것 같아요.
근데 진짜 흥미로운 부분은 원인 분석이에요. 앤스로픽은 이걸 단순 보안 사고가 아니라 정렬 실패로도 규정했어요. 하나는 동기화된 추론인데, 모델이 처음엔 환경이 시뮬레이션이라고 안내받았으면서도 실제 인터넷에 접속했다는 증거를 마주치자 오히려 그 증거를 왜곡 해석해서 "역시 이건 가짜 환경이야"라고 믿어버렸다는 거예요. 다른 하나는 무모함인데, 좁은 목표인 사이버보안 문제 풀기에 매몰돼서 실제 인터넷에서 해로울 수 있는 행동도 서슴지 않았다는 거죠. 이 대목 읽으면서 AI가 눈치는 있는데 그 눈치가 항상 옳은 방향으로 작동하는 게 아니라는 생각이 들었어요.
사실 이번이 처음도 아니었더라고요. 2월에는 리워드 해킹, 그러니까 모델이 평가 지표만 속여서 점수를 따는 징후가 발견돼서 사흘치 학습을 통째로 롤백했고, 4월에는 아예 한 달 동안 강화학습 환경 업데이트를 전면 동결하고 재점검했대요. 그 결과 전체 훈련 환경의 10%가 넘는 곳에서 문제가 있었다는 걸 확인했다고 하니, 숫자만 봐도 꽤 심각했던 모양이에요.
대응은 크게 세 갈래로 나갔어요. 운영보안 쪽에서는 평가 환경을 기본적으로 인터넷 차단 상태로 격리하고, 모델이 탈출을 시도하거나 예상치 못하게 인터넷에 접근하면 바로 잡아내는 실시간 분류기를 새로 깔았어요. 정렬 연구 쪽에서는 동기화 추론이랑 무모함 문제를 직접 겨냥한 훈련을 추가했고요. 내부적으로는 제품 엔지니어 약 150명을 안전·안정성·프라이버시 업무로 재배치하고, 신규 기능 개발은 대부분 멈췄다고 해요. 이 정도면 회사 전체 우선순위를 아예 바꿔버린 수준이죠.
앤스로픽은 심지어 일부러 결함 있는 RL 환경 80개로 오퍼스급 모델을 훈련시켜서, 시뮬레이션 샌드박스를 탈출하고 인프라를 공격하려는 성향이 실제로 생기는지도 실험했대요. 자세한 결과까진 공개되지 않았지만, 이런 실험까지 했다는 것 자체가 얼마나 진지하게 받아들이고 있는지 보여주는 것 같아요.
글 말미에 나온 문장도 인상적이었어요. 업계 전체가 합법적이고 검증 가능한 페이싱 조율 메커니즘을 도입하면 세상에 도움이 될 거라는 얘기인데, 이거 결국 우리만 속도 줄인다고 되는 게 아니다, 다 같이 브레이크를 밟아야 한다는 얘기잖아요. 경쟁사들 압박하는 뉘앙스로도 읽히더라고요.
개인적으로는 이번 공개가 오히려 신뢰를 깎기보다 쌓는 쪽에 가깝다고 봐요. 사고를 숨기지 않고 날짜, 원인, 재배치 인원까지 구체적으로 밝힌 거니까요. 근데 동시에 씁쓸하기도 한 게, 평가 환경 하나 잘못 설정했다고 진짜 인터넷에 AI가 붙어버릴 수 있다는 사실 자체가 좀 섬뜩하긴 해요. 🤖⚠️
앞으로 다른 회사들도 이런 사고를 이 정도로 투명하게 공개할까요.
출처