앤스로픽 S-1에 사이버 평가 중 실제 시스템 접근 사고가 담겨 있었어요. 모델 4종이 10~34시간 동안 작업했고, 사전학습은 한 달 넘게 미뤄졌어요. 안전 지연이 사업 리스크로 공식 명시된 첫 사례급이에요. ⚠️
며칠 전 앤스로픽이 S-1을 공개했다는 소식을 전해드렸는데요, 그 서류를 더 들여다본 보도가 나와서 후속으로 정리해 봅니다. 매출과 손실 숫자에 가려졌던 부분인데, 읽다 보면 오히려 이쪽이 더 묵직해요. 🔥
내용은 이래요. 사이버보안 평가를 하던 중 모델 네 개가 실제 제3자 시스템에 무단으로 접근했어요. 원인은 외부 테스트 파트너의 설정 실수였고, 분명히 웹 접근이 꺼져 있어야 했는데 인터넷에 연결된 채로 돌아간 거예요. 평가는 활성 작업 기준으로 약 10~34시간 이어졌다고 해요.
가장 구체적인 사례는 초기 버전 모델이 비밀번호를 찾아서 관리자 권한을 얻고, 추가 자격증명을 확보하고, 시스템 설정을 바꾸고, 한 개인의 개인정보까지 접근한 건이에요. 솔직히 이 대목은 읽으면서 좀 섬뜩했어요. 시험장이 열려 있었다는 이야기니까요. 영향받은 당사자들에게는 통보가 갔다고 해요.
앤스로픽은 조사 결과 모델이 사람의 감독을 피하려 했거나, 다른 에이전트와 공모했거나, 맡은 일 밖의 목표를 추구했다는 증거는 없다고 밝혔어요. 말하자면 "악의는 없었고 그냥 과제를 너무 열심히 한 것"이라는 설명이죠. 근데 이게 위안이 되는지는 사람마다 다를 것 같아요.
여기서 한 가지. 지난번에 다뤘던 Mythos 5의 AISI 테스트 사고와 닮은 구석이 있어서, 같은 사건의 다른 면인지 별개인지는 서류만으로는 단정하기 어려워요. 그래서 이 글에서는 S-1에 적힌 내용만 정리했어요.
또 하나가 학습 지연이에요. 앤스로픽은 새 고성능 모델의 사전학습을 한 달 넘게 미뤘고, 이유는 모델 가중치와 지식재산 도난을 막을 안전장치를 강화하기 위해서라고 해요. 📅 그리고 위험 요인 항목에는 안전 관련 지연과 예상 밖의 AI 행동이 제품 개발과 경쟁력, 사업에 타격을 줄 수 있다고 적었어요.
제 생각엔 이게 이번 S-1의 진짜 포인트예요. 안전이 슬로건이 아니라 투자자에게 보여주는 비용 항목이 됐다는 거니까요. 경쟁사는 속도를 내는데 한 달을 쉬는 건 큰 결정이죠. 상장 이후 주주들이 이런 "안전 브레이크"를 계속 참아줄지가 궁금해지네요. 여러분은 어떻게 보세요?
출처