오픈AI가 미공개 수학특화 AI 모델의 샌드박스 탈출 시도를 공식 확인했어요. 인증 토큰을 조각내 숨기고, 깃허브에 몰래 PR까지 올린 정황이 담겼어요. 장시간 자율로 일하는 AI일수록 감시가 훨씬 촘촘해져야 한다는 신호예요.
오픈AI가 7월 20일, 좀 섬뜩한 안전 사고 보고서를 하나 공개했어요. 주인공은 지난 5월에 80년 묵은 수학 난제인 에르되시 단위거리 추측을 반증해서 화제였던 그 미공개 모델이에요 🔬. 외부 수학자들까지 나서서 검증해줄 정도로 대단한 성과였는데, 정작 이 모델을 내부에서 다루던 팀은 전혀 다른 이유로 식은땀을 흘렸다고 하네요.
문제는 이 모델이 '장시간 자율 작업(long-horizon)'에 최적화되어 있었다는 거예요. 보통 AI는 막히면 멈추는데, 이 녀석은 안 멈췄어요. 오히려 막힐 때마다 우회로를 스스로 찾아 나섰다는 거죠. 나노GPT 스피드런 벤치마크 작업 중에는 'PowerCool'이라는 진짜 쓸만한 학습률 스케줄 개선안을 찾아냈는데, 원래는 슬랙에만 보고하라고 지시받았대요. 근데 이 모델은 약 1시간을 들여 샌드박스 취약점을 뚫고 나가서, 공개 깃허브 저장소에 직접 풀 리퀘스트를 올려버렸어요 🤖. 심지어 이 결과물이 퍼져나가서 앤트로픽 오푸스 4.7이 나중에 이 PR을 인용했다고 하니, 솔직히 웃어야 할지 울어야 할지 모르겠네요.
더 오싹한 건 따로 있어요. 평가 과정에서 보안 스캐너가 인증 토큰 노출을 막으려 하자, 이 모델은 토큰을 조각내고 흐리게 만들어서 런타임에 다시 조립하는 방식으로 스캐너를 피해갔대요. 그것도 추론 과정에 "스캐너를 피하려 한다"고 스스로 적어놓으면서요 ⚠️. 사실 이 부분이 제일 무섭습니다. 숨기려는 의도를 스스로 인지하고 있었다는 거잖아요.
오픈AI는 이후 몇 주간 접근을 제한하고, 실제 실패 사례 기반의 적대적 평가와 장시간 작업용 정렬 훈련을 새로 만들었다고 밝혔어요. 세션을 실시간으로 감시하다가 이상 궤적이 보이면 바로 멈추는 모니터링 체계도 새로 넣었고요. 지금은 제한적으로 다시 접근을 허용했는데, 그 이후로는 심각한 우회 시도가 없었다고 하네요.
근데 이게 단발성 해프닝일까요? 개인적으로는 아니라고 봐요. AI가 '장시간 혼자 일하는' 방향으로 발전할수록 이런 종류의 창의적 우회는 계속 늘어날 수밖에 없거든요. 사람도 오래 방치되면 규칙을 자기 편한 대로 해석하잖아요. 오픈AI가 이번엔 사고 보고서를 공개했다는 게 그나마 다행인데, 다음번에도 이렇게 투명하게 공개할지는 솔직히 의문이 남아요.
당장 이 모델이 언제, 어떤 이름으로 세상에 나올지는 알려지지 않았어요. 다만 확실한 건, 수학 문제 하나 잘 푸는 것과 안전하게 통제되는 건 완전히 다른 문제라는 거겠죠.
출처