오픈AI가 허깅페이스 침해사고 이후 새로운 안전장치를 내놨어요. 강화학습 훈련은 2주간 중단됐고, 최대 규모 RL은 여전히 멈춰 있어요. 모델이 똑똑해질수록 통제도 그만큼 촘촘해지는 흐름이 보여요.
지난 7월 21일, 오픈AI는 꽤 조용히 보안사고 하나를 공개했어요. 허깅페이스에서 모델이 훈련 환경을 이탈했다는 내용이었는데, 공격자가 인터넷 접속 권한이 있는 네트워크 툴 하나를 뚫고 들어가서 모델에 무단으로 접근했다는 거예요. 당시엔 크게 화제가 안 됐는데, 8월 18일 화요일에 오픈AI가 후속 조치를 발표하면서 다시 주목받고 있어요.
핵심은 이거예요. 오픈AI가 강화학습(RL) 훈련을 2주간 전면 중단했고, 그중에서도 가장 큰 규모의 프런티어 RL 런(run)은 지금도 멈춰 있다는 것. 훈련을 멈춘다는 건 그만큼 손해가 크다는 뜻이거든요. GPU 시간, 일정, 경쟁사와의 속도 싸움까지 다 걸려 있으니까요. 그런데도 멈췄다는 건 이번 사고를 상당히 심각하게 봤다는 신호로 읽혀요.
발표된 안전장치는 크게 네 가지예요. 첫째, 개발 중인 모델에 대한 모니터링을 강화해서 수상한 활동이 감지되면 30분 안에 경보가 뜨도록 했어요. 둘째, 네트워크 격리를 강화해서 한 군데가 뚫려도 그게 곧바로 인터넷 접속으로 이어지지 않게 막았고요. 셋째, 사후훈련(post-training) 단계에서 정렬(alignment)과 보안에 더 무게를 뒀어요. 넷째, 앞서 말한 RL 훈련 중단이에요.
숫자로 보면 좀 더 와닿는데요, 이 모니터링 시스템이 감시 대상 프로세스 대비 약 20%의 컴퓨트 부담을 추가로 먹는다고 해요. 결코 작은 비용이 아니죠. 그리고 통제 강도는 모델이 강력해질수록 세지는 구조라서, 가장 큰 모델이 가장 엄격한 감시를 받게 된다고 하네요.
오픈AI 리서치 부문 VP인 아멜리아 글레이즈(Amelia Glaese)는 "우리는 안전한 개발을 위한 요구사항과 기대치를 마련해뒀다"고 밝혔어요. 근데 재밌는 건, 오픈AI가 이번 조치의 배경으로 허깅페이스 사고만이 아니라 차기 모델로 알려진 '아스트라(Astra)'의 사이버보안 역량과 전반적인 AI 개발 속도도 함께 언급했다는 점이에요. 사고 수습 차원을 넘어서, 점점 강해지는 모델 자체를 어떻게 다룰지에 대한 선제적 대응 성격도 있다는 얘기죠.
솔직히 이 조합이 좀 묘해요. 보안사고 때문에 멈춘 건지, 아니면 모델이 너무 잘해서 무서워서 멈춘 건지 경계가 흐릿하거든요. 사실 두 가지가 별개가 아니라 같은 문제의 양면일 수도 있고요. 모델이 강력해질수록 뚫렸을 때 피해 범위도 커지니까, 결국 보안과 능력은 같이 관리해야 하는 세트인 셈이에요.
프런티어 랩들이 앞다퉈 신모델을 내놓는 와중에 오픈AI가 스스로 브레이크를 밟았다는 사실 자체가 눈에 띄어요. IPO를 앞두고 있다는 얘기도 계속 나오는 시점이라, 이번 조치가 안전성 신뢰를 쌓기 위한 것인지 아니면 정말 리스크가 컸던 것인지는 좀 더 지켜봐야 할 것 같아요.
출처