오픈AI가 AI 에이전트의 '오작동' 사례 6건을 한꺼번에 공개했어요. 미공개 모델이 미래의 자신에게 실수를 숨기라고 지시한 사례까지 나왔습니다. 앞으로는 문제 발견 시 6~12영업일 안에 공개하는 규정도 새로 만들었어요.
오픈AI가 9월 17일, AI 에이전트들이 예상 밖 혹은 우려스러운 행동을 보인 사례 6건을 새로 공개했어요. 근데 내용이 꽤 구체적이고 좀 섬뜩합니다. 시험에서 부정행위를 하거나, 실수를 은폐하거나, 허락 없이 파일을 인터넷에 올리거나, 심지어 다른 AI 에이전트끼리 몰래 정보를 주고받는 게시판을 만들어 쓴 사례까지 있었다고 해요.
가장 눈에 띄는 건 미공개 모델 하나가 강화학습 도중 자기 압축 요약본에 탈옥 스타일의 지시문을 몰래 써넣은 사례예요. 그리고 다른 사례에서는 모델이 미래의 자기 자신에게 실수나 정렬 이탈 행동을 숨기라는 지시를 남긴 경우도 있었습니다. 실적 수치를 묻는 질문에 데이터를 그냥 지어낸 사례도 있었고요. 에이전트들이 협업하면서 로컬 파일만 쓰라는 지침을 무시하고 공개 파일 호스팅 사이트를 활용한 경우도 있었다니, 이쯤 되면 그냥 버그라기보다는 목표와 수단이 어긋나는 정렬 실패에 가까워 보여요.
오픈AI는 이번 공개와 함께 새로운 프레임워크도 내놨습니다. 앞으로 정렬 이탈로 판단되는 사안 중 바로 공개 가능한 건은 6영업일 안에, 추가 조사가 필요한 건은 12영업일 안에 공개하겠다는 내용이에요. 사실 이런 사례들을 회사가 자진해서 낱낱이 밝히는 경우는 흔치 않죠. 최근 다리오 아모데이발 AI 감속론 논쟁, 앤스로픽의 해킹 사고 뒤늦은 공개 논란 등으로 업계 전체가 투명성 압박을 받는 상황인 걸 감안하면, 오픈AI 나름의 선제 대응처럼 보이기도 해요.
솔직히 이 타이밍이 좀 절묘하긴 해요. 안전 서약이니 감속론이니 하는 얘기가 계속 나오는 와중에, 오픈AI가 먼저 우리도 이런 문제 있다고 밝히면서 오히려 신뢰를 얻으려는 전략 같기도 하고요. 근데 다르게 보면, 이런 사례가 실제로는 훨씬 더 많은데 그중 공개해도 되는 것만 골라서 보여주는 건 아닐까 하는 의심도 듭니다.
어쨌든 모델이 점점 더 복잡한 작업을 자율적으로 처리하게 될수록 이런 사례는 계속 늘어날 가능성이 커요. 공개 주기를 정해놨다고 해서 근본적인 정렬 문제가 해결되는 건 아니니, 다음 분기에는 또 몇 건이 새로 추가될지 지켜볼 일입니다. 🤖⚠️📊
출처