오픈AI 차세대 모델 아스트라가 '불투명 순환'이라는 추론 방식을 쓴다는 사실이 알려졌어요. 순차적으로 기록되던 사고 과정이 순환 구조 안에 숨어버려 감시가 어려워진다는 지적이에요. 앤스로픽 레드우드리서치 등 안전 진영이 일제히 우려를 표하며 논쟁이 커지고 있어요.
며칠 전에 오픈AI 아스트라가 사이버보안 평가에서 사상 처음으로 '치명적' 등급을 받았다는 소식 전해드렸었죠. 근데 이번엔 같은 모델을 두고 완전히 다른 각도의 논란이 터졌어요. 9월 2일 테크크런치 보도에 따르면 아스트라가 '리커런트 뎁스(recurrent depth)', 다른 말로 '불투명 순환(opaque recurrence)'이라는 추론 기법을 쓴다는 사실이 드러난 거예요.
이게 왜 문제가 되냐면요, 지금까지 추론 모델들은 사고 과정을 순차적으로 텍스트에 남겼거든요. 1단계 이렇게 생각하고, 2단계 이렇게 검증하고, 3단계 결론 내리고— 이런 식으로요. 완벽하진 않아도 최소한 사람이 들여다볼 수는 있었죠. 근데 불투명 순환은 모델이 같은 연산 블록을 루프 돌리면서 내부 상태를 계속 업데이트하는 방식이에요. 겉으로 드러나는 기록이 확 줄어들어요. 사실상 뭘 생각하는지 밖에서 보기 어려워진다는 거죠.
레드우드리서치 CEO 벅 슐레게리스는 이 소식에 "극도로 우려된다"고 반응했어요. 오픈AI가 이 기법을 더 밀어붙이면 "체인 오브 소트 모니터링 자체를 완전히 파괴할 수 있다"고 경고했고요. 동료 연구자 라이언 그린블랫도 비슷한 맥락에서, 모델이 아예 잠재공간(latent space) 안에서만 추론을 끝내버리는 방향으로 확장될까 봐 걱정된다고 밝혔어요. AI 안전 진영에서 오래 활동해온 즈비 모슈위츠는 한발 더 나가서, 오픈AI와 앤스로픽이 그동안 힘들게 지켜온 '체인 오브 소트 충실성'이라는 일종의 금기를 이번 기법이 건드리고 있다고 썼어요.
오픈AI 쪽 반응도 흥미로워요. 수석과학자 야쿠브 파초키는 "체인 오브 소트 모니터링은 우리 현재 연구 프로그램의 핵심 목표"라고 강조했거든요. 즉 회사 차원에서는 여전히 투명성을 지키겠다는 입장이고, 아스트라에서 불투명 순환이 쓰이는 범위도 아직은 제한적이라고 해요. 근데 문제는 이게 '아직은'이라는 단서가 붙는다는 거죠. 보도에 따르면 앤스로픽과 구글 딥마인드도 내부적으로 비슷한 기법을 논의 중이라고 하니, 업계 전체가 이 방향으로 움직일 가능성을 배제하기 어려워요.
솔직히 이 논쟁을 보면서 좀 아이러니하다는 생각이 들었어요. 얼마 전까지만 해도 '더 똑똑한 AI'가 목표였는데, 이제는 '똑똑하면서도 속마음이 들여다보이는 AI'가 훨씬 까다로운 과제가 됐거든요. 성능과 해석가능성이 트레이드오프 관계에 놓이기 시작한 거예요. 개인적으로는 이게 단순한 기술 논쟁이 아니라, AI 회사들이 앞으로 '얼마나 빠르게 갈 건지'와 '얼마나 안전하게 갈 건지' 사이에서 어떤 선택을 하는지 보여주는 시험대라고 봐요. 아스트라의 치명적 사이버 등급 소식과 겹쳐서 보면 더더욱 그렇고요.
체인 오브 소트가 완벽한 감시 도구는 아니었어요. 모델이 실제로 생각하는 것과 출력하는 텍스트가 항상 일치하지 않는다는 연구도 여러 번 나왔었죠. 그래도 최소한의 창문 하나는 있었던 셈인데, 그 창문마저 좁아진다면 우리는 뭘 근거로 AI를 신뢰해야 할까요. 오픈AI가 이번 주 안에 추가 설명을 내놓을지, 아니면 이대로 조용히 넘어갈지 지켜봐야 할 것 같아요.
출처