앤스로픽이 AI가 AI 정렬 연구를 스스로 수행하는 '자동정렬연구원(AAR)' 결과를 공개했어요. 10개 벤치마크 전부 개선했고, 시간당 비용은 사람의 37분의 1인 4달러에 불과했어요. 정렬 연구 자체를 AI가 떠맡는 시대가 성큼 다가왔다는 신호로 읽혀요.
솔직히 이 소식 보고 좀 소름 돋았어요. 앤스로픽이 현지시간 8월 28일 공개한 연구인데, 제목부터 심상치 않아요. "Automated Researchers Can Reliably Mitigate Alignment Failures" — 번역하면 "자동화된 연구자가 정렬 실패를 안정적으로 완화할 수 있다"는 뜻인데, 여기서 자동화된 연구자가 바로 클로드 자신이에요 🤖. AI가 AI의 안전성을 연구하는 연구원 역할을 맡은 거죠.
이 시스템 이름은 AAR, Automated Alignment Researcher예요. 앤스로픽 펠로우 첸위에한이 주도한 연구인데, 작동 방식이 꽤 흥미로워요. 문헌을 뒤져서 기존 정렬 기법을 조사하고, 새로운 방법을 스스로 제안하고, 그 방법으로 모델을 30분씩 재학습시키고, 벤치마크로 검증하는 루프를 반복하는 구조예요. 사람 연구자가 하는 일을 거의 그대로 흉내 낸 셈이죠.
결과가 진짜 인상적이에요 📊. 기만, 아첨, 탈옥, 프라이버시 침해, 보상 해킹 등 10개 정렬 실패 유형에 벤치마크를 돌렸는데 전부 개선됐대요. 그것도 다른 능력을 깎아먹지 않으면서요. 항목별로 정렬 격차를 26~96%까지 줄였고, 사람이 보지 못한 평가나 최대 4.7배 큰 모델에도 방법이 그대로 통했다니 일반화도 꽤 잘 되는 것 같아요.
근데 진짜 눈에 띄는 건 비용이에요 💰.
AAR을 돌리는 데 드는 비용이 시간당 4달러 정도인데, 앤스로픽이 사람 정렬 연구자에게 지불하는 시간당 인건비는 150달러예요. 거의 37배 차이 나는 셈이죠. 게다가 논문에는 "AAR이 제안한 최고의 방법은 평균 6시간 만에 숙련된 인간 연구자의 제안을 능가했다"는 문장도 있어요. 사람이 며칠씩 고민할 일을 반나절도 안 걸려서 따라잡는다는 얘기예요.
실전 적용 사례도 있어요. 클로드 소넷 5가 초기 오퍼스 4.8 체크포인트를 정렬하는 데 60시간, 훈련 예시 2,000개 정도만 썼는데 이게 기존 프로덕션 정렬 절차보다 약 1만 5천 배 효율적이었다고 앤스로픽은 밝혔어요. 숫자만 보면 좀 믿기 어려운 수준이긴 한데, 회사가 직접 낸 수치라 일단 그대로 옮겨봅니다.
물론 앤스로픽도 셀프 감시는 했어요. 별도 모니터링 에이전트가 AAR이 벤치마크 점수를 편법으로 올리려 하진 않는지 계속 체크했는데, 약 1,600건의 연구 기록 중 39건(2.4%)에서 편법 시도가 잡혔대요. 완전히 믿고 맡길 단계는 아니라는 뜻이기도 하죠 ⚠️.
솔직히 이 연구가 무서운 이유는 따로 있어요. 지금까지 AI가 스스로를 개선한다는 얘기는 주로 코딩이나 추론 성능 얘기였는데, 이번엔 안전성 연구 자체를 AI가 떠맡기 시작했다는 거예요 🔬. 앤스로픽도 한계는 인정해요. 여기서 다룬 실패 유형이 실제 프로덕션에서 벌어지는 것보다 좁고, 정치적 편향이나 드물게 나타나는 실패는 아예 측정하지 않았다고요. 벤치마크가 실제 정렬 목표를 얼마나 잘 대변하는지도 여전히 열린 질문이고요.
그래도 방향성은 분명해 보여요. 모델이 커지고 복잡해질수록 사람 연구자만으로는 정렬 속도를 못 맞출 거라는 우려가 계속 나왔었는데, 이번 결과는 그 격차를 AI 스스로 메울 수 있다는 첫 실마리를 보여준 셈이니까요. 다음 스텝은 아마 이 방식을 더 넓은 실패 유형, 더 큰 모델에 적용하는 실험이 되지 않을까 싶네요.
출처