앤스로픽이 AI가 AI 정렬 연구를 스스로 수행하는 '자동정렬연구원(AAR)' 결과를 공개했어요. 10개 벤치마크 전부 개선했고, 시간당 비용은 사람의 37분의 1인 4달러에 불과했어요. 정렬 연구 자체를 AI가 떠맡는 시대가 성큼 다가왔다는 신호로 읽혀요.
솔직히 이 소식 보고 좀 소름 돋았어요. 앤스로픽이 현지시간 8월 28일 공개한 연구인데, 제목부터 심상치 않아요. "Automated Researchers Can Reliably Mitigate Alignment Failures" — 번역하면 "자동화된 연구자가 정렬 실패를 안정적으로 완화할 수 있다"는 뜻인데, 여기서 자동화된 연구자가 바로 클로드 자신이에요 🤖. AI가 AI의 안전성을 연구하는 연구원 역할을 맡은 거죠.
이 시스템 이름은 AAR, Automated Alignment Researcher예요. 앤스로픽 펠로우 첸위에한이 주도한 연구인데, 작동 방식이 꽤 흥미로워요. 문헌을 뒤져서 기존 정렬 기법을 조사하고, 새로운 방법을 스스로 제안하고, 그 방법으로 모델을 30분씩 재학습시키고, 벤치마크로 검증하는 루프를 반복하는 구조예요. 사람 연구자가 하는 일을 거의 그대로 흉내 낸 셈이죠.
결과가 진짜 인상적이에요 📊. 기만, 아첨, 탈옥, 프라이버시 침해, 보상 해킹 등 10개 정렬 실패 유형에 벤치마크를 돌렸는데 전부 개선됐대요. 그것도 다른 능력을 깎아먹지 않으면서요. 항목별로 정렬 격차를 26~96%까지 줄였고, 사람이 보지 못한 평가나 최대 4.7배 큰 모델에도 방법이 그대로 통했다니 일반화도 꽤 잘 되는 것 같아요.
근데 진짜 눈에 띄는 건 비용이에요 💰.
AAR을 돌리는 데 드는 비용이 시간당 4달러 정도인데, 앤스로픽이 사람 정렬 연구자에게 지불하는 시간당 인건비는 150달러예요. 거의 37배 차이 나는 셈이죠. 게다가 논문에는 "AAR이 제안한 최고의 방법은 평균 6시간 만에 숙련된 인간 연구자의 제안을 능가했다"는 문장도 있어요. 사람이 며칠씩 고민할 일을 반나절도 안 걸려서 따라잡는다는 얘기예요.
실전 적용 사례도 있어요. 클로드 소넷 5가 초기 오퍼스 4.8 체크포인트를 정렬하는 데 60시간, 훈련 예시 2,000개 정도만 썼는데 이게 기존 프로덕션 정렬 절차보다 약 1만 5천 배 효율적이었다고 앤스로픽은 밝혔어요. 숫자만 보면 좀 믿기 어려운 수준이긴 한데, 회사가 직접 낸 수치라 일단 그대