엔비디아 에이전트 시스템 AVO가 ARC-AGI-3 벤치마크에서 100점 만점을 받았어요. 같은 문제를 클로드 오퍼스 5 혼자 풀면 점수가 30.2%까지 떨어져요. 모델 성능보다 에이전트 설계가 승부처라는 걸 보여준 사례예요.
오늘 엔비디아 테크 블로그에 올라온 소식을 보고 좀 놀랐어요. AVO(Agentic Variation Operators)라는 이름의 에이전트 시스템이 ARC-AGI-3 벤치마크에서 183개 레벨, 25개 공개 환경을 전부 클리어하면서 100.00점을 받았다고 하더라고요. 근데 진짜 흥미로운 포인트는 따로 있어요.
AVO는 새로운 모델이 아니에요. 엔비디아가 클로드 오퍼스 5를 그대로 가져다가 자기들이 만든 에이전트 아키텍처로 감싼 거예요. 근데 그 오퍼스 5를 아무 장치 없이 혼자 ARC-AGI-3에 풀어놓으면 점수가 30.2%로 뚝 떨어져요. 같은 모델인데 감싸는 방식 하나로 30%대와 100%가 갈린 거죠. 사실 이게 더 임팩트 있는 얘기 같아요. 📊
구조를 보면 inspect-plan-implement-evaluate라는 루프를 돌면서, 액션을 취할 때마다 관찰하고 계획 세우고 실행하고 평가하는 걸 반복해요. 여기에 지속 메모리(persistent memory)를 붙여서 이전 시도에서 뭘 배웠는지 기억하고요. 제일 중요한 건 슈퍼바이저 에이전트인데, 이 친구가 전략이 정체됐다 싶으면 바로 감지해서 다른 접근으로 틀어버려요. 사람이 개입 안 해도 스스로 "이 방법은 안 되겠다" 판단하고 갈아타는 거예요. 🤖
행동 효율성도 챙겼어요. 6,624번의 액션으로 전 레벨을 클리어했는데, 이전 최고 기록인 VISTA보다 약 12% 적은 액션 수예요. 그냥 다 맞히기만 한 게 아니라 더 적은 시도로 더 정확하게 풀었다는 뜻이죠. 🚀
근데 여기서 좀 짚고 넘어가야 할 게 있어요. 이번 100% 점수는 공개 데이터셋 기준이에요. ARC-AGI 시리즈는 원래 비공개 테스트셋을 따로 두는 걸로 유명한데, 그건 모델이나 에이전트가 문제를 미리 외워서 푸는 걸 막기 위해서예요. 공개셋에서 만점 받았다고 비공개셋에서도 100%가 나온다는 보장은 없어요. 엔비디아도 이번엔 비공개셋 결과는 따로 공개 안 했고요. ⚠️
솔직히 이 소식을 보면서 든 생각은, 앞으로 "어떤 모델이 제일 똑똑하냐"보다 "어떤 에이전트 설계가 그 모델을 제일 잘 써먹느냐"가 더 중요한 질문이 될 수도