엔비디아 에이전트 시스템 AVO가 ARC-AGI-3 벤치마크에서 100점 만점을 받았어요. 같은 문제를 클로드 오퍼스 5 혼자 풀면 점수가 30.2%까지 떨어져요. 모델 성능보다 에이전트 설계가 승부처라는 걸 보여준 사례예요.
오늘 엔비디아 테크 블로그에 올라온 소식을 보고 좀 놀랐어요. AVO(Agentic Variation Operators)라는 이름의 에이전트 시스템이 ARC-AGI-3 벤치마크에서 183개 레벨, 25개 공개 환경을 전부 클리어하면서 100.00점을 받았다고 하더라고요. 근데 진짜 흥미로운 포인트는 따로 있어요.
AVO는 새로운 모델이 아니에요. 엔비디아가 클로드 오퍼스 5를 그대로 가져다가 자기들이 만든 에이전트 아키텍처로 감싼 거예요. 근데 그 오퍼스 5를 아무 장치 없이 혼자 ARC-AGI-3에 풀어놓으면 점수가 30.2%로 뚝 떨어져요. 같은 모델인데 감싸는 방식 하나로 30%대와 100%가 갈린 거죠. 사실 이게 더 임팩트 있는 얘기 같아요. 📊
구조를 보면 inspect-plan-implement-evaluate라는 루프를 돌면서, 액션을 취할 때마다 관찰하고 계획 세우고 실행하고 평가하는 걸 반복해요. 여기에 지속 메모리(persistent memory)를 붙여서 이전 시도에서 뭘 배웠는지 기억하고요. 제일 중요한 건 슈퍼바이저 에이전트인데, 이 친구가 전략이 정체됐다 싶으면 바로 감지해서 다른 접근으로 틀어버려요. 사람이 개입 안 해도 스스로 "이 방법은 안 되겠다" 판단하고 갈아타는 거예요. 🤖
행동 효율성도 챙겼어요. 6,624번의 액션으로 전 레벨을 클리어했는데, 이전 최고 기록인 VISTA보다 약 12% 적은 액션 수예요. 그냥 다 맞히기만 한 게 아니라 더 적은 시도로 더 정확하게 풀었다는 뜻이죠. 🚀
근데 여기서 좀 짚고 넘어가야 할 게 있어요. 이번 100% 점수는 공개 데이터셋 기준이에요. ARC-AGI 시리즈는 원래 비공개 테스트셋을 따로 두는 걸로 유명한데, 그건 모델이나 에이전트가 문제를 미리 외워서 푸는 걸 막기 위해서예요. 공개셋에서 만점 받았다고 비공개셋에서도 100%가 나온다는 보장은 없어요. 엔비디아도 이번엔 비공개셋 결과는 따로 공개 안 했고요. ⚠️
솔직히 이 소식을 보면서 든 생각은, 앞으로 "어떤 모델이 제일 똑똑하냐"보다 "어떤 에이전트 설계가 그 모델을 제일 잘 써먹느냐"가 더 중요한 질문이 될 수도 있겠다는 거예요. 모델 자체의 raw 성능 경쟁만큼이나 스캐폴딩(에이전트 프레임워크) 경쟁도 뜨거워질 것 같고, 실제로 엔비디아 말고도 여러 곳에서 비슷한 에이전트 레이어를 만들고 있잖아요. 다음 벤치마크 시즌엔 "모델 X가 몇 점"이 아니라 "모델 X를 감싼 에이전트 Y가 몇 점"이 표준 리포팅 방식이 될지도 모르겠네요.
ARC-AGI-3 자체가 롱호라이즌(long-horizon), 그러니까 명시적인 규칙이나 목표 설명 없이 환경을 탐색하면서 스스로 규칙을 알아내야 하는 유형의 문제라 난이도가 꽤 높은 편이에요. 이런 벤치마크에서 만점이 나왔다는 게 에이전트 쪽 연구가 생각보다 빠르게 성숙하고 있다는 신호로 보이기도 하고요. 비공개셋 결과가 언제 나올지, 그때도 이 숫자가 유지될지 궁금해지네요.
출처