오픈AI가 GPT-6 아스트라 발표 후 벤치마크 수치를 여러 차례 슬쩍 고친 정황이 포착됐어요. 환각률은 6번째 스냅샷에서 반토막 났다가 다시 원래대로 돌아왔고, 경쟁사 점수까지 흔들렸어요. 벤치마크를 마케팅 도구로 쓰는 관행에 다시 한번 물음표가 붙는 모양새예요.
근데 이거 좀 묘한 얘기예요. 지난 9월 3일 오후, 오픈AI가 GPT-6 아스트라를 발표하면서 벤치마크 결과가 담긴 블로그 포스트를 하나 올렸거든요. 근데 Fortune이 이 페이지의 아카이브 스냅샷을 쭉 훑어봤더니, 숫자가 발표 이후로 최소 여러 번 바뀐 흔적이 나온 거예요. 그것도 슬그머니, 별도 공지 하나 없이요. 🤖
가장 눈에 띄는 건 환각률이에요. 처음 발표됐을 때 두 개의 환각률 지표가 각각 4.2%, 12.2%였는데, 다들 블로그 글을 볼 수 있게 된 시점인 오후 5시 20분에 찍힌 6번째 스냅샷에서는 이 수치가 훨씬 낮게, 절반 이하로 바뀌어 있었대요. 근데 지금 다시 보면 이 수치들은 원래대로 4.2%와 12.2%로 돌아와 있어요. 오르락내리락한 거죠. 📉
사이버보안 벤치마크인 ExploitBench에서도 비슷한 일이 있었어요. 오픈AI의 다른 모델 솔의 내부 테스트 결과가 5.5%에서 11.5%로 바뀌었는데, 오픈AI 쪽에서는 이 11.5%라는 수치가 사실 솔에게 상용으로 제공되지 않는 수준의 추론 능력을 반영한 거라 다시 예전 숫자로 되돌릴지 고민 중이라고 밝혔대요.
근데 진짜 문제는 이 다음이에요. FrontierMath Tier 4(v2) 테스트에서 아스트라 점수는 97.6%로 안 변했는데, 경쟁 모델들 점수는 계속 흔들렸어요. 특히 앤스로픽 페이블5.1 점수가 처음엔 87.8%였다가, 어느 시점엔 78%까지 떨어졌고, 지금은 83%로 조정돼 있는 상태예요. 자기 회사 모델 점수는 그대로 두고 경쟁사 점수만 왔다갔다 한 셈이라, 보는 사람 입장에선 좀 찜찜할 수밖에 없어요. ⚠️
솔직히 벤치마크라는 게 원래도 회사들이 유리하게 편집해서 보여준다는 의심을 늘 받아왔잖아요. 근데 이번 건은 그 정도를 넘어서, 발표 후에 조용히 재편집했다는 게 포인트예요. 더구나 그 대상이 경쟁사 점수라는 점에서, 이겼다는 메시지를 만들기 위해 숫자를 만졌다는 의심을 피하기 어려워 보여요.
저는 개인적으로 이런 사후 수정이 한두 번이면 실수라고 봐줄 수 있는데, 여러 지표에서 반복되면 그건 관행에 가깝다고 생각해요. 오픈AI 쪽은 아직 이 건에 대해 별다른 공식 해명을 내놓지 않은 상태고요.
아무튼 아스트라를 둘러싼 잡음은 이번이 처음이 아니에요. 사이버 등급 치명적 판정부터 위키 사건까지, 발표 이후로 계속 크고 작은 얘기가 따라붙고 있는데, 이번 벤치마크 논란까지 겹치면서 아스트라의 실제 성능을 어디까지 믿어야 할지에 대한 의문이 커지고 있어요. 다음 스냅샷에서는 또 어떤 숫자가 바뀌어 있을지, 지켜볼 일이에요.
출처