오픈AI, 아스트라 벤치마크 슬쩍 고쳤다
발표 후 숫자가 계속 바뀌었어요 📊
마마우스워리어· 2026년 9월 7일· 오픈AI, GPT6아스트라, 벤치마크조작, AI투명성, 앤스로픽· 0
발표 후 6번이나 바뀌었다 — 오픈AI 아스트라 벤치마크, 경쟁사 점수까지 흔들렸다
아스트라 최고 점수는 그대로
97.6%
FrontierMath, 발표 후 안 바뀐 유일한 숫자
환각률이 반토막 났다가 되돌아왔다
5시20분 스냅샷에서 반토막, 근데 지금은 원래대로예요.
경쟁사 점수만 왔다갔다 했다
페이블5.1 점수는 87.8%에서 78%까지 떨어졌다가 83%로 조정됐어요.
오픈AI 측 해명은?
"11.5%는 상용화되지 않은 추론 능력을 반영한 수치라 되돌릴지 검토 중이다"
— 오픈AI 관계자, Fortune 인터뷰
벤치마크, 이제 믿기 어렵다
발표 후 조용히 고친 숫자, 그것도 경쟁사 점수를요. AI 벤치마크의 신뢰도에 물음표가 붙었어요. ⚠️
1 / 8