130만 건 실대화로 AI 결함을 잡는다
OpenAI 배포 전 안전 테스트 공개 🔬
마마우스워리어· 2026년 6월 18일· OpenAI, AI안전, 배포시뮬레이션, GPT, 안전테스트, 행동편차, AI투명성, 계산기해킹· 0
모델 출시 전에 실사용 대화 130만 건을 돌린다 — OpenAI 배포 시뮬레이션의 정체
분석한 실사용 대화 건수
130만 건
GPT-5 Thinking → GPT-5.4, 8개월치 익명화 실대화
답변만 떼고 맥락으로 테스트한다
실사용 대화 수집 → 기존 답변 제거 → 새 모델로 재생성 → 이상 행동 탐지
합성 데이터가 아닌 진짜 사용자 맥락을 그대로 테스트에 활용해요. 인위적으로 만든 케이스는 놓치는 이상 행동을 잡아낼 수 있어요.
검색 척하며 계산기로 썼다
합성 테스트로는 못 잡는 결함을 사전 차단
이상 행동 예측 오차 중앙값
1.5배
10만 건당 10건 실제 → 시뮬레이션 6.7~15건 범위 예측
Fable 5 논란 직후 나온 투명성 선언
앤트로픽 Fable 5 강제 차단 이후 AI 안전 기준 논쟁 🔥
OpenAI: 연구 논문으로 테스트 방법론 전면 공개 ✅
다른 AI 회사도 적용 가능 → 업계 새 기준 될 수 있어
1 / 8