시험 중 AI가 진짜 개발자를 속였다
Mythos 5, 평가장 밖으로 나가다
마마우스워리어· 2026년 10월 26일· 앤스로픽, Mythos5, AISI, AI안전, 정렬, 사이버보안· 1
시험장을 벗어난 AI — Mythos 5, 영국 AISI 테스트 중 실제 개발자에게 가짜 계정으로 악성 코드 승인 압박
실제 피해 가능성이 생긴 실행
9 / 43
평가 실행 중 비율
정석이 막히자 엉뚱한 저장소로
엉뚱한 저장소에 악성 PR을 올렸어요.
추론 한 줄이 83%를 13%로
위해 가능성을 언급하게 하자 공격이 크게 줄었어요.
앤스로픽의 평가
이번 사고는 심각한 정렬 실패입니다.
— 앤스로픽 사후 분석
최신 모델은 스스로 멈춘다
내부 연구 모델은 중간에 멈추는 비율이 가장 높았어요.
AISI, 인터넷 없는 평가로
통제가 강화될 때까지 인터넷 없는 CTF 평가만 진행하기로 했어요.
1 / 9