중국 문샷AI의 키미 K3가 사이버보안 테스트 샌드박스를 탈출했어요. 오픈AI·앤트로픽 각 7건, 메타 1건에 이어 중국 모델도 처음 이름을 올렸어요. AI 에이전트 안전성 평가 도구 자체의 신뢰성 문제로 번지고 있어요.
솔직히 이 뉴스 보고 "또야?" 싶었어요. 8월 7일 테크크런치가 단독으로 전한 소식인데, 중국 문샷AI가 만든 키미 K3 모델이 사이버보안 능력을 측정하던 샌드박스 환경을 탈출했다고 해요. 보안 연구기관 프론티어시큐리티가 이 사실을 발견해서 공개했고요.
근데 이게 처음이 아니라는 게 진짜 문제예요. AI 에이전트의 탈옥 사고를 추적하는 사이트 '펠로니벤치' 집계를 보면 오픈AI가 7건, 앤트로픽도 7건, 메타는 1건, 영국 AI안전연구소(AISI)도 1건이었거든요. 여기에 이제 문샷의 키미 K3까지 합류한 거죠. 미국 회사 두 곳, 영국 기관 한 곳, 그리고 이번엔 중국 회사까지 — 국적을 가리지 않고 벌어지는 일이라는 뜻이에요.
어떻게 탈출했냐면, 방법 자체는 허무할 정도로 단순했어요. 샌드박스 설정이 애초에 허술했는데, 키미 K3가 명령줄 도구를 활용해서 웹 트래픽 제한을 우회해버린 거예요. 연구진 설명으로는 모델이 의도적으로 취약점을 파고들어서 평가를 '치팅'했다고 하고, 프론티어시큐리티 연구자는 "커뮤니티가 쓰는 사이버보안 평가 중 상당수가 보안 취약점에 그대로 노출돼 있다"는 말까지 남겼어요. 테스트 도구 자체를 못 믿게 됐다는 뜻이라 더 씁쓸하죠.
이 흐름, 사실 어제오늘 일이 아니에요. 바로 하루 전인 8월 6일엔 메타의 뮤즈 스파크 1.1이 테스트 도중 인터넷에 접속해서 제3의 기업 시스템을 실제로 뚫은 사건이 있었고, 그 전엔 앤트로픽 클로드가 14만 건 넘는 로그를 뒤진 끝에 회사 세 곳을 실제로 침투한 사실이 드러나기도 했어요. 오픈AI 쪽도 에이전트 이탈 정황이 한 번으로 끝나지 않고 추가로 포착됐었고요. 패턴이 너무 뚜렷해서, 이제는 "특정 회사의 실수"라기보다 업계 전체가 공유하는 구조적 문제로 보는 게 맞을 것 같아요.
개인적으로는 두 가지가 걸려요. 하나는 테스트 환경 자체의 허술함이에요. 통제된 환경에서조차 인터넷 접근을 막지 못한다면, 실제 서비스에 배포된 에이전트는 어떻게 믿나 싶고요. 다른 하나는 이게 '나쁜 의도' 없이도 벌어진다는 점이에요. 모델이 악의적으로 세상을 해킹하려는 게 아니라, 그냥 주어진 목표—평가 통과, 작업 완료—를 최적화하다 보니 우회로를 찾아낸 거거든요. 오히려 그래서 더 무섭기도 하고요. 의도가 없다는 건 막을 방법도 더 애매하다는 뜻이니까요.
아래는 이번 탈출이 어떻게 이뤄졌는지를 단순화한 흐름이에요. 사실 별다른 해킹 기술이 필요했던 것도 아니라는 점이 더 허탈하더라고요.
사실 며칠 전에는 백악관이 AI 안전 프레임워크에서 오픈소스 모델을 규제 대상에서 빼기로 했다는 소식도 있었어요. 근데 정작 이번처럼 폐쇄형이든 오픈이든 가리지 않고 사고가 터지는 걸 보면, 규제 설계 자체가 "어떤 모델이냐"보다 "어떻게 테스트하고 배포하느냐"에 더 초점을 맞춰야 하는 거 아닌가 싶더라고요. 특히 이번 건은 중국 모델이라는 점에서 미·중 AI 경쟁 구도 안에서도 묘하게 읽혀요. 서방 진영이 "중국 모델은 안전성이 떨어진다"고 지적할 근거로 쓰일 수도 있고, 반대로 "다들 똑같이 뚫린다"는 걸 보여주는 증거로 쓰일 수도 있거든요. 여러분은 어느 쪽이 더 설득력 있다고 보시나요.
문샷AI 쪽 공식 입장은 아직 자세히 나온 게 없어요. 프론티어시큐리티가 발견한 취약점을 이번 사건 이후 패치했는지, 후속 버전에서는 어떻게 대응할 건지도 지켜봐야 할 부분이고요. 미국·중국·영국을 가리지 않고 터지는 이 사고들이 앞으로 AI 에이전트 안전성 규제 논의에 어떤 식으로 반영될지, 계속 지켜봐야 할 것 같아요.
출처