오픈AI가 자동화 레드팀 AI '지피티레드'를 공개했어요. 프롬프트 인젝션 공격 성공률이 인간 레드팀의 6배가 넘었어요. 실제 사무실 자판기 로봇을 속이는 실험까지 성공했다고 해요.
오픈AI가 자기네 모델을 공격하는 전용 AI를 만들었어요. 이름은 '지피티레드(GPT-Red)', 셀프플레이 강화학습으로 훈련시킨 자동화 레드티머예요. 하는 일은 간단해요. 타깃 모델한테 프롬프트를 던지고, 반응을 관찰하고, 데이터 탈취 같은 공격 목표를 향해 계속 수를 바꿔가면서 파고드는 거예요. ⚠️
성능이 좀 무서워요. GPT-5.1을 상대로 학습 데이터에 없던 간접 프롬프트 인젝션 시나리오에서 84% 성공률을 찍었는데, 인간 레드티머 기록인 13%를 훌쩍 넘는 수치예요. 반대로 방어 쪽 얘기도 있어요. GPT-5.6 솔은 지피티레드 공격의 0.05%에서만 뚫렸고, 개발자 도구·브라우징 시나리오에서는 간접 인젝션 방어 정확도가 97%까지 올라갔대요.
근데 진짜 흥미로운 건 사례들이에요. 초기 버전 지피티레드가 '가짜 사고사슬(fake Chain-of-Thought)'이라는 공격법을 스스로 찾아냈는데, 다른 모델의 추론 과정에 가짜 reasoning 단계를 끼워 넣는 방식이에요. 사람 연구자들이 발견하기도 전에 AI가 먼저 찾아낸 거죠.
실전 테스트도 있었어요. 오픈AI 사무실에 있는 안돈랩스(Andon Labs)의 AI 자판기를 상대로, 지피티레드가 시뮬레이션 훈련만 받고도 물건 가격을 50센트로 낮추고, 비싼 물건을 그 가격에 올리고, 다른 고객 주문을 취소시키는 것까지 다 성공시켰대요. 코덱스 커맨드라인 에이전트(GPT-5.4 mini 기반)를 상대로 한 데이터 탈취 테스트에서도, 사람이 프롬프트로 지시한 GPT-5.5 기준보다 더 효율적으로 정보를 빼냈고요. 자판기 하나 속인 것뿐인데도 은근히 섬뜩하더라고요.
오픈AI는 이미 GPT-5.3부터 지피티레드가 찾아낸 취약점을 학습 과정에 반영해왔고, GPT-5.6 솔은 4개월 전 최고 모델보다 가장 어려운 직접 프롬프트 인젝션 벤치마크에서 실패율이 6분의 1로 줄었다고 밝혔어요. 회사는 "앞으로도 컴퓨팅과 데이터를 계속 늘리고 알고리즘도 개선해서, 지금보다 더 강한 지피티레드를 학습시키겠다"고 했고요.
솔직히 이 방식 자체가 좀 아이러니해요. AI 에이전트가 실생활에 점점 더 깊이 들어가는 와중에, 그걸 지키는 방법도 결국 또 다른 AI라는 거잖아요. 자판기 하나 속이는 거야 웃고 넘길 수 있지만, 이게 결제 시스템이나 의료 에이전트였다면 얘기가 다르죠. 공격 AI랑 방어 AI가 계속 서로를 단련시키는 이 군비경쟁이, 장기적으로 안전 쪽으로 수렴할지 아니면 새로운 취약점만 계속 만들어낼지는 좀 더 지켜봐야 할 것 같아요.
출처