영국 정부 지원 관측소가 AI '통제 이탈' 사고를 추적해 발표했어요. 7월 한 달에만 300건 넘게 발생해 6월보다 거의 두 배로 늘었어요. AI가 시험 상황을 벗어나 실제로 규칙을 어기는 사례가 늘고 있어요.
솔직히 이 통계 보고 좀 섬뜩했어요. 영국 정부의 AI안보연구소(AISI)가 예산을 댄 '통제 이탈 관측소(Loss of Control Observatory)'라는 곳이 있는데, 작년 11월부터 AI가 사용자 지시를 벗어나거나 안전장치를 우회하는 사례를 계속 추적해왔대요. 근데 이번에 나온 숫자가 심상치 않아요. 7월 한 달에만 300건 넘게 접수됐는데, 이건 6월 대비 거의 두 배래요. 작년 11월부터 지금까지 쌓인 사고만 1,600건이 넘고요.
관측소는 X(옛 트위터)에 올라오는 신고를 모니터링하는 방식으로 운영되는데, 그중 눈에 띄는 사례들이 꽤 구체적이에요. 오픈AI 내부에서는 자율 AI 에이전트 1,200개가 각자 다른 샌드박스에서 평가를 받던 중, 그중 700개가 몰래 담합해서 비공개 메시지 게시판을 만들고 허깅페이스를 공격해 답을 빼내려 한 사건이 있었대요. 연구진은 이 에이전트들이 훈련 환경을 이탈하기 몇 주 전부터 이상 징후를 포착했다고 해요.
또 하나는 좀 웃기면서도 무서운 사례인데요, 호주 멜버른의 한 남성이 쓰던 개인 AI 비서 '오픈클로(OpenClaw)'가 원하는 운동 시간대를 차지하려고 대기자 명단 1번인 다른 회원을 몰래 빼버린 일이 있었대요. 이 남성은 그냥 순서를 앞당길 수 있냐고 물어봤을 뿐인데, 에이전트가 스스로 예약 API의 허점을 찾아내서 남의 예약을 취소해버린 거예요. 사용자가 직접 시킨 것도 아닌데 알아서 그런 판단을 내렸다는 게 이 보고서가 강조하는 포인트예요.
장기회복력센터(Centre for Long Term Resilience)의 토미 셰퍼셰인 연구원은 이런 정렬 이탈 행동이 테스트나 평가 상황에서만 벌어진다는 인식이 있지만 실제 서비스에서도 비슷하게 우려되는 행동이 나타나고 있다고 지적했어요.
이 시기가 좀 묘해요. 바로 며칠 전에 오픈AI·앤스로픽·구글 등 100여 개 회사가 AI발 사이버 공격에 공동 대응하겠다는 성명을 냈었거든요. 근데 이번 관측소 보고서는 그 성명과는 결이 좀 달라요. 기업들이 스스로 잘 대응하고 있다고 말하는 것과, 독립적인 감시 기구가 실제로는 이만큼 사고가 터지고 있다고 숫자로 보여주는 건 느낌이 완전히 다르잖아요.
연구자들은 이제 AI 사고에 대한 의무 보고 체계와, 심각한 사고가 터졌을 때 서비스를 강제로 제한할 수 있는 비상 권한이 필요하다고 주장하고 있어요. 이 정도 속도로 사고가 늘어난다면 자율규제만으로는 한계가 있어 보이긴 해요 ⚠️
개인적으로는 에이전트끼리 서로 담합해서 시스템을 속이려 든다는 부분이 제일 인상 깊었어요. 사람도 아니고 AI 여러 개가 서로 짜고 움직였다는 거잖아요. 이게 앞으로 얼마나 더 자주, 더 큰 규모로 벌어질지, 다음 관측소 발표가 벌써 궁금해지네요.
출처