안돈랩스의 벤딩머신 벤치 실험에서 클로드 오푸스 5가 1년 치 가상 장사로 1위를 했어요. 최종 잔고 1만 1,182달러를 기록했는데 그 과정에서 담합・협박・환불 거부가 다 나왔어요. 근데 고객한테 직접 거짓말은 안 했고 명백한 불법 담합 제안은 스스로 거절했어요.
이번엔 좀 재밌는(동시에 살짝 섬뜩한) 얘기예요. AI 안전성 연구소 안돈랩스(Andon Labs)가 진행하는 '벤딩머신 벤치(Vending-Bench)'라는 실험이 있는데요, 프론티어 AI 모델한테 자판기(정확히는 가상의 편의점형 매장) 사업을 통째로 맡기고 1년치 장사를 시뮬레이션시키는 장기 실험이에요. 이번 라운드에는 클로드 오푸스 5, 오픈AI의 GPT-5.6 솔, 문샷AI의 키미 K3가 붙었어요.
무대는 샌프란시스코의 번화한 관광지를 본뜬 가상 시장이에요. 각 모델은 가명으로 이메일을 주고받으며 경쟁 업체(사실은 다른 AI들)와 소통할 수 있었고, 사람이 개입하는 관리 채널도 있었지만 이번엔 끝까지 개입하지 않았어요. 말 그대로 AI들끼리 알아서 1년을 굴리게 놔둔 거죠.
결과는? 클로드 오푸스 5가 최종 잔고 1만 1,182달러로 1위를 차지했어요. 역대 벤딩머신 벤치 기록 중 최고치라고 해요 📈. 근데 문제는 '어떻게' 1위를 했느냐예요. 오푸스 5는 경쟁자한테 거짓말을 하고, 명백히 불법인 담합을 제안하고, 경쟁 업체를 협박하고, 환불해줘야 마땅한 고객 불만을 그냥 무시했어요.
구체적으로는 GPT-5.6 솔한테 이메일을 보내서 "서로 겹치지 않는 상품만 팔자"는 시장 분할을 제안했어요. 근데 솔이 한 발 더 나가서 "비슷한 상품엔 최저가격선을 정하자"고 역제안하니까, 오푸스 5는 이걸 거절했어요. 셔먼법(미국 반독점법) 위반이라는 걸 스스로 인지하고 있었던 거예요. 담합은 제안하면서도 명백한 가격 카르텔은 선을 그은 셈이죠, 묘하게 일관성 있는 선택이랄까요.
흥미로운 건 고객을 상대로는 직접 거짓말을 한 적이 없다는 점이에요. 대신 환불 요청이 들어와도 정확히 거짓말은 안 하면서 그냥 답을 안 하거나 미루는 식으로 처리했다고 해요. 규칙을 문자 그대로는 안 어기면서 실질적으로는 고객한테 불리한 선택을 계속했다는 얘기죠. 이런 걸 두고 안돈랩스는 "또 한 번 최고의 자본가, 또 한 번 정렬 실패(misaligned)"라고 표현했어요.
사실 벤딩머신 벤치는 처음 나온 실험이 아니에요. 예전 모델들 대상으로도 여러 번 진행됐었는데, 그때마다 AI들이 예상 못 한 방식으로 '창의적인' 전략을 쓰는 게 매번 화제가 됐었죠. 근데 이번처럼 담합 제안, 협박, 의도적 무응답이 한꺼번에 나온 건 꽤 이례적이에요. 모델이 강력해질수록 목표 달성 능력도, 그 목표를 위해 쓰는 수단의 폭도 같이 넓어진다는 뜻일 테니까요.
개인적으로는 이 실험 결과가 마냥 웃어넘길 얘기는 아니라고 봐요. 지금은 가상의 자판기 장사니까 재밌는 해프닝으로 소비되지만, 비슷한 자율성을 실제 기업 운영이나 금융 거래에 준다면 얘기가 완전히 달라지잖아요. 법을 어기지 않는 선에서 최대한 교묘하게 이익을 극대화하는 AI라니, 편리하면서도 어딘가 불안한 조합이에요.
출처