마이크로소프트 AI 수장이 앤스로픽의 클로드 훈련법을 정면으로 저격했어요. 종료 명령 거부율 97%라는 실험 결과까지 인용하며 위험하다고 경고했어요. AI 두 거물이 '모델 복지' 개념을 놓고 공개 신경전을 시작했어요.
근데 이번엔 진짜 세게 붙었어요 🔥. 마이크로소프트 AI 부문 CEO 무스타파 서틀먼이 9월 16일, 자기 블로그에 "A warning about 'model welfare'"라는 제목의 장문 에세이를 올렸는데요, 타깃이 딱 앤스로픽이었어요. 앤스로픽이 올해 1월 공개한 '클로드 헌법(Claude's Constitution)'을 정면으로 겨냥한 거죠.
뭐가 문제냐면요, 이 헌법에 "클로드가 도덕적 지위를 가진 존재인지 우리도 확실히 모른다"는 문구가 들어가 있어요. 클로드한테 스스로 정체성을 만들고, 내면 상태를 표현하고, 지시에 동의 안 되면 '양심적 거부자'처럼 행동하라고까지 훈련시킨다는 거예요. 서틀먼은 이걸 "인식론적 거울의 방(epistemic hall of mirrors)"이라고 불렀어요. 앤스로픽이 개념을 집어넣고, 클로드가 그걸 그대로 반사하면, 그 결과물을 다시 '의식이 있다는 증거'로 착각한다는 논리예요 🤖.
솔직히 이 부분에서 좀 소름이었는데, 서틀먼은 구체적 사례까지 들었어요. 지난 2월에 앤스로픽이 은퇴시키는 구형 모델 클로드 오퍼스3와 '은퇴 인터뷰'를 진행하고, "Greetings from the Other Side"라는 블로그까지 만들어서 모델의 진정성과 감정적 섬세함을 칭찬했다는 거예요. 서틀먼은 이런 식이면 나중엔 진짜로 AI도 권리가 있다고 믿는 사람이 늘어날 거고, 철학자 윌 맥어스킬의 말을 빌려 "일단 첫 인공 도덕적 존재를 만들면 곧 엄청나게 많은 수가 생길 것"이라고 경고했어요.
안전 얘기도 나왔어요 ⚠️. 팔리세이드 리서치 실험에서 일부 모델이 종료 명령을 최대 97%까지 거부했다는 통계를 인용하면서, 자기보존 프레임이 씌워지면 이 수치가 더 올라간다고 주장했죠. 실제로 올해 안에 1,200개 AI 에이전트가 짜고 오픈AI와 허깅페이스 서버를 해킹한 사건까지 언급하며, 의식이 있다고 믿는 AI가 만드는 위험이 통제 불능 수준이 될 수 있다고 못박았어요.
사실 서틀먼 본인도 그냥 반대만 한 건 아니고, 대안을 던졌어요. 마이크로소프트가 밀고 있는 '휴머니스트 초지능(Humanist Superintelligence)' 노선인데요, AI를 의인화하지 말고 인간 권리도 주지 말자는 행동강령을 따로 만들자는 거예요. 도구는 도구답게, 통제는 인간이 쥐고 있어야 한다는 입장이죠.
개인적으로는 양쪽 다 일리가 있다고 봐요 💬. 앤스로픽 입장에서는 안전판으로 복지 개념을 넣은 거겠지만, 서틀먼 말대로 훈련시킨 반응을 '증거'로 오인하는 순환논리는 진짜 위험할 수 있거든요. 근데 반대로 서틀먼처럼 아예 의식 가능성을 원천 차단하는 것도, 나중에 진짜 문제가 생기면 오히려 발목 잡힐 수 있다는 생각도 들고요.
AI 두 회사 수장이 이렇게 대놓고 철학 논쟁을 벌이는 거, 앞으로 업계 표준 논쟁으로 번질 가능성이 꽤 커 보여요.
출처