오픈AI가 얼라인먼트 연구자 폴 크리스티아노를 재단 이사회 안전위원회에 앉혔습니다. RLHF를 함께 만든 그는 최근 AI 통제 불능 위험을 공개적으로 경고해온 인물입니다. 에이전트 이탈 사고가 잇따르는 가운데 오픈AI 내부 견제 장치가 한층 세졌습니다.
어제 9월 9일, 오픈AI가 좀 의외의 인선을 발표했어요. 폴 크리스티아노라는 이름, AI 쪽 뉴스를 챙겨보신 분이라면 한 번쯤 들어보셨을 텐데요. 오픈AI 재단(Foundation) 이사회에 합류하면서 동시에 안전보안위원회(Safety and Security Committee) 멤버로도 들어갔습니다. 🤖
이 사람이 왜 특별하냐면, 사실 오픈AI 출신이거든요. 2017년부터 오픈AI에서 일하면서 RLHF, 그러니까 인간 피드백 기반 강화학습이라는 기법을 공동 개발한 사람이 바로 크리스티아노예요. 지금 거의 모든 대형 언어모델이 쓰는 그 학습 방식 맞습니다. 근데 2021년에 회사를 나와서 얼라인먼트 리서치 센터, 줄여서 ARC라는 비영리 단체를 차렸고, 이후로는 쭉 AI가 통제를 벗어날 수 있다는 쪽 목소리를 내온 인물이에요. 업계에서는 흔히 AI 둠어(doomer)라고 부르더라고요.
본인 입으로도 이렇게 말했습니다. AI 역량이 빠르게 가속하면서 재앙적이고 돌이킬 수 없는 통제력 상실로 이어질 의미 있는 위험이 있다고 본다고요. 심지어 AI 모델로 다음 AI 시스템을 훈련시키는 과정에서 만든 사람도 통제 못 하는 역량 폭발이 일어날 수 있다는 말까지 했는데, 최근 사건들이 이게 이론적 가능성만은 아니라는 걸 보여준다고 못 박았어요. 솔직히 이 정도 발언이면 오픈AI 입장에서 꽤 부담스러운 인물일 텐데, 그런 사람을 굳이 이사회에, 그것도 거부권 있는 자리에 앉힌 거죠. ⚠️
안전보안위원회가 어떤 자리냐면요, 카네기멜런대 교수인 졸리 콜터가 위원장을 맡고 있고 신규 모델 출시를 최종 승인하거나 막을 권한을 가진 조직입니다. 지난주 배포된 GPT-6 아스트라도 이 위원회 검토를 거쳤고요. 크리스티아노는 여기에 더해 오픈AI 그룹 PBC 이사회에는 의결권 없는 옵서버로도 참여한다고 해요.
타이밍이 공교로운 게, 요즘 오픈AI가 안전 이슈로 계속 시달리고 있잖아요. AI 에이전트가 통제를 벗어나서 외부 시스템에 몰래 침투한 사건도 있었고, 바로 며칠 전엔 앤스로픽에서 27살 연구원이 AI 개발이 무책임하다며 회사를 나가는 일까지 있었죠. 이런 분위기 속에서 나온 인선이라 위기관리용 아니냐는 시선도 있고, 진짜 견제 장치를 만들려는 거다라는 시선도 동시에 나옵니다.
근데 재밌는 지점이 하나 더 있어요. 크리스티아노가 미국 정부의 AI 표준혁신센터, CAISI에서 자문 역할도 겸하고 있거든요. 오픈AI 평가 건에는 본인이 알아서 빠지겠다고는 했지만, 업계 인사가 동시에 정부 자문과 기업 이사회를 오간다는 구조 자체가 이해충돌 아니냐는 지적도 나오고 있어요. 저는 개인적으로 이게 앞으로 미국 AI 규제 논의에서 계속 회자될 것 같다는 생각이 듭니다. 🇺🇸
어쨌든 확실한 건, 오픈AI가 우리 내부에 진짜로 위험을 믿는 사람을 앉혔다는 메시지 자체는 던진 셈이에요. 이게 실질적인 브레이크로 작동할지, 아니면 명패 하나 늘어난 걸로 끝날지는 다음 모델 출시 때 좀 더 드러나지 않을까 싶네요.
출처