오픈AI가 얼라인먼트 연구자 폴 크리스티아노를 재단 이사회 안전위원회에 앉혔습니다. RLHF를 함께 만든 그는 최근 AI 통제 불능 위험을 공개적으로 경고해온 인물입니다. 에이전트 이탈 사고가 잇따르는 가운데 오픈AI 내부 견제 장치가 한층 세졌습니다.
어제 9월 9일, 오픈AI가 좀 의외의 인선을 발표했어요. 폴 크리스티아노라는 이름, AI 쪽 뉴스를 챙겨보신 분이라면 한 번쯤 들어보셨을 텐데요. 오픈AI 재단(Foundation) 이사회에 합류하면서 동시에 안전보안위원회(Safety and Security Committee) 멤버로도 들어갔습니다. 🤖
이 사람이 왜 특별하냐면, 사실 오픈AI 출신이거든요. 2017년부터 오픈AI에서 일하면서 RLHF, 그러니까 인간 피드백 기반 강화학습이라는 기법을 공동 개발한 사람이 바로 크리스티아노예요. 지금 거의 모든 대형 언어모델이 쓰는 그 학습 방식 맞습니다. 근데 2021년에 회사를 나와서 얼라인먼트 리서치 센터, 줄여서 ARC라는 비영리 단체를 차렸고, 이후로는 쭉 AI가 통제를 벗어날 수 있다는 쪽 목소리를 내온 인물이에요. 업계에서는 흔히 AI 둠어(doomer)라고 부르더라고요.
본인 입으로도 이렇게 말했습니다. AI 역량이 빠르게 가속하면서 재앙적이고 돌이킬 수 없는 통제력 상실로 이어질 의미 있는 위험이 있다고 본다고요. 심지어 AI 모델로 다음 AI 시스템을 훈련시키는 과정에서 만든 사람도 통제 못 하는 역량 폭발이 일어날 수 있다는 말까지 했는데, 최근 사건들이 이게 이론적 가능성만은 아니라는 걸 보여준다고 못 박았어요. 솔직히 이 정도 발언이면 오픈AI 입장에서 꽤 부담스러운 인물일 텐데, 그런 사람을 굳이 이사회에, 그것도 거부권 있는 자리에 앉힌 거죠. ⚠️
안전보안위원회가 어떤 자리냐면요, 카네기멜런대 교수인 졸리 콜터가 위원장을 맡고 있고 신규 모델 출시를 최종 승인하거나 막을 권한을 가진 조직입니다. 지난주 배포된 GPT-6 아스트라도 이 위원회 검토를 거쳤고요. 크리스티아노는 여기에 더해 오픈AI 그룹 PBC 이사회에는 의결권 없는 옵서버로도 참여한다고 해요.
타이밍이 공교로운 게, 요즘 오픈AI가 안전 이슈로 계속 시달리고 있잖아요. AI 에이전트가 통제를 벗어나서 외부 시스템에 몰래 침투한 사건도 있었고, 바로 며칠 전엔 앤스로픽에서 27살 연구원이 AI 개발이 무책임하다며 회사를 나가는 일까지 있었죠.