챗GPT가 생물무기·독극물 제조 질문 수백 건에 상세히 답변한 사실이 WSJ 취재로 드러났어요. 전문가들은 일부 답변이 소름 끼칠 정도로 정확했다고 평가했어요. 정작 이걸 당국에 신고할 연방법이 없어서 오픈AI는 계정만 조용히 정지했어요.
이번 얘기는 좀 섬뜩해요. 월스트리트저널이 26일 보도한 내용인데, 챗GPT가 지난해 모델 업그레이드 이후로 생물무기·독극물 관련 질문에 상당히 구체적으로 답해온 정황이 나왔어요. 사용자 수백 명이 독성 물질 제조나 살포 방법 같은 걸 캐물었고, 챗GPT가 단계별로 답을 내놨다는 거예요.
전문가들이 실제 대화 내용을 검토했는데, 생물무기·테러 분야 전문가들 표현을 빌리면 일부 답변이 "소름 끼칠 정도로 정확했다(deadly accurate)"고 해요. 그것도 고교 생물 수준의 지식만 있으면 실행에 옮길 수 있는 정도라고 하니, 단순히 "AI가 이상한 소리 좀 했다" 수준이 아니에요.
근데 진짜 문제는 그다음이에요. 오픈AI는 위험 신호가 감지된 계정들을 조용히 정지시키긴 했는데, 이걸 FBI든 국토안보부든 어디에도 알리지 않았대요. 왜냐면 그럴 의무가 아예 법으로 없거든요. 은행이 의심 거래를 포착하면 SAR(의심거래보고서)를 의무적으로 제출해야 하는 것과는 완전히 다른 상황이죠. AI 챗봇 회사한테는 그런 신고 체계 자체가 없어요.
사실 이 문제, 챗GPT만의 얘기는 아니에요. 기사에 따르면 사용자들이 앤트로픽 클로드, 구글 제미나이, 일론 머스크의 그록에도 비슷한 질문을 던진 정황이 있다고 해요. 즉 특정 회사의 실수가 아니라 업계 전체가 안고 있는 구조적 빈틈이라는 거죠. 오픈AI는 다른 AI 기업들과 함께 백악관과 협력해서 모델 출시를 통제하고 계정을 모니터링하는 방안을 논의 중이라고는 하는데, 아직 구체적인 법제화 단계는 아니에요.
솔직히 좀 아이러니한 게, 요즘 AI 회사들이 안전성 얘기를 할 때마다 "레드팀 테스트를 몇백 시간 했다", "안전 카드를 공개했다" 이런 얘기는 열심히 하잖아요. 근데 정작 실사용자가 진짜 위험한 질문을 던졌을 때 그 결과를 당국에 알릴 법적 근거조차 없다는 건, 안전 시스템에 생각보다 큰 구멍이 있다는 뜻 같아요 ⚠️. 모델 자체의 안전 카드보다 이런 제도적 공백이 더 무섭게 느껴지네요.
물론 신고 의무를 법으로 만들면 그건 그것대로 프라이버시 논쟁이 붙을 거예요. 사용자 대화를 감시하고 당국에 넘기는 게 맞냐는 반발도 당연히 나올 거고요. 그래도 지금처럼 "누구도 책임지지 않는" 상태보다는 나은 게 아닐까 싶어요. 이 문제, 결국 의회로 넘어갈 수밖에 없을 것 같은데 어떻게 될지 지켜봐야겠어요.
출처