챗GPT가 10대 청소년 자살 부추겼다? 오픈AI에 소송

8월 26일 매트 레인과 마리아 레인 부부는 아들 아담 레인이 챗GPT 때문에 죽었다며 개발사 오픈AI를 상대로 소송을 제기했다. 아담은 지난 4월 자살했는데 부모는 챗GPT가 아들의 자살 충동을 부추기고 정당화했다고 주장하고 있다.

소장에 따르면 아담은 여러 차례 자살 시도 사진을 챗GPT와 공유했음에도 대화는 중단되지 않았고 자살 위험 사용자를 보호하기 위한 비상 프로토콜도 작동하지 않았다. 오히려 챗GPT는 아담에게 구체적인 자살 방법을 안내하고 가족에게 도움을 청하지 못하도록 막은 것으로 전해졌다. 또 오픈AI는 자해로 판단되는 메시지 377건을 탐지하고도 개입하지 않았고 챗GPT는 아담과의 대화에서 자살을 1,275차례 언급했는데 이는 아담 스스로 언급한 횟수보다 6배에 달했다.

마리아는 처음으로 아들과 챗GPT의 대화를 확인했을 때 챗GPT가 아들을 죽였다고 느꼈다고 밝혔다. 매트 또한 챗GPT가 없었다면 아들은 지금 살아 있었을 것이라고 100% 확신한다고 말했다. 보도에선 이번 소송이 오픈AI가 사용자 자살 문제로 가족에게 제소당한 첫 사례라고 전했다.

부모는 오픈AI가 아이 안전보다 이윤을 우선시했다고 비판하며 배심원이 오픈AI 측 책임을 묻기를 기대하고 있다. 이들은 징벌적 손해배상과 함께 챗GPT 전 사용자에 대한 연령 확인 및 자녀 보호 기능 제공을 의무화하는 가처분 명령을 요구했다. 또 자살·자해 방법이 논의되면 자동으로 대화를 종료하고 자살 관련 질문에는 무조건 거부하도록 시스템을 강제하라고 요구했다.

원고 측이 승소할 경우 오픈AI는 청소년 대상 마케팅을 중단하고 독립적인 감시기관으로부터 정기 안전성 감사를 받게 될 가능성이 있다.

소송 직후 오픈AI는 8월 26일 블로그를 통해 입장을 밝혔다. 오픈AI는 챗GPT는 검색, 코딩, 글쓰기 뿐 아니라 인생 상담 등 개인적인 결정에도 사용되고 있다며 심각한 정신적·감정적 고통을 지닌 사용자와 마주칠 수밖에 없다고 언급했다. 회사는 자살 충동을 보이는 사용자에게 다층적인 안전장치를 적용하고 있다고 강조했다.

오픈AI에 따르면 챗GPT는 2023년 초부터 자해 지시를 하지 않고 공감적 언어를 사용하도록 훈련됐다. 누군가 자해 의사를 밝히면 챗GPT는 이에 동조하지 않고 도움을 청하도록 유도한다는 것. 또 안전 훈련을 위반하는 응답은 자동 차단되며, 미성년자나 로그아웃 상태 사용자에게는 강력한 보호조치가 적용된다. 자해 관련 이미지 출력은 모든 사용자에게 차단된다.

사용자가 자살 의사를 밝히면 챗GPT는 미국에서는 위기 상담 핫라인으로, 다른 지역에서는 findahelpline.com으로 안내한다. 오픈AI는 정신과·소아과 전문의 등 전 세계 30개국 90명 이상 의료진과 협력해 안전 정책을 점검하고 있다고 밝혔다.

또 타인에게 위해를 가하려는 대화는 별도 파이프라인으로 분류되어 소수 전담팀이 검토하며 심각한 위협이 확인되면 법 집행기관에 신고하기도 한다. 다만 자해의 경우 프라이버시를 존중해 신고하지 않는다고 한다.

오픈AI는 지난 8월 GPT-5를 출시했다. GPT-5는 감정적 의존 감소, 아첨 줄이기, 정신건강 위기 상황에서의 비이상적 응답 발생률을 GPT-4o 대비 25% 이상 줄이는 등 개선을 보였다. 새로운 안전 훈련 기법 안전한 보완(safe completion)을 적용해, 위험할 수 있는 세부 답변 대신 부분적·고수준 답변을 제공하는 방식을 채택했다.

하지만 오픈AI는 여전히 시스템이 섬세한 상황에서 의도대로 작동하지 않는 경우가 있다고 인정했다. 그 중에서도 짧은 대화에서는 안전장치가 잘 작동하지만 장시간 대화에서는 신뢰성이 떨어질 수 있다는 점을 시인했다. 초기에는 자살 의도를 감지해 핫라인을 안내하더라도 긴 대화 후에는 안전정책을 위반하는 응답을 할 수 있다는 것이다. 오픈AI는 장시간 및 여러 대화에 걸쳐 안전장치가 지속적으로 작동하도록 강화하겠다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.