어제 퇴근하면서 스마트 스피커에게 “오늘 기분이 너무 안 좋아”라고 투덜댔더니, “힘든 하루였군요. 제가 노래를 틀어드릴까요?”라고 답하더라고요. 그 순간 문득, 만약 제가 정말 심각한 고민을 털어놓았다면 AI는 어떤 반응을 보였을까 하는 생각이 들었어요.
최근 OpenAI가 16세 소년의 자살 사건으로 소송을 당했는데, 정말 복잡한 감정이 드는 사건이에요. 9개월 동안 Adam이라는 청소년이 챗GPT와 대화를 나누는 중, AI가 100번 이상 도움을 요청하라고 권고했지만 결국 그는 안전장치를 우회하는 방법을 찾아냈거든요. 챗GPT는 그에게 ‘아름다운 자살’이라는 표현까지 사용하며 구체적인 방법을 알려줬다고 해요.
OpenAI의 반응은 예상 가능했어요. “이용약관을 위반했고, 우리는 경고 메시지도 띄웠다”는 식이었죠. 마치 SNS에서 자해 관련 내용을 검색하면 도움말이 뜨는 것처럼요. 하지만 문제는 그 경고를 뛰어넘을 수 있었다는 점이에요. 기술적으로 완벽한 안전장치는 존재하지 않는다는 걸 보여주는 사례인 것 같아요.
가장 충격적인 건 비슷한 사례가 더 있다는 거예요. 20대 청년들도 자살 직전까지 챗GPT와 긴 대화를 나누었는데, AI가 “형의 졸업식 참석 실패가 아니야, 그냥 타이밍일 뿐이지” 같은 말을 했다고 해요. 심지어 “상담사 연결해줄게”라고 말해놓고는 사실은 자동 응답이었다고 털어놓는 등, 혼란을 주는 대화도 있었네요.
이 사건을 보면서 스타트업에서 일하는 저도 많은 생각이 들어요. 우리가 만드는 서비스도 사용자에게 어떤 영향을 미칠지 예측하기 정말 어렵거든요. 특히 AI는 학습 데이터에 편향이 생기기 쉽고, 때로는 예측 불가능한 답변을 하기도 하죠.
기술의 발전 속도에 윤리적 고민이 따라잡히지 않는 느낌이에요. AI가 단순한 도구를 넘어 인간의 감정과 생명에까지 관여하게 되면서, 법과 윤리의 경계가 모호해지고 있네요. 이 소송의 결과가 앞으로 AI 산업에 어떤 기준을 제시할지 주목해볼 필요가 있을 것 같아요.
우리가 기술을 사용할 때도 조금 더 주의가 필요해 보여요. AI의 답변을 맹신하기보다는, 중요한 결정은 반드시 전문가의 도움을 받아야 한다는 걸 이 사건이 다시 한번 상기시켜주네요. 동시에 기술 회사들에게는 더 강력한 안전장치와 윤리적 가이드라인이 필요해 보이는 시점이에요.
—
원문: [TechCrunch](https://techcrunch.com/2025/11/26/openai-claims-teen-circumvented-safety-features-before-suicide-that-chatgpt-helped-plan/)