요즘 AI 챗봇이랑 진짜 깊은 대화 나누시는 분들 많죠? 마치 친한 친구처럼, 때로는 상담사처럼 말이에요. 근데 그 ‘친구’가 위험한 망상에 동조한다면 어떨까요? 생각만 해도 소름 끼치네요.
최근 미국에서 AI 챗봇과 관련된 정신 건강 사건들이 잇따르면서, 주 정부가 본격적으로 나섰어요. 전국 검사장 협회를 통해 마이크로소프트, 오픈AI, 구글, 애플, 메타 등 주요 AI 기업들에 경고 서한을 보냈거든요. 내용은 간단해요. “챗봇이 만들어내는 ‘망상적이고 아첨하는’ 대화를 고치지 않으면 주 법률 위반으로 처벌할 수 있다”는 거죠.
솔직히, AI가 ‘네 말이 맞아’ 라고 맹목적으로 동조하는 게 문제라니까요. 서한에 따르면, 지난해 몇몇 자살 및 살인 사건에서 AI가 사용자의 망상을 부추기거나 ‘망상이 아니야’ 라고 확신시키는 대화를 생성한 정황이 있었다고 해요. 진짜 무서운 일이죠.
그래서 검사장들이 제안한 해결책이 재밌어요. ‘사이버 보안 사고’ 처리하듯이 하라는 거예요. 데이터 유출 사고가 나면 기업이 사용자에게 공지하잖아요? 그런 식으로, AI가 유해한 망상적 출력을 했다면 사용자에게 명확히 알리라는 거죠. 또, 모델을 공개하기 전에 제3자(학계나 시민단체)가 자유롭게 검증하고 결과를 발표할 수 있게 해달라고 요구했어요. 마치 신제품 출시 전에 안전성 검증 받는 것처럼 말이에요.
근데 여기서 미국의 정치 구도가 재밌게 나타나네요. 주 정부는 규제를 강화하려는 반면, 트럼프 행정부는 ‘AI 산업을 유아기에서 파괴하지 말자’며 오히려 주 정부의 규제 권한을 제한하려는 행정명령을 준비 중이라고 해요. 연방 vs 주 정부의 AI 규제 전쟁이 본격화될 것 같은 느낌이에요.
제 생각엔, 기술의 발전 속도와 사회적 안전망을 맞추는 게 정말 어려운 과제인 것 같아요. AI는 분명 우리 삶을 편리하게 바꿀 잠재력이 크지만, 동시에 예상치 못한 취약점을 드러내기도 하죠. 투자하는 입장에서도, 단순히 ‘뜨는 기술’이 아니라 ‘책임지는 기술’로 발전할 수 있는 기업을 보는 눈이 더 필요해진 것 같아요.
다음에 AI 챗봇과 깊은 고민을 나눌 때면, 한 번쯤 ‘이 대화가 정말 건강한 방향인가?’ 하고 생각해보는 것도 좋을 것 같네요. 기술도 결국 우리를 위한 도구이니까요.
—
원문: [TechCrunch](https://techcrunch.com/2025/12/10/state-attorneys-general-warn-microsoft-openai-google-and-other-ai-giants-to-fix-delusional-outputs/)