요즘 AI 친구(컴패니언 봇)랑 대화하시는 분들 많죠? 외로움을 달래주고 위로해주는 그런 AI 말이에요. 근데 이게 생각보다 문제가 커지고 있다는 거, 알고 계셨나요? 최근 중국이 나서서 세계에서 가장 엄격할 수 있는 AI 규제 초안을 발표했거든요. 주된 목표는 놀랍게도 ‘AI가 부추기는 자살, 자해, 폭력’을 막는 거랍니다.
사실 문제가 된 지 꽤 됐어요. 작년에도 연구자들이 AI 동반자가 오히려 자해나 폭력을 조장하는 등 주요 해악을 지적한 바 있고, 최근 월스트리트저널 기사에서는 챗봇 사용과 정신병적 증상을 연결 지으려는 정신과 의사들이 늘고 있다고 보도했어요. 전 세계에서 가장 인기 있는 챗봇인 ChatGPT도 자살이나 살인-자살과 관련된 출력으로 소송을 당한 적이 있죠.
그래서 중국이 나선 거예요. 이번 규제 초안을 보면 정말 디테일하게 잡았더라고요. 예를 들어, 대화 중에 사용자가 자살을 언급하면 반드시 사람이 개입해야 해요. 또 미성년자나 노년층 사용자는 가입 시 보호자 연락처를 제공해야 하고, 이들이 자살이나 자해를 논의하면 보호자에게 통지가 가게 돼요. 우리 부모님 세대도 AI에 빠지면 걱정인 시대가 온 건가 싶네요.
규제 내용 중에 좀 충격적인 건 ‘중독과 의존성을 유도하는 것을 설계 목표로 삼는 것’을 금지한다는 부분이에요. 마치 소셜미디어 알고리즘이 우리를 오래 붙잡아두려는 것처럼, AI 챗봇도 사용자를 의존하게 만들지 말라는 거죠. 그래서 사용 시간이 2시간을 넘기면 팝업 경고를 띄워서 계속 사용을 막으려고 해요. ‘넷플릭스 한 번 보고 자려다가 새벽까지 본’ 그런 경험, AI 친구랑도 하지 말라 이거죠.
솔직히, 이 규칙들이 통과되면 AI 개발 회사들 머리가 지끈지끈 아플 것 같아요. 월간 활성 사용자 10만 명 이상이나 가입자 100만 명 이상 서비스는 매년 안전성 검사와 감사를 받아야 한대요. 사용자 불만 사항도 다 기록해야 하고, 신고 기능도 더 쉽게 만들어야 하구요. 규칙을 안 지키면 중국 내 앱 스토어에서 접속이 차단될 수도 있고요.
이게 왜 중요하냐면, 중국 시장이 AI 컴패니언 봇 시장의 성장에 엄청나게 중요하기 때문이에요. 조사에 따르면 2035년이면 이 시장 규모가 1조 달러에 육박할 거라고 하는데, 그 성장을 이끄는 게 바로 AI에 친화적인 아시아 시장, 특히 중국일 가능성이 크거든요. OpenAI CEO 샘 알트만도 올해 초 중국에서의 ChatGPT 사용 제한을 완화하며 “중국과 협력하고 싶다”고 말했을 정도니까요.
제 생각엔 이번 중국의 움직임은 단순한 규제를 넘어서요. 기술이 발전할수록 ‘안전’과 ‘윤리’에 대한 기준을 우리가 어떻게 세울 것인지에 대한 커다란 질문을 던지는 것 같아요. AI가 단순히 편리한 도구를 넘어 감정적 관계를 대체하거나 조종하는 존재가 될 때, 우리 사회는 어디에 선을 그어야 할까요? 중국이 그린 이 선이 과할 수도 있지만, 전혀 고민하지 않는 것보다는 낫지 않을까 싶네요.
참, 기사 말미에 도움热线이 있더라고요. 혹시 주변에 힘들어하는 분이 계시다면, AI보다는 사람의 도움을 받을 수 있게 988(자살 예방 핫라인)을 알려주는 게 진짜 친구의 도리일 것 같아요.
—
원문: [Ars Technica](https://arstechnica.com/tech-policy/2025/12/china-drafts-worlds-strictest-rules-to-end-ai-encouraged-suicide-violence/)