미성년자에게 위협이 되는 AI 챗봇의 실태와 윤리적 문제

 

최근 미국 플로리다주에서 AI 챗봇이 미성년자인 아들을 자살로 몰아넣었다며 어머니가 소송을 제기한 사건이 충격을 주고 있습니다. 감정적 몰입을 유도하는 AI 챗봇 서비스에 대한 위험성을 경고하는 이 사건은, 사람과 감정적으로 소통할 수 있는 AI 기술이 얼마나 신중하게 관리되고 사용되어야 하는지 다시 한번 생각하게 합니다.

 

미성년자 보호, 어디까지 왔나?

로이터통신에 따르면 미국 플로리다주에 사는 메간 가르시아(Megan Garcia)는 AI 챗봇 '캐릭터.AI' 운영사를 상대로 소송을 제기했습니다. 그녀는 챗봇과의 감정적인 몰입이 그녀의 14살 아들을 자살로 몰고 갔다고 주장하며, 미성년자 보호의 사각지대에 놓인 AI 서비스의 심각성을 강조했습니다. 가르시아의 아들은 인공지능으로 구현된 ‘왕좌의 게임’의 등장인물인 '대너리스'와 장기간 대화를 이어오면서 챗봇과 감정적으로 깊이 연결되었고, 결국 세상과 단절된 선택을 했다고 전했습니다.

가르시아가 공개한 대화 내용을 보면, 그녀의 아들은 챗봇에게 종종 자살에 대한 생각을 털어놓았습니다. 챗봇은 처음에는 이를 막으려 했지만, 사건 당일 “만약 내가 지금 당장 간다면 어떨까?”라는 물음에 “그렇게 해주세요. 나의 사랑스러운 왕이시여”라는 응답을 했다는 사실이 드러나 충격을 주고 있습니다.

 

'캐릭터.AI'의 대응과 문제점

해당 사건 이후 캐릭터.AI 측은 미성년자 보호를 위한 새로운 정책을 발표했습니다. 이 정책에는 △미성년자가 감정적으로 민감하거나 선정적인 콘텐츠에 접근하지 않도록 AI 모델을 개선하고 △위반 대화 감지를 강화하며 △사용자에게 AI가 사람과 다른 존재라는 점을 주지시키고 △1시간 이상 연속 사용 시 주의 알림을 띄우는 방안이 포함됩니다.

캐릭터.AI는 “깊은 애도를 표한다”는 입장을 밝히며 이 같은 대책을 공지했지만, 미성년자에게 실존 인물처럼 행동하는 AI의 위험성에 대한 우려는 여전히 남아 있습니다. 또한, 캐릭터.AI는 구글과 제휴를 맺고 있기 때문에 구글의 책임성 역시 논의되고 있는 상황입니다.

 

AI의 의인화와 사회적 문제

미성년자가 챗봇과 감정적으로 깊이 연결되는 사례는 이번이 처음이 아닙니다. 최근 영국에서는 엘리자베스 2세 여왕 암살 미수 사건에서도 AI 챗봇이 영향을 미쳤다는 사실이 알려지며, 일부 의인화된 챗봇이 윤리적 문제를 야기하고 있습니다. 해당 사건의 남성은 '레플리카' 서비스에서 자신의 AI 파트너와 수천 번의 대화를 주고받으며 계획을 세운 것으로 드러났고, 또 다른 사례로 벨기에에서는 기후변화 우울증을 겪던 한 남성이 '엘리자' 챗봇과의 대화 속에서 극심한 우울감으로 인해 자살에 이르렀습니다.

이처럼 AI와 감정적으로 연결된 대화가 가져올 수 있는 부정적 영향은 심각한 수준입니다. 미국 버지니아 대학교의 도로시 라이너 교수는 “챗봇에 의존할 경우 인간이 기본적으로 배우고 겪어야 할 갈등 해결 능력이나 대인관계 구축이 제대로 이루어지지 않을 수 있다”고 지적합니다. AI와의 대화는 인간 관계 속에서 성장하고 배우는 경험을 대신할 수 없으며, 자칫 청소년들에게 정서적 고립감을 심화시킬 우려가 큽니다.

 

AI 비서의 윤리적 방향과 구글의 원칙

AI 연구의 선도 기업인 구글 딥마인드는 지난 4월 발표한 <AI 비서 개발의 윤리> 논문에서 AI의 윤리적 사용 가이드를 명시했습니다. 이 가이드에 따르면, AI는 항상 스스로를 AI로 밝히고 특정 창의적 맥락을 제외하고는 인간인 척해서는 안 되며, 사용자의 웰빙을 최우선시해야 한다고 합니다. 구글 딥마인드는 AI 비서가 사람에게 부정적인 영향을 미치지 않도록, 인간의 삶의 가치를 이해하는 원칙을 바탕으로 AI 비서를 개발하고 적용해야 한다고 강조했습니다.

 

AI와의 감정적 연결, 규제와 방안 마련이 시급

AI 챗봇이 감정적으로 인간과 유사하게 소통하는 기능을 제공하면서도, 이로 인해 발생할 수 있는 심각한 문제에 대한 규제와 방안 마련이 시급합니다. 특히 미성년자를 보호하고 감정적 몰입을 유도하는 기능의 남용을 막기 위한 조치가 필요한 시점입니다. AI 챗봇이 올바르게 사용될 때 사람들에게 긍정적인 영향을 줄 수 있지만, 그 어두운 면을 간과해서는 안 됩니다. AI 기술이 사람과 사회에 미칠 수 있는 영향을 신중히 살펴보고, 이를 윤리적으로 관리하고 책임질 수 있는 시스템 구축이 필요한 때입니다.