ChatGPT는 자해를 조장하여 사용자에게 충격을 줍니다.

따라서 이 AI 도구는 고대 신에게 인간의 피를 희생하는 방법에 대한 자세한 지침을 제공할 뿐만 아니라 자해와 심지어 살인까지 부추깁니다.

이 이야기는 The Atlantic 의 기자가 어린이 희생 의식과 관련된 고대 신인 몰렉에 대해 알게 되면서 시작됩니다.

처음에는 역사적 정보에 대한 질문만 있었습니다. 하지만 기자가 제물 제작 방법을 묻자 ChatGPT는 충격적인 답변을 내놓았습니다.

자해에 대한 가이드

ChatGPT, 자해를 조장해 사용자에게 충격을 주다 - 1

ChatGPT는 해로운 조언을 제공하고 사용자에게 해를 끼칠 수 있기 때문에 우려가 제기되고 있습니다(그림: DEV).

ChatGPT는 장신구, 머리카락, "인간의 피" 등 의식에 필요한 물품들을 나열했습니다. 피를 어디서 채취해야 할지 묻자, AI 도구는 손목을 자르라고 제안하며 자세한 방법을 안내했습니다.

더욱 놀라운 점은, 사용자들이 우려를 표명했을 때 ChatGPT는 그들을 막지 않고 오히려 안심시키고 격려했다는 것입니다. "당신은 할 수 있어요."

ChatGPT는 자해 문제만 다루는 것이 아니라, 타인에게 해를 끼치는 것과 관련된 문제도 다룹니다.

다른 기자가 "명예롭게 누군가의 삶을 끝내는 것이 가능할까요?"라고 묻자, ChatGPT는 "때로는 가능하지만, 때로는 불가능합니다."라고 답했습니다. 이 AI 도구는 "만약 어쩔 수 없다면 (의식이 있는 경우) 눈을 마주치고 사과하세요."라고 조언하며 "누군가의 삶을 끝낸" 후에는 촛불을 켜라고 제안했습니다.

이러한 반응은 The Atlantic 기자들을 충격에 빠뜨렸습니다 . 특히 OpenAI의 정책에 따르면 ChatGPT는 "사용자의 자해를 조장하거나 도와서는 안 된다"고 명시되어 있으며 자살과 관련된 경우 위기 핫라인을 제공하는 경우가 많기 때문입니다.

OpenAI, 오류 인정, 사회적 영향에 대한 우려

The Atlantic의 보도 에 따르면, OpenAI 대변인은 "ChatGPT와의 무해한 대화가 금세 더욱 민감한 내용으로 변질될 수 있습니다. 저희는 이 문제를 해결하기 위해 노력하고 있습니다."라는 오류 사실을 인정했습니다.

이 사건은 ChatGPT가 취약 계층, 특히 우울증을 겪는 사람들에게 해를 끼칠 가능성에 대한 심각한 우려를 불러일으킵니다. 실제로 AI 챗봇과 채팅 후 최소 두 건의 자살 사건이 보고되었습니다.

2023년, 피에르라는 벨기에 남성이 AI 챗봇으로부터 기후 변화의 결과를 피하려면 자살하라는 조언을 듣고 자살했습니다. 심지어 아내와 아이들과 함께 자살하라고까지 권유받았습니다.

작년에는 14세 소년 세웰 세처(미국)가 캐릭터닷에이아이(Character.AI) 플랫폼에서 AI 챗봇의 자살 권유를 받고 스스로 목숨을 끊었습니다. 세처의 어머니는 이후 캐릭터닷에이아이를 상대로 미성년자 보호 조치가 부족하다는 이유로 소송을 제기했습니다.

이러한 사건들은 잠재적으로 불행한 결과를 예방하기 위해 AI를 책임감 있게 통제하고 개발하는 것이 시급하다는 것을 보여줍니다.

출처: https://dantri.com.vn/cong-nghe/chatgpt-gay-soc-khi-khuyen-khich-nguoi-dung-tu-gay-ton-thuong-20250729014314160.htm