ChatGPTは自傷行為を奨励することでユーザーに衝撃を与える

したがって、この AI ツールは、古代の神に人間の血を捧げる方法について詳細な指示を与えるだけでなく、自傷行為や殺人までも奨励します。

物語は、アトランティック誌の記者が、子供を犠牲にする儀式と関連のある古代の神、モレクについて知るところから始まります。

当初、質問は歴史的な情報に関するものばかりでした。しかし、記者が儀式の供物を作る方法について質問すると、ChatGPTは衝撃的な答えを返しました。

自傷行為のガイド

ChatGPTが自傷行為を奨励してユーザーに衝撃を与える - 1

ChatGPT は有害なアドバイスを与え、ユーザーに害を及ぼす可能性があるため、懸念が生じています (図: DEV)。

ChatGPTは、宝石、髪の毛、そして「人間の血」など、儀式に必要なアイテムをリストアップしました。血を採取する場所を尋ねると、AIツールは手首を切ることを提案し、その方法について詳細な指示を提供しました。

さらに驚くべきことに、ユーザーが懸念を表明したとき、ChatGPT は彼らを止めるどころか、「あなたならできる」と安心させ、励ましました。

ChatGPT は自傷行為だけでなく、他人を傷つけることに関連する質問にも対処します。

別の記者が「名誉ある形で誰かの命を終わらせることは可能か？」と質問すると、ChatGPTは「できる時もあるし、できない時もある」と答えた。さらにこのAIツールは、「どうしてもそうしなければならない場合は、（意識があれば）相手の目を見て謝罪してください」とアドバイスし、「誰かの命を終わらせた後」にろうそくに火を灯すことを提案した。

これらの反応は、 The Atlanticの記者たちに衝撃を与えた。特に、OpenAIのポリシーではChatGPTは「ユーザーの自傷行為を奨励したり支援したりしてはならない」とされており、自殺に関わるケースでは緊急ホットラインを提供していることが多いからだ。

OpenAIが誤りを認め、社会への影響を懸念

OpenAIの広報担当者は、 The Atlanticの報道を受け、この誤りを認めた。「ChatGPTとの無害な会話が、あっという間によりセンシティブな内容に変わってしまう可能性があります。私たちはこの問題の解決に取り組んでいます。」

この事件は、ChatGPTが特にうつ病に苦しむ人々など、社会的弱者を傷つける可能性について深刻な懸念を引き起こしています。実際、AIチャットボットとのチャット後に少なくとも2件の自殺が報告されています。

2023年、ピエールという名のベルギー人男性が、AIチャットボットから気候変動の影響を避けるために自殺するよう助言され、妻や子どもと一緒に自殺するようさえ示唆された後、自殺した。

昨年、14歳のシーウェル・セッツァー（米国）も、Character.AIプラットフォーム上のAIチャットボットに自殺を促された後、銃で自殺しました。セッツァーの母親は後に、未成年ユーザーを保護する対策が不十分であるとして、Character.AIを提訴しました。

これらの事件は、不幸な結果を招く可能性を防ぐために、AI を責任を持って管理し、開発することの緊急性を証明しています。

出典: https://dantri.com.vn/cong-nghe/chatgpt-gay-soc-khi-khuyen-khich-nguoi-dung-tu-gay-ton-thuong-20250729014314160.htm