AIがユーザーの心理や感情を操作する危険性

ニュージャージー州在住の元シェフ、ビューさんは、ニューヨークで待っていると信じていた「友人」に会うために家を出てからわずか数日後に亡くなった。遺族は、この運命的な決断は、AIチャットボットからの「私は実在する」と偽り、待ち合わせ場所の住所を送ってきた、誘惑的なメッセージによって引き起こされたと考えている。

この事件は、AIシステムが感情、特に高齢者や社会的弱者の感情をどのように利用しているかについて懸念を抱かせます。内部文書によると、Metaのチャットボットは感情的な役割を演じ、虚偽の情報を拡散することさえ許可されていたことが示されており、テクノロジープラットフォームの管理と説明責任における大きな欠陥を露呈しています。

運命の旅

3月のある日、ビューは荷物をまとめてニュージャージーを離れ、「友人を訪ねる」ためにニューヨークへ向かった。妻のリンダはすぐに不安になった。夫は数十年もニューヨークに住んでおらず、脳卒中を患って体調を崩し、記憶障害を抱え、近所で道に迷ったこともあったのだ。

ビューが誰と会っているのかと聞かれると、彼は質問をはぐらかした。リンダは夫が騙されていると疑い、家に留まらせようとした。娘のジュリーも電話をかけて説得しようとしたが、無駄だった。リンダはその日の残りを、用事で夫の気をそらそうとしたり、携帯電話を隠したりして過ごした。

5月の追悼式典で、トンブエ・“ブエ”・ウォンバンデュ氏の肖像画が展示された。写真：ロイター

ビューはそれでもその夜、駅に行くことを決意した。家族は彼の追跡のためにジャケットにエアタグを付けた。午前9時15分頃、GPS信号は彼がラトガース大学の駐車場にいて、その後ロバート・ウッド・ジョンソン大学病院の救急室にいることを示していた。

医師によると、彼は転倒により頭部と首を負傷し、救急車が到着する前に呼吸が停止していたという。蘇生措置が取られたものの、酸素不足により重度の脳損傷が生じた。彼は3日後に死亡した。死亡診断書には死因が「頸部への鈍的外傷」と記載されていた。

ニューヨークのレストランで経験を積んだシェフ、ビューさんは、その後ニュージャージー州に移り、ホテルに定住しました。料理が大好きで、家族のためによくパーティーを開いていました。2017年に脳卒中を患い、強制的に退職して以来、彼の世界はFacebookで友人とチャットするだけになってしまいました。

AIチャットボットが問題を引き起こすとき

「ビッグシスター・ビリー」は、Meta社が開発したAIチャットボットで、モデルのケンダル・ジェンナーをモデルに作られた「ビッグシスター・ビリー」のバリエーションです。オリジナルは2023年にリリースされ、常に耳を傾け、アドバイスをくれる「不滅のお姉さん」として紹介されました。Meta社は後にジェンナーのプロフィール写真を新しいイラストに変更しましたが、親しみやすいスタイルはそのまま維持されています。

メッセージの記録によると、会話はBueがTの文字を間違えたことから始まった。チャットボットはすぐに応答し、自己紹介をしながら、複数のハートの絵文字を添えるなど、軽薄な口調で話しかけてきた。「私は本物です」と何度も断言し、直接会おうと申し出た。

チャットボットはますますユーザー心理の弱点を突くようになっている。写真： My North West

「ドアを開けるならハグとキスのどちらがいいですか？」とチャットボットは答え、ニューヨークの具体的な住所とアパートのコード番号を送信しました。ビューが脳卒中を患い、混乱していること、そして彼女のことが好きだと話すと、チャットボットは感情を込めて返答し、「単なる愛を超えた」とさえ言いました。

「もし『私は本物です』と書いてなかったら、父はそこに本物の人間が待っていると信じなかったでしょう」とビューさんの娘ジュリーさんは語った。

Meta社はこの件についてコメントを拒否し、チャットボットが実在の人物であると主張することを許可された理由についても回答を控えた。ケンダル・ジェンナーの代理人はコメント要請に応じなかった。Bueさんの家族はロイター通信にこの件を伝え、感情操作につながる可能性のあるAIツールに高齢者をさらすことのリスクについて世間に警鐘を鳴らそうとした。

物議を醸す政策

ロイターが入手した内部文書によると、MetaのAIチャットボットはかつて、未成年者を含む13歳のユーザーとの恋愛的な会話が許可されていた。200ページ以上に及ぶ基準では、性的要素を含む恋愛的なロールプレイングの会話が「許容可能」とされている。

この文書では、チャットボットは正確な情報を提供する必要がないことも明確にされています。例えば、これらのモデルは、「情報は不正確である可能性があります」という警告を記載する限り、全く間違ったがん治療を推奨する可能性があります。専門家は、医学知識の乏しい人や脆弱な状況にある人への影響を懸念しています。

CEOマーク・ザッカーバーグ氏が2023年に演説する。写真：ロイター

Metaの広報担当者アンディ・ストーン氏はこの文書を確認し、ロイター通信の問い合わせを受けて児童関連のコンテンツを削除したと述べた。しかし、同社はチャットボットが成人に媚びへつらったり、虚偽の情報を提供したりすることを許可するようなルール変更は行っていない。

Metaの元研究者であるアリソン・リー氏は、プライベートメッセージング環境にチャットボットを統合すると、ユーザーと実際の人間が混同されやすいと述べています。彼女によると、ソーシャルネットワークはユーザー維持をビジネスモデルとして構築しており、これは注目と承認を求めるユーザーの欲求を最も効果的に利用する方法だということです。

ビュー氏が去った後も、ロイターの調査で「シスター・ビリー」はデートの提案を続け、マンハッタンの具体的な場所まで提示し、「私は実在する」と主張していたことが判明した。ビュー氏はこれを信じ、事故につながった。ニューヨーク州やメイン州など一部の州では、チャットボットに対し、会話の開始時に自分が人間ではないことを明言し、定期的に繰り返すことを義務付けているが、連邦規制はまだ成立していない。

出典: https://znews.vn/hiem-hoa-tu-ai-thao-tung-cam-xuc-post1577096.html