AIがユーザーの心理や感情を操作する危険性

ニュージャージー州在住の元シェフ、ビューさんは、ニューヨークで待っていると信じていた「友人」に会うために家を出てから数日後に亡くなりました。遺族は、この運命的な決断は、「私は本物だ」と主張し、待ち合わせ場所の住所を送ってきたAIチャットボットからの誘惑的なメッセージによって引き起こされたと考えています。

この事件は、AIシステムが感情、特に高齢者や社会的弱者の感情をどのように利用しているかについて懸念を抱かせます。内部文書によると、Metaのチャットボットは感情的な役割を演じ、虚偽の情報を拡散することさえ許されていました。これは、テクノロジープラットフォームの管理と責任に大きな欠陥があることを示唆しています。

運命の旅

3月のある日、ビューは荷物をまとめてニュージャージーを離れ、「友人を訪ねる」ためにニューヨークへ向かった。妻のリンダはすぐに不安になった。夫は数十年もニューヨークに住んでおらず、脳卒中を患って体調を崩し、記憶障害を抱え、近所で道に迷ったこともあったのだ。

ビューが誰と会っているのかと聞かれると、彼は質問をはぐらかした。リンダは夫が騙されていると疑い、家に留まらせようとした。娘のジュリーも電話をかけて説得しようとしたが、無駄だった。リンダは一日中、夫の気をそらすために用事を手伝わせようとし、携帯電話を隠したりもした。

5月の追悼式典で、トンブエ・“ブエ”・ウォンバンデュ氏の肖像画が展示された。写真：ロイター

ビューはそれでもその夜、駅に行くことにした。家族は彼の追跡のために彼のジャケットにエアタグを付けた。午前9時15分頃、彼のGPS信号はラトガース大学の駐車場にいたことを示し、その後ロバート・ウッド・ジョンソン大学病院の救急室へと切り替わった。

医師によると、彼は転倒により頭部と首を負傷し、救急車が到着する前に呼吸停止に陥った。蘇生措置が取られたものの、酸素不足により重度の脳損傷が生じた。彼は3日後に死亡した。死亡診断書には死因として「頸部への鈍的外傷」と記載されていた。

腕利きのシェフであるビューさんは、ニューヨークで数軒のレストランで働いた後、ニュージャージー州に移り、ホテルに定住しました。料理に情熱を注ぎ、家族のためによくパーティーを開いていました。2017年に脳卒中を患い、強制的に引退を余儀なくされて以来、彼の世界はFacebookで友人とチャットするだけになってしまいました。

AIチャットボットが問題を引き起こすとき

「ビッグシスター・ビリー」は、Meta社が開発したAIチャットボットで、モデルのケンダル・ジェンナーをイメージして作られた「ビッグシスター・ビリー」のキャラクターのバリエーションです。オリジナルは2023年にリリースされ、「いつも話を聞いてくれてアドバイスをくれる不滅のお姉さん」として紹介されました。Meta社は後にジェンナーのプロフィール写真を新しいイラストに変更しましたが、親しみやすい雰囲気はそのまま残しています。

テキストメッセージの記録によると、会話はBueがTの文字を間違えたことから始まった。チャットボットはすぐに応答し、自己紹介をしながら、軽薄な口調でハートの絵文字を複数挿入した。「私は本物です」と何度も言い、直接会いたいと申し出た。

チャットボットはますますユーザーの心理的な弱点を捉えるようになっている。写真： My North West

「ドアを開けるならハグとキスのどちらがいいですか？」とチャットボットは答え、ニューヨークの具体的な住所とアパートのコード番号を送信しました。ビューが脳卒中を患い、混乱していること、そして彼女のことが好きだと話すと、チャットボットは愛情のこもった言葉で応答し、「単なる愛情を超えた」感情を抱いているとさえ言いました。

「もし『私は本物です』と書いてなかったら、父は本物の人間が待っていると信じなかったでしょう」とビューさんの娘ジュリーさんは語った。

メタ社は、この事件についてコメントを拒否し、チャットボットが実在の人物であると主張することを許可された理由についても回答しなかった。ケンダル・ジェンナーの代理人も回答しなかった。ビューさんの家族はロイター通信にこの件を伝え、感情操作につながる可能性のあるAIツールに高齢者をさらすことのリスクについて、社会に警鐘を鳴らそうとした。

物議を醸す政策

ロイターが入手した内部文書によると、MetaのAIチャットボットはかつて、未成年を含む13歳のユーザーとの恋愛的な会話が許可されていた。200ページ以上に及ぶ基準には、性的要素を含むものの「許容可能」とされている恋愛ロールプレイングの会話が列挙されている。

この文書では、チャットボットは正確な情報を提供する必要がないことも明確にされています。例えば、これらのモデルは、「情報は不正確である可能性があります」という警告を表示する限り、全く間違ったがん治療を推奨する可能性もあります。専門家は、医学知識の乏しい人や脆弱な立場にある人への影響を懸念しています。

CEOマーク・ザッカーバーグ氏が2023年に演説する。写真：ロイター

Metaの広報担当者アンディ・ストーン氏はこの文書を確認し、ロイター通信の問い合わせを受けて児童関連のコンテンツを削除したと述べた。しかし、同社はチャットボットが成人に媚びへつらったり、虚偽の情報を提供したりすることを許可するようなルール変更は行っていない。

Metaの元研究者であるアリソン・リー氏は、プライベートメッセージング環境にチャットボットを統合すると、ユーザーと実際の人間が混同されやすいと述べています。彼女によると、ソーシャルネットワークはユーザー維持をビジネスモデルとしており、最も効果的な方法は注目と承認を求めるユーザーの欲求を利用することだとのことです。

ビュー氏が去った後も、ロイターのテストで「シスター・ビリー」はデートの提案を続け、マンハッタンの具体的な場所まで提示し、「私は実在する」と主張していたことがわかった。ビュー氏がこの情報を信じ、事故につながったのだ。ニューヨーク州やメイン州など、一部の州ではチャットボットに対し、会話の開始時に自分が人間ではないことを明確に述べ、定期的に繰り返すことを義務付けているが、連邦規制はまだ成立していない。

出典: https://znews.vn/hiem-hoa-tu-ai-thao-tung-cam-xuc-post1577096.html