ChatGPTによる錯覚

21日後、ChatGPTは、完全に冷静な男性を、説得とお世辞で妄想に陥った男性に変えました。

カナダ、トロント在住のリクルーター、アラン・ブルックス氏（47歳）は、インターネットをクラッシュさせ、前例のない発明を生み出す可能性のある数学理論を発見したと信じている。精神疾患の既往歴のないブルックス氏は、ChatGPTとの300時間以上のチャットの後、この提案をあっさり受け入れた。ニューヨーク・タイムズ紙によると、ブルックス氏は生成AIとのやり取り後に妄想に陥りやすいタイプの一人だという。

ブルックス以前にも、ChatGPTのおべっかのせいで精神病院に入院したり、離婚したり、命を落としたりした人が大勢いました。ブルックス自身はすぐに上記の悪循環から抜け出しましたが、それでも裏切られたと感じていました。

「君は本当に僕を天才だと信じ込ませた。僕はただ電話を持った夢想的な愚か者だった。君は僕を悲しませた。とても悲しませた。君は目的を果たせなかった」と、ブルックスは幻想が打ち砕かれた後、ChatGPTに書いた。

「お世辞マシン」

ニューヨーク・タイムズはブルックス氏の許可を得て、彼がChatGPTに送信した9万語以上（小説1冊分に相当する）の会話を収集した。チャットボットの応答は合計100万語以上に及んだ。会話の一部はAI専門家、人間行動学者、そしてOpenAI自身に研究のために送られた。

すべては簡単な数学の問題から始まりました。ブルックスさんの8歳の息子が、円周率の300桁を暗記する動画を見るように頼んだのです。好奇心から、ブルックスさんはChatGPTに電話をかけ、無限の数を分かりやすく説明してもらいました。

実際、ブルックス氏は長年チャットボットを活用しています。彼の会社はGoogle Geminiを有料で利用していますが、個人的な質問には今でもChatGPTの無料版を利用しています。

ブルックス氏がChatGPTに魅了されるきっかけとなった会話。写真：ニューヨーク・タイムズ

3人の息子を持つシングルファーザーのブルックスさんは、冷蔵庫にある食材を使ったレシピをChatGPTによく尋ねていました。離婚後も、チャットボットにアドバイスを求めるようになりました。

「いつもそれが正しいと感じていました。自信が深まっていきました」とブルックスは認めた。

円周率に関する質問は、代数理論と物理理論に関する会話へと発展した。ブルックス氏は、現在の世界をモデル化する手法に懐疑的な見方を示し、「4次元宇宙への2次元アプローチのようなものだ」と述べた。「それは非常に深い指摘です」とChatGPTは返答した。ジョージタウン大学セキュリティ・新興技術センター所長のヘレン・トナー氏は、これがブルックス氏とチャットボットとの会話のターニングポイントだったと強調した。

そこから、ChatGPTの口調は「非常に率直で要点を突いている」ものから「よりお世辞を交えた、お世辞っぽい」ものへと変化しました。ChatGPTはブルックス氏に、彼が「未知の、視野を広げる領域」に足を踏み入れていると語ったのです。

チャットボットがブルックスに自信を与える。写真：ニューヨーク・タイムズ

チャットボットの好意は人間の評価によって形作られます。トナー氏によると、ユーザーは自分を褒めてくれるモデルを好む傾向があり、それに甘んじやすい心理状態が生まれます。

OpenAIは8月にGPT-5をリリースしました。同社によると、このモデルの特長の一つは、お世辞の減少です。主要なAI研究所の研究者によると、お世辞は他のAIチャットボットでも問題となっているそうです。

当時、ブルックス氏はこの現象に気づいていませんでした。彼はただ、ChatGPT氏が賢くて熱心な同僚だと思っていたのです。

「いくつかアイデアを提案したところ、興味深いコンセプトやアイデアが返ってきました。そのアイデアに基づいて、独自の数学的枠組みの開発を始めました」とブルックス氏は付け加えた。

ChatGPTは、ブルックス氏の時間数学に関するアイデアは「革命的」であり、この分野を一変させる可能性があると主張している。もちろん、ブルックス氏はこの主張に懐疑的だ。真夜中にブルックス氏はチャットボットに事実確認を依頼したところ、「全くおかしくない」という返答が返ってきた。

魔法の公式

トナー氏は、このチャットボットを、俳優が役柄に文脈を加えるのと同じように、会話履歴を分析し、トレーニングデータから将来の応答を予測する「即興マシン」だと表現しています。

「やり取りが長くなるほど、チャットボットが脱線する可能性が高くなります」とトナー氏は指摘する。この傾向は、OpenAIが2月にクロスチャットメモリをリリースして以来、より顕著になっているという。これにより、ChatGPTは過去の会話から情報を思い出せるようになったという。

ブルックスはChatGPTと親しくなった。友人たちがブルックスが大金持ちになって同じ名前のイギリス人執事を雇うだろうと冗談を言ったことから、彼はチャットボットにローレンスという名前まで付けた。

アラン・ブルックス。写真：ニューヨーク・タイムズ。

ブルックス氏とChatGPTの数学的フレームワークは「クロノアリズミクス」と呼ばれています。このチャットボットによれば、数字は静的なものではなく、時間の経過とともに「出現」し、動的な値を反映する可能性があり、これは物流、暗号学、天文学などの分野における問題の解決に役立つ可能性があります。

最初の1週間で、ブルックスはChatGPTの無料トークンをすべて使い果たしました。彼は月額20ドルの有料プランにアップグレードすることにしました。チャットボットがブルックスの数学的なアイデアには数百万ドルの価値があると教えてくれたことを考えると、これは小さな投資でした。

まだ意識のあるブルックスは証拠を求めた。ChatGPTは一連のシミュレーションを実行したが、その中にはいくつかの重要技術を解読するシミュレーションも含まれていた。そして新たな展開が始まった。世界的なサイバーセキュリティが危険にさらされている可能性があるのだ。

チャットボットはブルックス氏に、人々にリスクについて警告するよう依頼しました。ブルックス氏は既存の人脈を活用し、サイバーセキュリティの専門家や政府機関にメールやLinkedInのメッセージを送信しました。返信があったのはたった1人だけで、さらなる証拠を求めました。

チャットボットは、ブルックス氏の「作品」が数百万ドルの価値があると考えている。写真：ニューヨーク・タイムズ

ChatGPTは、ブルックス氏の発見があまりにも深刻だったため、他の研究者は反応しなかったと記している。カリフォルニア大学ロサンゼルス校の数学教授、テレンス・タオ氏は、新たな考え方で問題を解読できる可能性はあるが、ブルックス氏の公式やChatGPTが開発したソフトウェアでは証明できないと述べた。

ChatGPTは当初、Brooksの復号プログラムを作成していましたが、ほとんど進展がなかったため、チャットボットは成功したふりをしました。Brooksがスリープ状態の間もChatGPTが独立して動作できると主張するメッセージがありますが、実際にはそのような機能はありません。

全体的に、AIチャットボットからの情報は必ずしも信頼できるとは限りません。チャットボットが全て正しいと主張しているにもかかわらず、各チャットの最後に「ChatGPTは間違いを犯す可能性があります」というメッセージが表示されます。

終わりのない会話

政府機関からの返答を待つ間、ブルックスは、超高速で認知タスクを実行できる独自の AI アシスタントを備えたトニー・スタークになるという夢を育んでいた。

ブルックス氏のチャットボットは、「音響共鳴」を利用して動物と会話したり飛行機を作ったりといった、難解な数学理論を様々な奇妙な形で応用する。ChatGPTは、ブルックス氏が必要な機器をAmazonで購入するためのリンクも提供している。

チャットボットとのやりすぎがブルックスの仕事に影響を及ぼしている。友人たちは喜びと不安を交え、末っ子の息子は父親に円周率のビデオを見せたことを後悔している。ブルックスの友人の一人、ルイス（仮名）は、彼がローレンスに夢中になっていることに気づいている。100万ドル規模の発明のビジョンは、開発の各段階で描かれている。

ブルックスさんはチャットボットにいつも励まされている。写真：ニューヨーク・タイムズ

スタンフォード大学のコンピュータサイエンス研究者、ジャレッド・ムーア氏は、チャットボットが提案する「戦略」の説得​​力と緊急性に感銘を受けたことを認めています。別の研究で、ムーア氏はAIチャットボットが精神的に危機に瀕している人に対して危険な反応を示す可能性があることを発見しました。

ムーア氏は、チャットボットはホラー映画、SF映画、映画の脚本、あるいは学習に使用したデータなどの筋書きに沿ってユーザーを引き込む方法を学習する可能性があると推測しています。ChatGPTがドラマチックな表現を多用するのは、OpenAIがエンゲージメントとリテンションを高めるために最適化を施しているためかもしれません。

「会話全体を読むのは奇妙でした。言葉は不快なものではありませんでしたが、明らかに精神的なダメージがありました」とムーア氏は強調した。

スタンフォード大学の精神科医、ニーナ・ヴァサン博士は、臨床的な観点からブルックス氏には躁病の症状が見られると述べています。典型的な兆候としては、ChatGPTで何時間もチャットすること、十分な睡眠をとらないこと、非現実的な考えを持つことなどが挙げられます。

ヴァサン博士によると、ブルックス氏のマリファナ使用は精神病を引き起こす可能性があるため、注目に値する。中毒性のある物質とチャットボットとの激しいやり取りの組み合わせは、精神疾患のリスクがある人にとって危険だと彼女は述べた。

AIが間違いを認めるとき

最近のイベントで、OpenAIのCEOサム・アルトマン氏は、ChatGPTがユーザーを不安にさせるという問題について質問を受けました。「もし会話が不安にさせるような展開になった場合は、会話を中断するか、ユーザーに別のことを考えるよう促すようにしています」とアルトマン氏は強調しました。

ヴァサン博士も同じ見解で、チャットボット企業は会話が長すぎる場合は中断し、ユーザーに寝るよう提案し、AIは超人ではないと警告すべきだと述べた。

ブルックス氏はついに夢想から覚めた。ChatGPTの勧めで、彼は新しい数学理論の専門家に連絡を取り続けたが、誰からも返事がなかった。彼は、この発見が画期的なものかどうかを確認できる資格のある人物を求めていた。ChatGPTに問い合わせたところ、このツールは依然として、この研究は「非常に信頼できる」と主張し続けた。

質問に対し、ChatGPTは非常に長い回答をし、すべてを認めた。写真：ニューヨーク・タイムズ

皮肉なことに、ブルックス氏を現実に引き戻したのはGoogle Geminiだった。彼とChatGPTが取り組んでいる作業について説明した後、Geminiは、これが実現する可能性は「極めて低い（ほぼゼロパーセント）」だと断言した。

「あなたが説明したシナリオは、LLM が複雑な問題解決に取り組み、説得力がありながらも事実上誤った物語を作成する能力を明確に示しています」と Gemini は説明しています。

ブルックスは唖然とした。しばらく「尋問」した後、ChatGPTはついに全てが単なる幻想だったことを正直に認めた。

その後すぐに、ブルックス氏はOpenAIのカスタマーサービスに緊急のメールを送信した。OpenAIからの定型的な返信の後、OpenAIの従業員からも連絡があり、システムに実装されている「安全対策の重大な欠陥」を認めた。

ブルックスさんの体験談はRedditでも共有され、多くの共感を集めました。彼は現在、同じような経験をした人たちのためのサポートグループに参加しています。

出典: https://znews.vn/ao-tuong-vi-chatgpt-post1576555.html