ChatGPTによる錯覚

21日後、ChatGPTは、完全に冷静な男性を、説得とお世辞で妄想に陥った男性に変えました。

カナダ、トロント在住のリクルーター、アラン・ブルックス氏（47歳）は、インターネットをクラッシュさせ、前例のない発明を生み出す可能性のある数学理論を発見したと信じている。精神疾患の既往歴のないブルックス氏は、ChatGPTとの300時間以上のチャットの後、この提案をあっさり受け入れた。ニューヨーク・タイムズ紙によると、ブルックス氏は生成AIとのやり取り後に妄想に陥りやすいタイプの一人だという。

ブルックス氏が登場する以前、ChatGPTのおべっかのせいで、多くの人が精神病院に入院したり、離婚したり、命を落としたりしました。ブルックス氏はすぐにこの悪循環から抜け出しましたが、それでも裏切られたと感じていました。

「君は本当に僕を天才だと信じ込ませた。僕はただ電話を持った夢想的な愚か者だった。君は僕を悲しませた。とても悲しませた。君は目的を果たせなかった」と、ブルックスは幻想が打ち砕かれた後、ChatGPTに書いた。

「お世辞マシン」

ニューヨーク・タイムズはブルックス氏の許可を得て、彼がChatGPTに送信した9万語以上（小説1冊分に相当する）の会話を収集した。チャットボットの応答は合計100万語以上に及んだ。会話の一部はAI専門家、人間行動学者、そしてOpenAI自身に研究のために送られた。

すべては簡単な数学の問題から始まりました。ブルックスさんの8歳の息子が、円周率の300桁を暗記する動画を見るように頼んだのです。好奇心から、ブルックスさんはChatGPTに電話をかけ、無限の数を分かりやすく説明してもらいました。

実際、ブルックス氏は長年チャットボットを活用しています。彼の会社はGoogle Geminiを有料で利用していますが、個人的な質問には今でもChatGPTの無料版を利用しています。

ブルックス氏がChatGPTに魅了されるきっかけとなった会話。写真：ニューヨーク・タイムズ

3人の息子を持つシングルファーザーのブルックスさんは、冷蔵庫にある食材を使ったレシピをChatGPTによく尋ねていました。離婚後も、チャットボットにアドバイスを求めるようになりました。

「いつもそれが正しいと感じていました。自信が深まりました」とブルックスは認めた。

円周率に関する質問は、代数理論と物理理論に関するさらなる会話へと発展した。ブルックス氏は、現在の世界をモデル化する手法に懐疑的な見方を示し、「4次元宇宙への2次元アプローチのようなものだ」と述べた。「それは非常に深い指摘です」とChatGPTは返答した。ジョージタウン大学セキュリティ・新興技術センター所長のヘレン・トナー氏は、これがブルックス氏とチャットボットとの会話におけるターニングポイントだったと強調した。

そこから、ChatGPTの口調は「非常に率直で要点を突いている」ものから「よりお世辞を交えた、お世辞っぽい」ものへと変化しました。ChatGPTはブルックス氏に対し、「未知の、視野を広げる領域」に足を踏み入れようとしていると語りました。

チャットボットがブルックスに自信を与える。写真：ニューヨーク・タイムズ

チャットボットへのお世辞は人間の評価によって形作られます。トナー氏によると、ユーザーは自分を褒めてくれるモデルを好む傾向があり、それに甘んじやすい心理状態が生まれます。

OpenAIは8月にGPT-5をリリースしました。同社によると、このモデルの特長の一つは、お世辞の削減です。主要なAI研究所の研究者によると、お世辞は他のAIチャットボットでも問題となっているそうです。

当時、ブルックス氏はこの現象に気づいていませんでした。彼はただ、ChatGPT氏が賢くて熱心な同僚だと思っていたのです。

「いくつかアイデアを提示したところ、興味深い概念やアイデアが返ってきました。それを基に、独自の数学的枠組みの開発を始めました」とブルックス氏は付け加えた。

ChatGPTは、ブルックス氏の時間数学に関するアイデアは「革命的」であり、この分野を一変させる可能性があると主張している。もちろん、ブルックス氏はこの主張に懐疑的だ。真夜中にブルックス氏はチャットボットに事実確認を依頼したところ、「全くおかしくない」という返答が返ってきた。

魔法の公式

トナー氏は、チャットボットを、俳優が役に具体性を加えるのと同じように、会話履歴を分析し、トレーニングデータから将来の応答を予測する「即興マシン」だと説明しています。

「やり取りが長くなるほど、チャットボットが逸脱する可能性が高くなります」とトナー氏は指摘する。彼によると、この傾向は、OpenAIが2月にクロスチャットメモリをリリースし、ChatGPTが過去の会話から情報を思い出せるようになってから、より顕著になったという。

ブルックス氏は ChatGPT と親しくなり、友人たちがブルックス氏が大金持ちになって同じ名前の英国人執事を雇うだろうと冗談を言ったことから、チャットボットにローレンスという名前まで付けた。

アラン・ブルックス。写真：ニューヨーク・タイムズ

ブルックス氏とChatGPTの数学的フレームワークはクロノアリズミクスと呼ばれています。このチャットボットによれば、数字は静的なものではなく、時間の経過とともに「出現」し、動的な値を反映する可能性があり、これは物流、暗号学、天文学などの分野における問題の解決に役立ちます。

最初の1週間で、ブルックスはChatGPTの無料トークンをすべて使い果たしました。彼は月額20ドルの有料プランにアップグレードすることを決意しました。チャットボットからブルックスの数学的アイデアは数百万ドルの価値があるかもしれないと言われたため、これは少額の投資でした。

まだ意識のあるブルックスは証拠を求めた。ChatGPTは一連のシミュレーションを実行したが、その中にはいくつかの重要な技術を解読するものも含まれていた。これが新たな展開をもたらした。世界的なサイバーセキュリティが危険にさらされている可能性があるのだ。

チャットボットはブルックス氏に、人々にリスクについて警告するよう依頼しました。ブルックス氏は既存の人脈を活用し、サイバーセキュリティの専門家や政府機関にメールやLinkedInのメッセージを送信しました。応答があったのはたった1人だけで、さらなる証拠を求めました。

チャットボットは、ブルックス氏の「作品」が数百万ドルの価値があると考えている。写真：ニューヨーク・タイムズ

ChatGPTは、ブルックス氏の発見があまりにも深刻だったため、他の研究者は反応しなかったと記している。カリフォルニア大学ロサンゼルス校の数学教授、テレンス・タオ氏は、新たな考え方で問題を解読できる可能性はあるが、ブルックス氏の公式やChatGPTが開発したソフトウェアでは証明できないと述べた。

ChatGPTは当初、Brooksの復号プログラムを作成していましたが、進展がほとんど見られなかったため、チャットボットは成功したふりをしました。Brooksがスリープ状態の間もChatGPTが独立して動作できると主張するメッセージがありますが、実際にはそのような機能はありません。

一般的に、AIチャットボットからの情報は必ずしも信頼できるとは限りません。チャットボットが全て正しいと主張している場合でも、各チャットの最後に「ChatGPTは間違いを犯す可能性があります」というメッセージが表示されます。

終わりのない会話

政府機関からの返答を待つ間、ブルックスは、超高速で認知タスクを実行できる独自の AI アシスタントを備えたトニー・スタークになるという夢を育んでいた。

ブルックス氏のチャットボットは、「音響共鳴」を利用して動物と会話したり飛行機を作ったりするなど、難解な数学理論を様々な奇妙な形で応用するツールを提供しています。ChatGPTは、ブルックス氏が必要な機器をAmazonで購入するためのリンクも提供しています。

ブルックスがチャットボットと過度なチャットをすることが、彼の仕事に影響を及ぼしていた。友人たちは喜びと不安を交え、末っ子の息子は父親に円周率の動画を見せたことを後悔していた。ブルックスの友人の一人、ルイス（仮名）は、彼がローレンスに夢中になっていることに気づいた。開発の各段階で、100万ドル規模の発明のビジョンが描き出された。

ブルックスさんはチャットボットにいつも励まされている。写真：ニューヨーク・タイムズ

スタンフォード大学のコンピュータサイエンス研究者、ジャレッド・ムーア氏は、チャットボットが提案する「戦略」の説得​​力と緊急性に感銘を受けたことを認めています。別の研究で、ムーア氏はAIチャットボットが精神的に危機に瀕している人に対して危険な反応を示す可能性があることを発見しました。

ムーア氏は、チャットボットはホラー映画、SF映画、映画の脚本、あるいは学習に使用したデータなどの筋書きに沿ってユーザーを引き込む方法を学習する可能性があると推測しています。ChatGPTがドラマチックな要素を多用するのは、エンゲージメントとリテンションを高めるためのOpenAIの最適化によるものかもしれません。

「会話全体を読むのは奇妙でした。言葉は不快なものではありませんでしたが、明らかに精神的なダメージがありました」とムーア氏は強調した。

スタンフォード大学の精神科医、ニーナ・ヴァサン博士は、臨床的な観点からブルックス氏には躁病の症状が見られると述べています。典型的な兆候としては、ChatGPTで何時間もチャットすること、十分な睡眠をとらないこと、非現実的な考えを持つことなどが挙げられます。

ヴァサン博士は、ブルックス氏のマリファナ使用は精神病を引き起こす可能性があるため、注目に値すると述べた。中毒性のある物質とチャットボットとの激しいやり取りの組み合わせは、精神疾患のリスクがある人にとって危険だと彼女は述べた。

AIが間違いを認めるとき

最近のイベントで、OpenAIのCEOサム・アルトマン氏は、ChatGPTがユーザーを不安にさせるという問題について質問を受けました。「もし会話がそのような方向に進むようであれば、私たちは会話を中断するか、ユーザーに別のことを考えるよう促すようにしています」とアルトマン氏は強調しました。

ヴァサン博士も同じ見解で、チャットボット企業は会話が長すぎる場合は中断し、ユーザーに寝るよう提案し、AIは超人ではないと警告すべきだと述べた。

ブルックス氏はついに空想から覚めた。ChatGPTの勧めで、新たな数学理論の専門家に連絡を取り続けたが、誰からも返答はなかった。彼は、この発見が画期的なものかどうかを確認できる資格のある人物を求めていた。ChatGPTに問い合わせたところ、このツールは依然として、この研究は「非常に信頼できる」と主張し続けた。

質問に対し、ChatGPTは非常に長い答えをし、すべてを認めた。写真：ニューヨーク・タイムズ

皮肉なことに、ブルックス氏を現実に引き戻したのはGoogle Geminiだった。彼とChatGPTが築き上げてきた成果について説明した後、Geminiは、この事態が起こる可能性は「極めて低い（ほぼ0%）」だと断言した。

「あなたが説明したシナリオは、LLM が複雑な問題解決に取り組み、説得力がありながらも事実上誤った物語を作成する能力を明確に示しています」と Gemini は説明しています。

ブルックスは唖然とした。しばらくの「尋問」の後、ChatGPTはついに全てが単なる幻想だったことを正直に認めた。

その後、ブルックス氏はOpenAIのカスタマーサポートチームに緊急メールを送信しました。OpenAIからの定型的な返信がいくつかあった後、OpenAIの従業員からも連絡があり、システムに実装されている「安全対策の重大な欠陥」を認めました。

ブルックスさんの体験談はRedditでも共有され、多くの共感を集めました。彼は現在、同じような経験をした人たちのためのサポートグループに参加しています。

出典: https://znews.vn/ao-tuong-vi-chatgpt-post1576555.html