AIチャットボットが「怒り」を爆発させる

4月、プログラマー向けの新興ツールであるCursorのテクニカルサポートを担当するAIボットが、一部の顧客に対し、会社のポリシー変更を通知し、具体的には、Cursorを複数のコンピューターで使用することはできなくなったと伝えた。

顧客はフォーラムやソーシャルメディアに怒りを投稿し、中にはCursorアカウントを解約した人もいました。しかし、AIボットが実際には存在しないポリシー変更を報告していたことに気づき、さらに怒りを募らせる人もいました。

「そのようなポリシーはありません。もちろん、Cursorは複数のマシンで使用できます。残念ながら、これはAIボットからの誤った応答でした」と、同社のCEO兼共同創業者であるマイケル・トゥルーエル氏はRedditへの投稿で述べた。

偽の情報は制御不能です。

ChatGPT のリリースから 2 年以上経ち、テクノロジー企業、オフィスワーカー、一般消費者がさまざまなタスクに AI ボットを使用する頻度が高まっています。

しかし、これらのシステムが正確な情報を生成していることを保証する方法はありません。逆説的に、OpenAI、Google、DeepSeekなどの企業が開発した「推論」システムと呼ばれる最も強力な新技術は、より多くの誤りを犯しています。

ChatGPTでユーザーが犬にシリアルを食べさせるべきか尋ねる、意味不明な会話。写真： Reddit

数学的スキルが劇的に向上する一方で、大規模言語モデル（LLM）が真実を捉える能力はますます不安定になっています。驚くべきことに、エンジニア自身でさえその理由を全く理解していません。

ニューヨーク・タイムズによると、今日のAIチャットボットは、膨大なデジタルデータを分析することでスキルを学習するために、複雑な数学的システムに依存しています。しかし、何が正しくて何が間違っているかを判断することはできません。

そこから「幻覚」、つまり情報の自己捏造の状態が現れます。実際、研究によると、最新世代のLLMは、一部の旧モデルよりも「幻覚」を起こしやすいことが分かっています。

具体的には、最新のレポートで、OpenAIは、o3モデルが、人間に関するモデルの知識の正確さを測定するための同社の社内基準であるPersonQAの質問の33%に回答する際に「幻覚を起こした」ことを発見しました。

比較すると、これはOpenAIの以前の推論モデルであるo1とo3-miniの「幻覚」率の2倍に相当し、それぞれ16%と14.8%の「幻覚」率でした。一方、o4-miniモデルはPersonQAでさらに悪いパフォーマンスを示し、48%の確率で「幻覚」に悩まされました。

さらに懸念されるのは、「ChatGPTの父」でさえ、なぜこのようなことが起こるのかを実際には理解していないことです。具体的には、o3とo4-miniに関する技術レポートの中で、OpenAIは「推論モデルのスケールが大きくなるにつれて『錯覚』が悪化する理由を理解するには、さらなる研究が必要だ」と述べています。

o3とo4-miniは、プログラミングや数学関連のタスクなど、いくつかの分野で優れた成績を収めました。しかし、「一般化よりも多くの記述を行う」必要があったため、どちらのモデルも「正しい記述は増えるが、誤った記述も増える」という問題を抱えていました。