ChatGPTとDeepSeekが科学データを歪曲

ドイツの研究者グループは最近、AIチャットボットを用いて研究内容を短縮する際に生じるバイアスのリスクについて警告を発しました。研究チームは、人間が執筆した4,900件の科学論文要旨を分析した後、複数のAIモデルを用いて、これらのシステムがどのように情報を処理するかを比較しました。その結果、ほとんどのチャットボットは、正確な要約を求められても、過度に一般化してしまうという誤りを犯していることが明らかになりました。

AIチャットボットとは何か.jpg

AIは科学的研究を要約する際に偏りが生じやすい。

テストでは、AIモデルは、指示がない場合、人間の専門家に比べて5倍のミスを犯しました。正確性を明確に求められた場合でさえ、エラー率は標準的な要約の2倍でした。「一般化は一見無害に思えるかもしれませんが、実際には元の研究の本質を変えてしまいます」と研究チームの1人は述べています。「これは体系的なバイアスです。」

注目すべきは、チャットボットの最新バージョンは問題を解決できなかっただけでなく、むしろ悪化させていることです。AIが生成した要約は、滑らかで魅力的な言語によって信憑性がありそうに見える一方で、実際の内容は歪められています。あるケースでは、DeepSeekは「安全で成功裏に実施できる」という表現を「安全で効果的な治療」に変更しましたが、これは元の研究の結論を誤って解釈したものです。

別の例では、ラマモデルは、用量、服用頻度、副作用を明記せずに、若者向けの糖尿病治療薬を推奨しました。読者が医師や医療専門家で、元の研究を検証していない場合、このような要約は患者に直接的なリスクをもたらす可能性があります。

専門家によると、この現象の根底にはAIモデルの学習方法があるという。今日の多くのチャットボットは、既に簡略化された二次データ（例えばポピュラーサイエンスニュースなど）に基づいて学習されている。AIが短縮されたコンテンツを要約し続けるにつれて、歪曲のリスクは高まる。

メンタルヘルス分野の AI の専門家は、AI の開発と使用の早い段階で技術的な障壁を構築する必要があると述べています。

099393800-1681896363-glenn-carstens-peters-npxxwgq33zq-unsplash.jpg

チャットボットはコンテンツを簡単に歪める可能性があるため、ユーザーは注意する必要があります。

ユーザーが科学を学ぶ際にAIチャットボットを利用する機会が増えるにつれ、解釈における小さな誤りが急速に蓄積・拡散し、広範な誤解を招く可能性があります。科学への信頼が低下している今、このリスクはさらに懸念されるものであり、十分な注意を払う必要があります。

AIを研究と知識の普及に統合することは、もはや後戻りできない流れです。しかし、専門家は、科学的な内容を理解し検証する上で、テクノロジーが人間の役割を代替することはできないと断言しています。医療などのリスクの高い分野でチャットボットを利用する場合、スムーズな言語体験や応答速度だけに重点を置くのではなく、正確性を最優先に考えるべきです。

出典: https://khoahocdoisong.vn/chatgpt-deepseek-bop-meo-du-lieu-khoa-hoc-post1552971.html