OpenAI の音声テキスト変換 AI ツールが物語を捏造していることが判明

テクノロジー大手のOpenAIは、音声テキスト変換ツールWhisperを「人間のような正確さと堅牢性」を備えたAIだと宣伝している。しかし、Whisper には大きな欠陥が 1 つあります。それは、完全に偽のテキストや文章を生成してしまうことです。

Công cụ AI trong bệnh viện bịa ra những điều không ai nói - Ảnh 1. — AIが生成したテキストの中には「幻覚」と呼ばれるものがあり、人種差別的なコメントや暴力的な言葉、さらには架空の医療行為まで含まれている可能性がある。写真：AP

AP通信によると、ソフトウェアエンジニア、開発者、学術研究者へのインタビューから、専門家はAIが生成したテキストの一部は現実のものではなく、「幻覚」と呼ばれていると述べた。注目すべきことに、それらには人種差別的なコメント、暴力的な言葉、さらには架空の医療行為までも含まれている。

AI生成テキストにおける「錯覚」の割合の高さ

専門家が特に懸念しているのは、Whisper がインタビューの翻訳や文字起こし、人気の消費者向けテクノロジーでのテキスト生成、ビデオの字幕作成など、世界中の多くの業界で広く使用されているためです。

さらに懸念されるのは、OpenAIがこのツールは「高リスク」地域では使用すべきではないと警告しているにもかかわらず、多くの医療センターが医師と患者の間で診察を転送するためにWhisperを使用していることだ。

問題の全容を解明するのは難しいが、研究者や技術者らは仕事でウィスパーによる「幻覚」に頻繁に遭遇していると述べている。

ミシガン大学の研究者は、テストした10件の音声変換のうち8件で「幻覚」が見つかったと述べた。コンピューターエンジニアが分析した100時間以上の音声の変換結果の約半分に「幻覚」を発見した。別の開発者は、Whisperを使って作成した2万6000件の録音のほぼすべてに「幻覚」が検出されたと述べた。

短く明瞭に録音されたオーディオサンプルでも、問題は解決しません。コンピューター科学者による最近の研究では、調査した13,000以上のクリアな音声クリップの中に187の「錯覚」が発見された。この傾向により、何百万もの録音のうち何万もの部分が誤った書き起こしになるだろうと研究者らは述べている。

昨年までバイデン政権でホワイトハウス科学技術局を率いていたアロンドラ・ネルソン氏によると、こうした誤りは特に病院の現場で「非常に深刻な結果」をもたらす可能性があるという。

「誰も誤診を望んではいない」と、現在ニュージャージー州プリンストン高等研究所の教授を務めるネルソン氏は強調した。「もっと高い基準が必要だ」

Whisper は、誤訳のリスクが特に高い聴覚障害者や難聴者向けの字幕作成にも使用されます。聴覚障害者や難聴者には、「他のすべての文章の中に隠された」捏造された文章を識別する方法がないからだ、とギャロデット大学でテクノロジー・アクセシビリティ・プログラムのディレクターを務める聴覚障害者のクリスチャン・フォーグラー氏は言う。