Warnung vor ChatGPT-„Halluzinationen“

Aktuelle Studien haben gezeigt, dass GPT o3 und o4-mini – die leistungsstärksten Modelle im Portfolio von OpenAI – noch mehr falsche Informationen fabrizieren als ihre Vorgänger.

Die beiden neu eingeführten ChatGPT-Modelle weisen eine höhere Häufigkeit der Informationsfälschung auf als die vorherige Generation. Foto: Fireflies .

Nur zwei Tage nach der Ankündigung von GPT-4.1 veröffentlichte OpenAI offiziell gleich zwei neue Modelle: o3 und o4-mini. Beide Modelle zeichnen sich durch überlegene Inferenzfähigkeiten und mehrere leistungsstarke Verbesserungen aus.

Laut TechCrunch leiden diese beiden neuen Modelle jedoch immer noch unter „Halluzinationen“ oder der Fälschung von Informationen. Tatsächlich leiden sie stärker unter „Halluzinationen“ als einige der älteren Modelle von OpenAI.

Laut IBM liegen Halluzinationen vor, wenn ein großes Sprachmodell (LLM) – typischerweise ein Chatbot oder ein Computer-Vision-Tool – Datenmuster empfängt, die nicht existieren oder für Menschen nicht erkennbar sind, was zu bedeutungslosen oder irreführenden Ergebnissen führt.

Mit anderen Worten: Nutzer verlangen von der KI oft, dass sie auf Grundlage der Trainingsdaten präzise Ergebnisse liefert. In manchen Fällen basieren die Ergebnisse der KI jedoch nicht auf präzisen Daten, was zu „illusorischen“ Antworten führt.

In seinem jüngsten Bericht stellte OpenAI fest, dass o3 bei der Beantwortung von 33 % der Fragen bei PersonQA, dem internen Benchmark des Unternehmens zur Messung der Genauigkeit des Wissens eines Modells über Menschen, „halluzinierte“.

Zum Vergleich: Dies ist die doppelte „Halluzinationsrate“ der vorherigen Reasoning-Modelle von OpenAI, o1 und o3-mini, die in 16 % bzw. 14,8 % der Fälle unter Halluzinationen litten. Das Modell O4-mini schnitt bei PersonQA sogar noch schlechter ab und litt in 48 % der Fälle unter „Halluzinationen“.

Noch beunruhigender ist, dass der „Vater von ChatGPT“ nicht wirklich weiß, warum dies geschieht. Im technischen Bericht zu o3 und o4-mini schreibt OpenAI, dass „weitere Forschung erforderlich ist, um zu verstehen, warum die ‚Illusion‘ schlimmer wird“, wenn die Argumentationsmodelle skaliert werden.

Die Modelle o3 und o4-mini schnitten in einigen Bereichen besser ab, darunter bei Programmier- und Mathematikaufgaben. Da sie jedoch „mehr Aussagen treffen als verallgemeinern“ mussten, produzierten beide Modelle „mehr richtige, aber auch mehr falsche Aussagen“.

Quelle: https://znews.vn/canh-bao-ve-chatgpt-ao-giac-post1547242.html