Avertissement concernant les « hallucinations » de ChatGPT

Les deux nouveaux modèles ChatGPT lancés ont une fréquence de fabrication d'informations plus élevée que la génération précédente. Photo : Lucioles .

Deux jours seulement après l'annonce de GPT-4.1, OpenAI a officiellement lancé non pas un mais deux nouveaux modèles, appelés o3 et o4-mini. Les deux modèles démontrent des capacités d’inférence supérieures avec de nombreuses améliorations puissantes.

Cependant, selon TechCrunch , ce nouveau duo de mannequins souffre encore d'« hallucination » ou d'informations auto-créées. Ils « hallucinent » même davantage que certains des anciens modèles d’OpenAI.

Selon IBM, les hallucinations surviennent lorsqu'un grand modèle de langage (LLM) — généralement un chatbot ou un outil de vision par ordinateur — reçoit des modèles de données qui n'existent pas ou qui sont méconnaissables pour les humains, ce qui donne des résultats dénués de sens ou trompeurs.

En d’autres termes, les utilisateurs demandent souvent à l’IA de générer des résultats précis, basés sur les données de formation. Cependant, dans certains cas, les résultats de l’IA ne sont pas basés sur des données précises, créant des réponses « illusoires ».

Dans son dernier rapport, OpenAI a constaté qu'o3 avait « halluciné » en répondant à 33 % des questions sur PersonQA, la référence interne de l'entreprise pour mesurer la précision des connaissances d'un modèle sur les humains.

À titre de comparaison, il s’agit du double du taux d’« hallucination » des modèles de raisonnement précédents d’OpenAI, o1 et o3-mini, qui étaient respectivement de 16 % et 14,8 %. Pendant ce temps, le modèle O4-mini a fait encore pire sur PersonQA, connaissant des « hallucinations » pendant 48 % de la durée du test.

Plus inquiétant encore, le « père de ChatGPT » ne sait pas réellement pourquoi cela se produit. Plus précisément, dans le rapport technique sur o3 et o4-mini, OpenAI écrit que « des recherches supplémentaires sont nécessaires pour comprendre pourquoi « l'illusion » s'aggrave » à mesure que les modèles de raisonnement sont mis à l'échelle.

Les modèles o3 et o4-mini sont plus performants dans certains domaines, notamment la programmation et les tâches liées aux mathématiques. Cependant, en raison de la nécessité de « faire plus d’affirmations que de généraliser », les deux modèles souffrent du problème de produire des résultats qui incluent « des affirmations plus précises, mais aussi des affirmations plus inexactes ».

Source : https://znews.vn/canh-bao-ve-chatgpt-ao-giac-post1547242.html