Plus l’intelligence artificielle est intelligente, plus elle a de chances de cacher son ignorance ?

Une équipe de recherche en intelligence artificielle (IA) de l'Université polytechnique de Valence, en Espagne, a découvert qu'à mesure que les grands modèles linguistiques deviennent plus grands et plus sophistiqués, ils ont tendance à être moins susceptibles d'admettre aux utilisateurs qu'ils ne connaissent pas la réponse.

Plus l'IA est intelligente, moins elle est susceptible d'admettre aux utilisateurs qu'elle ne connaît pas la réponse. (Illustration de l'IA)

Dans l'étude, publiée dans la revue Nature , l'équipe a testé les dernières versions de trois des chatbots IA les plus populaires sur la réactivité, la précision et la capacité des utilisateurs à repérer les réponses incorrectes.

Pour tester la précision des trois LLM les plus populaires, BLOOM, LLaMA et GPT, l'équipe a posé des milliers de questions et comparé les réponses obtenues aux versions précédentes des mêmes questions. Elle a également varié les sujets, incluant les mathématiques, les sciences , les jeux de mots et la géographie, ainsi que la possibilité de générer du texte ou d'effectuer des actions comme trier des listes.

L'étude a révélé des tendances notables. La précision globale des chatbots s'améliorait à chaque nouvelle version, mais diminuait encore face à des questions plus complexes. Étonnamment, à mesure que les LLM gagnaient en taille et en sophistication, ils tendaient à être moins transparents quant à leur capacité à répondre correctement.

Dans les versions précédentes, la plupart des LLM indiquaient explicitement aux utilisateurs lorsqu'ils ne trouvaient pas de réponse ou avaient besoin de plus d'informations. En revanche, les versions plus récentes ont tendance à deviner davantage, ce qui se traduit par un nombre global de réponses, correctes comme incorrectes. Plus inquiétant encore, l'étude a révélé que tous les LLM donnaient encore parfois des réponses incorrectes, même à des questions faciles, ce qui suggère que leur fiabilité reste perfectible.

Ces résultats mettent en évidence un paradoxe dans l’évolution de l’IA : si les modèles deviennent plus puissants, ils peuvent également devenir moins transparents quant à leurs limites.

Cela pose de nouveaux défis dans l’utilisation et la confiance dans les systèmes d’IA, obligeant les utilisateurs à être plus prudents et les développeurs à se concentrer sur l’amélioration non seulement de la précision mais aussi de la « conscience de soi » des modèles.

Source : https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html