Plus l'intelligence artificielle est performante, plus elle est susceptible de dissimuler son ignorance ?

Une équipe de recherche en intelligence artificielle (IA) de l'Université polytechnique de Valence, en Espagne, a découvert que plus les grands modèles de langage deviennent grands et sophistiqués, moins ils sont susceptibles d'admettre aux utilisateurs qu'ils ne connaissent pas la réponse.

Plus une IA est intelligente, moins elle est susceptible d'admettre aux utilisateurs qu'elle ne connaît pas la réponse. (Illustration IA)

Dans une étude publiée dans la revue Nature , l'équipe a testé les dernières versions de trois des chatbots d'IA les plus populaires en termes de réactivité, de précision et de capacité des utilisateurs à repérer les mauvaises réponses.

Pour tester la précision des trois LLM les plus populaires, BLOOM, LLaMA et GPT, l'équipe a posé des milliers de questions et comparé les réponses obtenues à celles de versions précédentes de ces mêmes questions. Elle a également varié les sujets, notamment les mathématiques, les sciences , les problèmes de logique et la géographie, ainsi que la capacité à générer du texte ou à effectuer des actions telles que le tri de listes.

L'étude a révélé des tendances notables. La précision globale des chatbots s'est améliorée à chaque nouvelle version, mais a diminué face à des questions plus complexes. Étonnamment, à mesure que les LLM devenaient plus grands et plus sophistiqués, ils avaient tendance à être moins transparents quant à leur capacité à répondre correctement.

Dans les versions précédentes, la plupart des LLM informaient clairement les utilisateurs lorsqu'ils ne trouvaient pas de réponse ou avaient besoin de plus d'informations. À l'inverse, les versions plus récentes ont tendance à faire davantage de suppositions, ce qui entraîne un plus grand nombre de réponses, correctes comme incorrectes. Plus inquiétant encore, l'étude a révélé que tous les LLM fournissaient encore occasionnellement des réponses incorrectes, même à des questions simples, ce qui suggère que leur fiabilité demeure un point faible à améliorer.

Ces résultats mettent en lumière un paradoxe dans l'évolution de l'IA : alors que les modèles deviennent plus puissants, ils peuvent aussi devenir moins transparents quant à leurs limites.

Cela pose de nouveaux défis en matière d'utilisation et de confiance envers les systèmes d'IA, obligeant les utilisateurs à être plus prudents et les développeurs à se concentrer sur l'amélioration non seulement de la précision, mais aussi de la « conscience de soi » des modèles.

Source : https://baoquocte.vn/cang-thong-minh-tri-tue-nhan-tao-cang-co-xu-huong-giau-dot-287987.html