La faiblesse fatale de l'IA

L'IA n'a pas encore remplacé les humains en programmation. Photo : John McGuire .

Ces derniers temps, les principaux modèles d'IA d'OpenAI et d'Anthropic sont de plus en plus utilisés pour la programmation d'applications. ChatGPT et Claude ont augmenté la mémoire et la puissance de traitement pour permettre l'analyse de centaines de lignes de code, tandis que Gemini a intégré un affichage des résultats Canvas spécialement conçu pour les programmeurs.

En octobre 2024, Sundar Pichai, PDG de Google, a déclaré que 25 % du nouveau code de l'entreprise serait généré par l'IA. Mark Zuckerberg, PDG de Meta, a également exprimé son ambition de déployer largement des modèles d'IA d'écriture de code au sein de l'entreprise.

Cependant, une nouvelle étude de Microsoft Research, la branche R&D de Microsoft, montre que les modèles d'IA, notamment Claude 3.7 Sonnet d'Anthropic et o3-mini d'OpenAI, n'ont pas réussi à gérer de nombreuses erreurs dans un benchmark de test de programmation appelé SWE-bench Lite.

Les auteurs de l'étude ont testé neuf modèles d'IA différents, intégrés à divers outils de débogage, tels que le débogueur Python, et capables de résoudre des problèmes en une seule instruction. Ces modèles devaient résoudre 300 bugs logiciels sélectionnés dans le jeu de données SWE-bench Lite.

Taux de réussite lors de la résolution de problèmes de programmation à partir de l'ensemble de données SWE-bench Lite. Photo : Microsoft.

Même équipés de modèles plus récents et plus puissants, les résultats ont montré que les agents d'IA accomplissaient rarement plus de la moitié des tâches de débogage assignées. Parmi les modèles testés, Claude 3.7 Sonnet a obtenu le taux de réussite moyen le plus élevé, soit 48,4 %, suivi par o1 d'OpenAI, avec 30,2 %, et o3-mini, avec 22,1 %.

Ces faibles performances s'expliquent notamment par le fait que certains modèles ne comprennent pas comment appliquer les outils de débogage fournis. De plus, selon les auteurs, le problème le plus important réside dans l'insuffisance des données.

Ils soutiennent que le système qui entraîne les modèles manque encore de données simulant les étapes de débogage suivies par les humains, du début à la fin. Autrement dit, l'IA n'a pas suffisamment appris comment les humains pensent et agissent étape par étape lorsqu'ils traitent un bug logiciel réel.

L'entraînement et le perfectionnement des modèles permettraient de les rendre plus performants dans le débogage des logiciels. « Cependant, cela nécessiterait des jeux de données d'entraînement spécialisés », ont déclaré les auteurs.

De nombreuses études ont mis en évidence des failles de sécurité et des erreurs dans la génération de code IA, dues à des faiblesses telles qu'une capacité limitée à comprendre la logique de programmation. Une analyse récente de Devin, un outil de programmation IA, a révélé que celui-ci n'a réussi que 3 tests de programmation sur 20.

La capacité de programmation de l'IA reste controversée. M. Kevin Weil, directeur produit d'OpenAI, avait déclaré que d'ici la fin de l'année, l'IA surpasserait les programmeurs humains.

De son côté, Bill Gates, cofondateur de Microsoft, estime que la programmation restera une carrière viable à l'avenir. D'autres dirigeants, comme Amjad Masad (PDG de Replit), Todd McKinnon (PDG d'Okta) et Arvind Krishna (PDG d'IBM), ont également exprimé leur soutien à ce point de vue.

Les recherches de Microsoft, bien que pas nouvelles, rappellent également aux programmeurs, y compris aux managers, de réfléchir plus attentivement avant de donner le contrôle total du codage à l'IA.

Source : https://znews.vn/diem-yeu-chi-mang-cua-ai-post1545220.html