Un week-end de la mi-mai, une réunion secrète des mathématiciens du monde entier a eu lieu. Trente des meilleurs mathématiciens du monde se sont rendus secrètement à Berkeley, en Californie, pour affronter un chatbot doté de capacités de « raisonnement ». Ce chatbot avait pour mission de résoudre des problèmes rédigés par des mathématiciens eux-mêmes, afin de tester ses capacités.
Après deux jours de questions répétées de niveau professeur, les mathématiciens ont été étonnés de constater que ce chatbot pouvait résoudre certains des problèmes les plus difficiles jamais résolus dans l'histoire.
« J'ai vu des collègues dire sans détour que ce grand modèle de langage approchait le niveau du génie mathématique », a déclaré à Scientific American Ken Ono, professeur à l'Université de Virginie et président et juge de la réunion.
Le chatbot qui a retenu notre attention est basé sur o4-mini , un modèle de langage étendu (LLM) conçu pour le raisonnement complexe. Il s'agit d'un produit d'OpenAI, entraîné à effectuer des étapes de raisonnement sophistiquées. Le modèle équivalent de Google, Gemini 2.5 Flash, présente des capacités similaires.
Comme les précédents LLM de ChatGPT, o4-mini apprend à prédire le mot suivant dans une chaîne de texte. Cependant, contrairement aux précédents LLM, o4-mini est une version plus légère et plus flexible, entraînée sur des données approfondies et optimisée par des humains, ce qui lui permet d'explorer des problèmes mathématiques inaccessibles aux modèles précédents.
Pour tester et évaluer les capacités d'o4-mini, OpenAI a demandé à Epoch AI, une association à but non lucratif spécialisée dans les tests de modèles LLM, de créer 300 questions mathématiques inédites. Si les LLM traditionnels permettent de résoudre de nombreux problèmes complexes, face à des questions totalement inédites, la plupart d'entre eux obtiennent moins de 2 % de bonnes réponses. Cela démontre leur manque de capacité de raisonnement.
Dans le cadre de son nouveau projet d'évaluation, Epoch AI a recruté le jeune mathématicien Dr Elliot Glazer comme responsable. Baptisé FrontierMath , ce nouveau projet sera lancé en septembre 2024.
Le projet recueille de nouvelles questions à quatre niveaux de difficulté, du niveau licence au master, en passant par la recherche avancée. En avril 2025, Glazer a découvert qu'o4-mini pouvait résoudre environ 20 % des problèmes. Il l'a donc porté au niveau 4, lui demandant de résoudre des problèmes que même des mathématiciens confirmés auraient du mal à résoudre.
Les participants ont été contraints de signer un accord de confidentialité et ne pouvaient communiquer que via l’application cryptée Signal, car l’utilisation du courrier électronique pouvait permettre à LLM de scanner et de « renifler » le contenu, falsifiant ainsi les données d’évaluation.
Chaque problème que o4-mini ne peut pas résoudre rapportera à celui qui le résout un prix de 7 500 USD.
L'équipe initiale a progressé lentement, mais sûrement, dans la formulation des questions. Mais Glazer a décidé d'accélérer le rythme en organisant une réunion en personne les 17 et 18 mai. Les 30 mathématiciens participants ont été répartis en équipes de six, s'affrontant non pas pour résoudre des problèmes, mais pour en trouver d'autres que l'IA ne pourrait résoudre.
Le soir du 17 mai, Ken Ono commençait à être frustré par le chatbot, qui déployait des prouesses mathématiques bien au-delà des attentes, rendant difficile pour l'équipe de le « piéger ». « J'ai trouvé un problème que les experts du domaine reconnaîtraient comme un problème ouvert en théorie des nombres – un problème qui pourrait convenir à un doctorat », a-t-il déclaré.
Lorsqu'il a interrogé o4-mini, il a été stupéfait de voir le chatbot analyser, raisonner et trouver la solution adéquate en seulement 10 minutes. Plus précisément, au cours des deux premières minutes, il a assimilé tous les documents pertinents. Il a ensuite proposé une version simplifiée du problème pour apprendre à l'aborder.
Cinq minutes plus tard, le chatbot donnait la bonne réponse, d'un ton assuré, voire arrogant. « Ça a commencé à devenir insolent », a dit Ono. « Et il a ajouté : “Pas besoin de guillemets, j'ai trouvé le numéro mystère !” »
Vaincu par l'IA, Ono a immédiatement envoyé un message de détresse à l'équipe via Signal au petit matin du 18 mai. « Je n'étais absolument pas préparé à gérer un tel modèle », a-t-il déclaré. « Je n'avais jamais vu ce type de raisonnement dans un modèle informatique. Il raisonnait comme un vrai scientifique . Et c'était effrayant. »
Bien que les mathématiciens aient finalement réussi à trouver 10 questions que l’o4-mini « ne pouvait pas résoudre », ils n’ont pas pu cacher leur choc face à la vitesse de développement de l’IA en seulement un an.
Ono compare l'expérience de travail avec o4-mini à une collaboration avec un collègue très talentueux. Yang Hui He, mathématicien au London Institute of Mathematical Sciences et pionnier de l'application de l'IA aux mathématiques, déclare : « C'est ce qu'un doctorant très talentueux peut faire, et même plus. »
Il convient de noter que l'IA y parvient beaucoup plus rapidement que les humains. Alors qu'il faut des semaines, voire des mois, à des humains pour résoudre ce problème, o4-mini ne prend que quelques minutes.
L'engouement suscité par l'o4-mini n'est pas sans inquiétude. Ono et He préviennent tous deux que la puissance de l'o4-mini peut rendre les gens trop confiants. « Nous avons la preuve par induction, la preuve par contradiction, et maintenant la preuve par… l'écrasement », explique-t-il. « Si vous affirmez quelque chose avec suffisamment d'assurance, les gens seront effrayés. Je pense que l'o4-mini maîtrise ce type de preuve : il dit tout avec une grande certitude. »
À la fin de la réunion, les mathématiciens ont commencé à réfléchir à l'avenir des mathématiques. Ils ont évoqué la possibilité d'un « cinquième niveau » de questions – des questions que même les meilleurs mathématiciens du monde ne peuvent résoudre. Si l'IA atteint ce seuil, le rôle des mathématiciens changera radicalement : peut-être deviendront-ils ceux qui poseront des questions, interagiront avec les IA et guideront leur raisonnement pour découvrir de nouvelles vérités mathématiques, à la manière d'un professeur travaillant avec un étudiant de troisième cycle.
« Je dis à mes collègues depuis un certain temps que ce serait une grave erreur de croire que l'intelligence artificielle générale n'existera jamais, qu'il ne s'agit que d'un ordinateur », a déclaré Ono. « Je ne veux pas paniquer, mais d'une certaine manière, ces grands modèles linguistiques commencent déjà à surpasser la plupart des meilleurs doctorants du monde. »
Source : https://www.vietnamplus.vn/cuoc-gap-go-dac-biet-noi-cac-nha-toan-hoc-tim-cach-danh-bai-tri-tue-nhan-tao-post1043183.vnp
Comment (0)