Une réunion spéciale où les mathématiciens cherchent à vaincre l'intelligence artificielle

Un week-end de la mi-mai, une réunion secrète du monde des mathématiques a eu lieu. Trente des plus grands mathématiciens du monde se sont rendus secrètement à Berkeley, en Californie, aux États-Unis, pour assister à une confrontation avec un chatbot capable de « raisonner ». Ce chatbot était chargé de résoudre des problèmes écrits par des mathématiciens eux-mêmes, afin de tester ses capacités.

Après deux jours de questions continues de niveau professeur, les mathématiciens ont été surpris de réaliser que ce chatbot pouvait résoudre certains des problèmes les plus difficiles jamais résolus dans l'histoire.

« J'ai vu des collègues dire ouvertement que ce grand modèle de langage approchait le niveau du génie mathématique », a déclaré à Scientific American Ken Ono, professeur à l'Université de Virginie et président et juge de la réunion.

Le chatbot qui a retenu notre attention est basé sur o4-mini , un modèle de langage étendu (LLM) conçu pour le raisonnement complexe. Produit d'OpenAI, il est entraîné à effectuer des raisonnements sophistiqués. Le modèle équivalent de Google, Gemini 2.5 Flash, présente des capacités similaires.

Comme les précédents LLM de ChatGPT, o4-mini apprend à prédire le mot suivant dans une chaîne de texte. Cependant, o4-mini est une version plus légère et plus flexible, entraînée sur des données approfondies et optimisée par des humains, ce qui lui permet d'explorer des problèmes mathématiques inaccessibles aux modèles précédents.

Pour tester les capacités de l'o4-mini, OpenAI a demandé à Epoch AI, une association à but non lucratif spécialisée dans le test de modèles LLM, de créer 300 questions mathématiques inédites. Si les LLM traditionnels permettent de résoudre de nombreux problèmes complexes, face à des questions totalement inédites, la plupart d'entre eux obtenaient moins de 2 % de bonnes réponses, ce qui suggérait qu'ils n'étaient pas véritablement capables de raisonner.

Dans le cadre de ce nouveau projet d'évaluation, Epoch AI a recruté le jeune mathématicien Dr Elliot Glazer comme responsable. Baptisé FrontierMath , ce nouveau projet sera déployé à partir de septembre 2024.

Le projet recueille de nouvelles questions selon quatre niveaux de difficulté, du premier cycle au master, en passant par la recherche avancée. En avril 2025, Glazer a constaté qu'o4-mini pouvait résoudre environ 20 % des problèmes. Il est donc passé au niveau 4, lui demandant de résoudre des problèmes que même des mathématiciens confirmés auraient du mal à résoudre.

Les participants ont été contraints de signer un accord de confidentialité et ne pouvaient communiquer que via l’application cryptée Signal, car l’utilisation du courrier électronique pouvait permettre à LLM de scanner et de « renifler » le contenu, falsifiant ainsi les données d’évaluation.

Chaque problème que o4-mini ne peut pas résoudre rapportera au questionneur un prix de 7 500 USD.

L'équipe initiale a progressé lentement, mais sûrement, dans la formulation des questions. Mais Glazer a décidé d'accélérer les choses en organisant une réunion en présentiel les 17 et 18 mai. Les 30 mathématiciens participants ont été répartis en groupes de six, en compétition les uns contre les autres, non pas pour résoudre des problèmes, mais pour en trouver d'autres que l'IA ne pourrait résoudre.

Le soir du 17 mai, Ken Ono commençait à être frustré par le chatbot, dont les compétences mathématiques dépassaient largement les attentes, ce qui rendait difficile pour l'équipe de le « piéger ». « J'ai trouvé un problème que les experts du domaine reconnaîtraient comme un problème ouvert en théorie des nombres – un problème digne d'un doctorat », a-t-il déclaré.

Lorsqu'il a interrogé o4-mini, il a été stupéfait de voir le chatbot analyser, raisonner et trouver la solution adéquate en seulement 10 minutes. Plus précisément, durant les deux premières minutes, il a assimilé tous les documents pertinents. Il lui a ensuite proposé d'essayer une version simplifiée du problème pour apprendre à l'aborder.

Cinq minutes plus tard, le chatbot donnait la bonne réponse, sur un ton assuré, voire arrogant. « Cela a commencé à devenir insolent », raconte Ono, « Et il a ajouté : “Pas besoin de citation, j’ai trouvé le numéro secret !” »

Vaincu par l'IA, au petit matin du 18 mai, Ono envoya immédiatement un message d'avertissement à l'équipe via Signal. « Je n'étais absolument pas préparé à gérer un tel modèle », dit-il. « Je n'avais jamais vu ce genre de raisonnement dans un modèle informatique. Il raisonnait comme un vrai scientifique . Et c'était effrayant. »

Bien que les mathématiciens aient finalement réussi à trouver 10 questions qui ont laissé l'o4-mini perplexe, ils n'ont toujours pas pu cacher leur choc face à la vitesse du développement de l'IA en seulement un an.

Ono compare l'expérience de travail avec o4-mini à une collaboration avec un collègue très talentueux. Yang Hui He, mathématicien au London Institute of Mathematical Sciences et pionnier de l'application de l'IA aux mathématiques, commente : « Voilà ce qu'un doctorant très talentueux peut faire, et même plus. »

Il convient de noter que l'IA y parvient bien plus rapidement que les humains. Alors qu'il faut des semaines, voire des mois, à des humains pour résoudre ce problème, o4-mini ne prend que quelques minutes.

L'engouement suscité par l'o4-mini n'est pas sans inquiétude. Ono et He préviennent tous deux que les capacités de l'o4-mini peuvent rendre les gens trop confiants. « Nous avons la preuve par induction, la preuve par contradiction, et maintenant la preuve par… excès », explique-t-il. « Si vous dites quelque chose avec suffisamment d'assurance, les gens seront intimidés. Je pense que l'o4-mini maîtrise ce type de preuve : il dit tout avec une grande assurance. »

À la fin de la réunion, les mathématiciens ont commencé à réfléchir à l'avenir des mathématiques. Ils ont évoqué la possibilité d'un « cinquième niveau » – des questions que même les meilleurs mathématiciens du monde ne peuvent résoudre. Si l'IA atteint ce seuil, le rôle des mathématiciens changera radicalement : peut-être deviendront-ils des questionneurs, interagissant avec le raisonnement de l'IA et le guidant pour découvrir de nouvelles vérités mathématiques, à la manière d'un professeur travaillant avec un étudiant de troisième cycle.

« Je dis à mes collègues depuis longtemps que ce serait une grave erreur de croire que l'IA universelle n'arrivera jamais, qu'il ne s'agit que d'un ordinateur », a déclaré Ono. « Je ne veux pas céder à la panique, mais d'une certaine manière, ces grands modèles de langage commencent déjà à surpasser la plupart des meilleurs doctorants du monde. »

(Vietnam+)

Source : https://www.vietnamplus.vn/cuoc-gap-go-dac-biet-noi-cac-nha-toan-hoc-tim-cach-danh-bai-tri-tue-nhan-tao-post1043183.vnp