Un fin de semana de mediados de mayo, se celebró una reunión secreta de los matemáticos del mundo. Treinta de los mejores matemáticos del mundo viajaron en secreto a Berkeley, California, para enfrentarse a un chatbot con capacidad de razonamiento. El chatbot debía resolver problemas escritos por los propios matemáticos para poner a prueba su capacidad de resolución.
Después de dos días de lanzar continuamente preguntas de nivel profesor, los matemáticos se sorprendieron al darse cuenta de que este chatbot podía resolver algunos de los problemas más difíciles jamás resueltos en la historia.
"Vi a colegas decir abiertamente que este gran modelo de lenguaje se acerca al nivel del genio matemático", dijo a Scientific American Ken Ono, profesor de la Universidad de Virginia y presidente y juez de la reunión.
El chatbot que nos llamó la atención funciona con o4-mini , un modelo de lenguaje extenso (LLM) diseñado para razonamiento complejo. Es un producto de OpenAI, entrenado para realizar pasos de razonamiento sofisticados. El modelo equivalente de Google, Gemini 2.5 Flash, tiene capacidades similares.
Al igual que los LLM de ChatGPT anteriores, o4-mini aprende a predecir la siguiente palabra en una cadena de texto. Sin embargo, a diferencia de los LLM anteriores, o4-mini es una versión más ligera y flexible, entrenada con datos profundos y optimizada por humanos, lo que le permite profundizar en problemas matemáticos que los modelos anteriores no podían abordar.
Para probar y evaluar las capacidades de o4-mini, OpenAI solicitó a Epoch AI, una organización sin fines de lucro especializada en la evaluación de modelos LLM, la creación de 300 preguntas matemáticas inéditas. Si bien los LLM tradicionales pueden resolver muchos problemas complejos, al ser sometidos a preguntas completamente nuevas, la mayoría obtuvo menos del 2% de respuestas correctas. Esto demuestra su incapacidad para razonar.
En su nuevo proyecto de evaluación, Epoch AI reclutó al joven matemático Dr. Elliot Glazer como líder. El nuevo proyecto, llamado FrontierMath , se lanzará en septiembre de 2024.
El proyecto recopila nuevas preguntas en cuatro niveles de dificultad, desde pregrado y posgrado hasta investigación avanzada. En abril de 2025, Glazer descubrió que o4-mini podía resolver aproximadamente el 20 % de los problemas. Por ello, lo elevó al nivel 4, pidiéndole que resolviera problemas con los que incluso los matemáticos avanzados tendrían dificultades.
Los participantes fueron obligados a firmar un acuerdo de confidencialidad y solo podían comunicarse a través de la aplicación encriptada Signal, ya que el uso del correo electrónico podría permitir a LLM escanear y “oler” el contenido, falsificando así los datos de la evaluación.
Cada problema que o4-mini no pueda resolver le traerá al creador del problema un premio de 7.500 USD.
El equipo inicial avanzó de forma lenta pero constante en la formulación de preguntas. Pero Glazer decidió acelerar el ritmo con una reunión presencial los días 17 y 18 de mayo. Los 30 matemáticos participantes se dividieron en equipos de seis, compitiendo entre sí, no para resolver problemas, sino para proponer problemas que la IA no pudiera resolver.
Para la tarde del 17 de mayo, Ken Ono empezaba a frustrarse con el chatbot, que demostraba una destreza matemática mucho mayor de lo esperado, lo que dificultaba al equipo atraparlo. «Se me ocurrió un problema que los expertos en la materia reconocerían como un problema abierto en teoría de números, un problema apto para un doctorado», dijo.
Como resultado, cuando consultó a o4-mini, se quedó atónito al ver cómo el chatbot analizaba, razonaba y encontraba la solución correcta en tan solo 10 minutos. En concreto, en los dos primeros minutos, aprendió y comprendió todos los documentos relevantes. Después, propuso probar una versión más sencilla del problema para aprender a abordarlo.
Cinco minutos después, el chatbot dio la respuesta correcta, con un tono seguro, incluso arrogante. "Empezó a ponerse impertinente", dijo Ono, "y añadió: '¡No hacen falta comillas porque he descubierto el número misterioso!'".
Derrotado por la IA, Ono envió inmediatamente un mensaje de socorro al equipo a través de Signal la madrugada del 18 de mayo. «No estaba en absoluto preparado para lidiar con un modelo como este», dijo. «Nunca había visto este tipo de razonamiento en un modelo informático. Pensaba como lo haría un científico de verdad. Y eso daba miedo».
Aunque los matemáticos finalmente lograron encontrar 10 preguntas que el o4-mini “no podía resolver”, aún no pudieron ocultar su sorpresa por la velocidad del desarrollo de la IA en solo un año.
Ono compara la experiencia de trabajar con o4-mini con la de colaborar con un colega muy talentoso. Y Yang Hui He, matemático del Instituto de Ciencias Matemáticas de Londres y pionero en la aplicación de la IA a las matemáticas, afirma: «Esto es lo que un estudiante de doctorado con muchísimo talento puede hacer, e incluso más».
Cabe destacar que la IA lo hace mucho más rápido que los humanos. Mientras que a los humanos les toma semanas o meses resolverlo, o4-mini solo tarda unos minutos.
El entusiasmo en torno al o4-mini no está exento de inquietudes. Tanto Ono como He advierten que el poder del o4-mini puede generar un exceso de confianza en la gente. «Tenemos prueba por inducción, prueba por contradicción y ahora prueba por… contundencia», afirma He. «Si dices algo con suficiente seguridad, la gente se asustará. Creo que el o4-mini domina este tipo de prueba: lo dice todo con gran certeza».
Al concluir la reunión, los matemáticos comenzaron a reflexionar sobre el futuro de las matemáticas. Debatieron la posibilidad de un "quinto nivel" de preguntas: preguntas que ni siquiera los mejores matemáticos del mundo pueden resolver. Si la IA alcanza ese umbral, el papel de los matemáticos cambiará drásticamente: quizás se conviertan en quienes formulen preguntas, interactúen con las IA y guíen su razonamiento paradescubrir nuevas verdades matemáticas, de forma similar a como un profesor trabaja con un estudiante de posgrado.
“Llevo tiempo diciéndoles a mis colegas que sería un grave error pensar que la inteligencia artificial general nunca se materializará, que es solo una computadora”, dijo Ono. “No quiero entrar en pánico, pero en cierto modo, estos grandes modelos lingüísticos ya están empezando a superar a la mayoría de los mejores estudiantes de doctorado del mundo”.
Fuente: https://www.vietnamplus.vn/cuoc-gap-go-dac-biet-noi-cac-nha-toan-hoc-tim-cach-danh-bai-tri-tue-nhan-tao-post1043183.vnp
Kommentar (0)