La debilidad fatal de la IA

La IA aún no es capaz de reemplazar a los humanos en el campo de la programación. Foto: John McGuire .

Recientemente, los principales modelos de IA de OpenAI y Anthropic se utilizan cada vez más en aplicaciones de programación. ChatGPT y Claude han aumentado su memoria y capacidad de procesamiento para analizar cientos de líneas de código, mientras que Gemini integra una función específica de visualización de resultados en Canvas para programadores.

En octubre de 2024, Sundar Pichai, director ejecutivo de Google, afirmó que el 25 % del código nuevo de la empresa se generaba mediante inteligencia artificial. Mark Zuckerberg, director ejecutivo de Meta, también expresó su intención de implementar ampliamente modelos de codificación basados en IA dentro de la corporación.

Sin embargo, un nuevo estudio de Microsoft Research, la división de I+D de Microsoft, muestra que los modelos de IA, incluidos Claude 3.7 Sonnet de Anthropic y o3-mini de OpenAI, no son capaces de gestionar muchos errores en una prueba de programación denominada SWE-bench Lite.

Los autores del estudio examinaron nueve modelos de IA diferentes que incorporaban diversas herramientas de depuración, como un depurador de Python, y que eran capaces de resolver problemas con una sola instrucción. Los modelos tenían la tarea de solucionar 300 errores de software seleccionados del conjunto de datos SWE-bench Lite.

Tasa de éxito al resolver problemas de programación del conjunto de datos SWE-bench Lite. Imagen: Microsoft.

Incluso con modelos más potentes y modernos, los resultados mostraron que el agente de IA rara vez completaba con éxito más de la mitad de las tareas de depuración asignadas. Entre los modelos probados, Claude 3.7 Sonnet obtuvo la tasa de éxito promedio más alta, con un 48,4 %, seguido de o1 de OpenAI con un 30,2 % y o3-mini con un 22,1 %.

Entre las razones del bajo rendimiento mencionado anteriormente, se encuentra el hecho de que algunos modelos no comprenden cómo aplicar las herramientas de depuración proporcionadas. Además, según los autores, un problema mayor radica en la falta de datos suficientes.

Argumentan que el sistema de entrenamiento de los modelos aún carece de datos que simulen los pasos de depuración que siguen los humanos de principio a fin. En otras palabras, la IA no ha aprendido lo suficiente sobre cómo piensan y actúan los humanos paso a paso al lidiar con un error de software real.

El entrenamiento y el perfeccionamiento de los modelos les ayudarán a ser más competentes en la depuración de software. "Sin embargo, esto requerirá conjuntos de datos especializados para el proceso de entrenamiento", afirmaron los autores.

Numerosos estudios han señalado vulnerabilidades de seguridad y errores en la IA durante la generación de código, debido a debilidades como la comprensión limitada de la lógica de programación. Una revisión reciente de Devin, una herramienta de programación basada en IA, mostró que solo completó 3 de 20 pruebas de programación.

Las capacidades de programación de la IA siguen siendo objeto de mucho debate. Anteriormente, Kevin Weil, director de producto de OpenAI, sugirió que para finales de este año, la IA superaría a los programadores humanos.

Por otro lado, Bill Gates, cofundador de Microsoft, cree que la programación seguirá siendo una profesión viable en el futuro. Otros líderes como Amjad Masad (CEO de Replit), Todd McKinnon (CEO de Okta) y Arvind Krishna (CEO de IBM) también han manifestado su apoyo a esta opinión.

La investigación de Microsoft, si bien no es novedosa, sirve como recordatorio para los programadores, incluidos los gerentes, de que deben pensar con más detenimiento antes de ceder la autoridad total de codificación a la IA.