El experto en IA dejó OpenAI, la empresa que cofundó, a principios de este año para iniciar su propio laboratorio de IA llamado Safe Superintelligence Inc.

“El preentrenamiento tal como lo conocemos dejará de existir”, afirmó Sutskever en una conferencia sobre procesamiento de información neuronal.

El término "preentrenamiento" se refiere a la etapa inicial del desarrollo del modelo de IA, cuando un modelo de lenguaje grande aprende patrones a partir de grandes cantidades de datos no etiquetados, a menudo texto de Internet, libros y otras fuentes.

Agotamiento de los recursos de datos

Sutskever dijo que si bien cree que los datos actuales aún pueden acelerar el desarrollo de la IA, la industria se está quedando sin nuevos recursos para entrenar modelos.

Esto, dice, eventualmente conducirá a un cambio en la forma en que se entrenan los modelos de IA hoy en día.

8da2491217a6b424c37773100bec59ff.jpeg
Los modelos de IA descubrirán cómo entrenarse a sí mismos basándose en cantidades limitadas de datos. Foto: Yahoo Tech

Esta es también la situación que ha ocurrido y está ocurriendo con los recursos fósiles, cuando los yacimientos petrolíferos son un recurso limitado, o como si Internet sólo contuviera una cantidad finita de contenido creado por el hombre.

“Hemos alcanzado el límite de datos y no lo alcanzaremos en el futuro”, dijo Sutskever. “Tenemos que trabajar con los datos disponibles, con una fuente de internet actualizada”.

Sutskever predice que los modelos de próxima generación serán "verdaderamente similares a agentes". "Agente" es un término popular en el campo de la IA, generalmente entendido como un sistema de IA autónomo que realiza tareas, toma decisiones e interactúa con el software de forma independiente.

Además de ser "similares a agentes", afirmó que los futuros sistemas de IA podrán razonar. A diferencia de la IA actual, que reconoce principalmente patrones basándose en lo que el modelo ha aprendido previamente, los futuros sistemas de IA podrán resolver problemas paso a paso de una forma más cercana al pensamiento. "Cuanto más razonamiento, menos predecible se vuelve el sistema", afirmó Sutskever.

La IA puede crear su propia forma de entrenarse

El experto también comparó el desarrollo de los sistemas de IA con la biología evolutiva, citando investigaciones que muestran la relación entre el tamaño del cerebro y el cuerpo en los animales.

Por ejemplo, mientras que la mayoría de los mamíferos siguen un cierto patrón proporcional, los humanos tienen proporciones cerebrales y corporales marcadamente diferentes.

Y en algún momento, a medida que la evolución encuentre nuevas tasas de crecimiento cerebral de nuestros antepasados, la IA también podrá encontrar nuevas formas de escalar más allá de la forma actual de entrenar modelos.

(Según TheVerge, Yahoo Tech)

Elon Musk reveló los altísimos salarios de xAI y OpenAI. Acusó a OpenAI de pagar salarios excesivos a sus empleados, calificándolo de anticompetitivo. Sin embargo, la startup del multimillonario, xAI, también paga mucho más que el promedio.