El experto en IA dejó OpenAI, la empresa de la que fue uno de los fundadores, a principios de este año para crear su propio laboratorio de IA llamado Safe Superintelligence Inc.

“El preentrenamiento tal como lo conocemos dejará de existir”, dijo Sutskever en una conferencia sobre procesamiento de información neuronal.

El término "preentrenamiento" se refiere a la etapa inicial del desarrollo de un modelo de IA, cuando un modelo de lenguaje grande aprende patrones a partir de grandes cantidades de datos no etiquetados, a menudo texto de Internet, libros y otras fuentes.

Agotamiento de los recursos de datos

Sutskever dijo que si bien cree que los datos actuales aún pueden acelerar el desarrollo de la IA, la industria se está quedando sin nuevos recursos para entrenar modelos.

Esto, dice, eventualmente conducirá a un cambio en la forma en que se entrenan los modelos de IA hoy en día.

8da2491217a6b424c37773100bec59ff.jpg
Los modelos de IA descubrirán cómo entrenarse a sí mismos basándose en cantidades limitadas de datos. Foto: Yahoo Tech

Esta es también la situación que ha ocurrido y está ocurriendo con los recursos fósiles, cuando los yacimientos de petróleo son un recurso limitado, o como si Internet sólo contuviera una cantidad finita de contenido creado por el hombre.

“Hemos alcanzado el pico de datos y no habrá más en el futuro”, dijo Sutskever. “Tenemos que trabajar con datos existentes, con una fuente actual de Internet”.

Sutskever predice que los modelos de próxima generación estarán “verdaderamente basados ​​en agentes”. “Agente” es una palabra clave popular en el campo de la IA, a menudo entendida como un sistema de IA que realiza tareas automáticamente, toma decisiones e interactúa con el software de forma independiente.

Además de ser “similares a agentes”, dijo que los futuros sistemas de IA serán capaces de razonar. A diferencia de la IA actual, que reconoce principalmente patrones basados ​​en lo que el modelo ha aprendido previamente, los sistemas de IA futuros podrán resolver problemas paso a paso de una manera muy similar al pensamiento. “Cuanta más inferencia haya, menos predecible se vuelve el sistema”, compartió Sutskever.

La IA puede crear su propia forma de entrenarse

El experto también comparó el desarrollo de los sistemas de IA con la biología evolutiva, citando investigaciones que muestran la relación entre el tamaño del cerebro y el cuerpo en los animales.

Por ejemplo, mientras que la mayoría de los mamíferos siguen un cierto patrón proporcional, los humanos tienen proporciones cerebrales y corporales marcadamente diferentes.

Y en algún momento, cuando la evolución encuentre nuevas tasas de crecimiento cerebral de nuestros antepasados, la IA también podrá encontrar nuevas formas de escalar, superando la forma en que se entrenan los modelos actuales.

(Según TheVerge, Yahoo Tech)

Revelando los salarios “altísimos” de xAI y OpenAI Elon Musk acusó a OpenAI de pagar demasiado a sus empleados y calificó esto como una acción anticompetitiva. Aun así, la startup xAI del multimillonario paga muy por encima del promedio.