El experto en IA dejó OpenAI, la empresa que cofundó, a principios de este año para crear su propio laboratorio de IA llamado Safe Superintelligence Inc.

“El preentrenamiento tal como lo conocemos dejará de existir”, dijo Sutskever en una conferencia sobre procesamiento de información neuronal.

El término "preentrenamiento" se refiere a la etapa inicial en el desarrollo de un modelo de IA, cuando un modelo de lenguaje grande aprende patrones a partir de grandes cantidades de datos sin etiquetar, a menudo texto de Internet, libros y otras fuentes.

Agotamiento de los recursos de datos

Sutskever afirmó que, si bien cree que los datos actuales aún pueden acelerar el desarrollo de la IA, la industria se está quedando sin nuevos recursos para entrenar modelos.

Según él, esto acabará provocando un cambio en la forma en que se entrenan hoy en día los modelos de IA.

8da2491217a6b424c37773100bec59ff.jpeg
Los modelos de IA aprenderán a entrenarse a sí mismos con cantidades limitadas de datos. Foto: Yahoo Tech

Esta es también la situación que se ha dado y se sigue dando con los recursos fósiles, cuando los yacimientos petrolíferos son un recurso limitado, o como ocurre con Internet, que solo contiene una cantidad finita de contenido creado por el ser humano.

“Hemos alcanzado el límite de datos y no lo habrá en el futuro”, dijo Sutskever. “Tenemos que trabajar con los datos disponibles, con una fuente de internet actual”.

Sutskever predice que los modelos de próxima generación serán “verdaderamente similares a agentes”. “Agente” es un término popular en el campo de la IA, generalmente entendido como un sistema de IA autónomo que realiza tareas, toma decisiones e interactúa con el software de forma independiente.

Además de ser «similares a agentes», afirmó que los futuros sistemas de IA podrán razonar. A diferencia de la IA actual, que principalmente reconoce patrones basándose en lo que el modelo ha aprendido previamente, los futuros sistemas de IA podrán resolver problemas paso a paso, de una manera más cercana al pensamiento. «Cuanto más razona, menos predecible se vuelve el sistema», explicó Sutskever.

La IA puede crear su propia forma de entrenarse.

El experto también comparó el desarrollo de los sistemas de IA con la biología evolutiva, citando investigaciones que muestran la relación entre el tamaño del cerebro y el tamaño del cuerpo en los animales.

Por ejemplo, mientras que la mayoría de los mamíferos siguen un patrón proporcional determinado, los humanos tienen proporciones cerebrales y corporales marcadamente diferentes.

Y en algún momento, a medida que la evolución encuentre nuevas tasas de crecimiento cerebral para nuestros ancestros, la IA también podría encontrar nuevas formas de ir más allá de la forma actual de entrenar modelos.

(Según TheVerge y Yahoo Tech)

Tras revelar los sueldos astronómicos de xAI y OpenAI , Elon Musk acusó a OpenAI de pagar salarios excesivos a sus empleados, calificando esta práctica de anticompetitiva. Sin embargo, la startup del multimillonario, xAI, también ofrece salarios muy superiores a la media.