L'expert en IA a quitté OpenAI, la société dont il était l'un des fondateurs, plus tôt cette année pour créer son propre laboratoire d'IA appelé Safe Superintelligence Inc.

« La préformation telle que nous la connaissons cessera d’exister », a déclaré Sutskever lors d’une conférence sur le traitement de l’information neuronale.

Le terme « pré-formation » fait référence à la première étape du développement d'un modèle d'IA, lorsqu'un grand modèle de langage apprend des modèles à partir de grandes quantités de données non étiquetées, souvent du texte provenant d'Internet, de livres et d'autres sources.

Épuisement des ressources de données

Sutskever a déclaré que même s'il pense que les données actuelles peuvent encore accélérer le développement de l'IA, l'industrie manque de nouvelles ressources pour former les modèles.

Cela, dit-il, conduira à terme à un changement dans la manière dont les modèles d’IA sont formés aujourd’hui.

8da2491217a6b424c37773100bec59ff.jpeg
Les modèles d'IA détermineront comment s'auto-entraîner à partir de quantités limitées de données. Photo : Yahoo Tech

C’est également la situation qui s’est produite et qui se produit avec les ressources fossiles, lorsque les champs pétroliers sont une ressource limitée, ou lorsque Internet ne contient qu’une quantité limitée de contenu créé par l’homme.

« Nous avons atteint un pic de données et ce ne sera plus le cas à l'avenir », a déclaré Sutskever. « Nous devons travailler avec les données disponibles, avec une source comme Internet aujourd'hui. »

Sutskever prédit que les modèles de nouvelle génération seront « véritablement de type agent ». « Agent » est un mot à la mode dans le domaine de l'IA, généralement compris comme un système d'IA autonome qui exécute des tâches, prend des décisions et interagit avec des logiciels de manière indépendante.

En plus d'être « de type agent », les futurs systèmes d'IA seront capables de raisonner. Contrairement à l'IA actuelle, qui reconnaît principalement des schémas en fonction de ce que le modèle a appris auparavant, les futurs systèmes d'IA seront capables de résoudre les problèmes étape par étape, d'une manière plus proche de la pensée. « Plus le raisonnement est poussé, moins le système devient prévisible », a déclaré Sutskever.

L'IA peut créer sa propre façon de s'entraîner

L'expert a également comparé le développement des systèmes d'IA à la biologie évolutive, citant des recherches montrant la relation entre la taille du cerveau et du corps chez les animaux.

Par exemple, alors que la plupart des mammifères suivent un certain modèle proportionnel, les humains ont des proportions cérébrales et corporelles nettement différentes.

Et à un moment donné, lorsque l’évolution trouvera de nouveaux taux pour la croissance cérébrale de nos ancêtres, l’IA pourrait également trouver de nouvelles façons de se développer, dépassant la façon dont les modèles sont formés aujourd’hui.

(Selon TheVerge, Yahoo Tech)

Elon Musk a accusé OpenAI de surpayer ses employés, qualifiant cette pratique d'anticoncurrentielle. Or, la startup xAI du milliardaire verse également des salaires bien supérieurs à la moyenne.