L'expert en IA a quitté OpenAI, la société dont il était l'un des fondateurs, plus tôt cette année pour créer son propre laboratoire d'IA appelé Safe Superintelligence Inc.

« La préformation telle que nous la connaissons cessera d’exister », a déclaré Sutskever lors d’une conférence sur le traitement de l’information neuronale.

Le terme « pré-formation » fait référence à la première étape du développement d'un modèle d'IA, lorsqu'un grand modèle de langage apprend des modèles à partir de grandes quantités de données non étiquetées, souvent du texte provenant d'Internet, de livres et d'autres sources.

Épuisement des ressources de données

Sutskever a déclaré que même s'il pense que les données actuelles peuvent encore accélérer le développement de l'IA, l'industrie manque de nouvelles ressources pour former les modèles.

Cela, dit-il, conduira à terme à un changement dans la manière dont les modèles d’IA sont formés aujourd’hui.

8da2491217a6b424c37773100bec59ff.jpeg
Les modèles d’IA détermineront comment s’entraîner eux-mêmes en fonction de quantités limitées de données. Photo : Yahoo Tech

C’est également la situation qui s’est produite et qui se produit avec les ressources fossiles, lorsque les champs pétroliers sont une ressource limitée, ou lorsque Internet ne contient qu’une quantité limitée de contenu créé par l’homme.

« Nous avons atteint un pic de données et il n’y en aura plus à l’avenir », a déclaré M. Sutskever. « Nous devons travailler avec des données existantes, avec une source Internet actuelle. »

Sutskever prédit que les modèles de nouvelle génération seront « véritablement basés sur des agents ». « Agent » est un mot-clé populaire dans le domaine de l’IA, souvent compris comme un système d’IA qui exécute automatiquement des tâches, prend des décisions et interagit avec des logiciels de manière indépendante.

En plus d’être « semblables à des agents », a-t-il déclaré, les futurs systèmes d’IA seront capables de raisonner. Contrairement à l’IA actuelle, qui reconnaît principalement des modèles en fonction de ce que le modèle a appris précédemment, les futurs systèmes d’IA seront capables de résoudre les problèmes étape par étape d’une manière qui ressemble étroitement à la pensée. « Plus il y a d’inférences, moins le système devient prévisible », a expliqué Sutskever.

L'IA peut créer sa propre façon de s'entraîner

L'expert a également comparé le développement des systèmes d'IA à la biologie évolutive, citant des recherches montrant la relation entre la taille du cerveau et du corps chez les animaux.

Par exemple, alors que la plupart des mammifères suivent un certain modèle proportionnel, les humains ont des proportions cérébrales et corporelles nettement différentes.

Et à un moment donné, lorsque l’évolution trouvera de nouveaux taux pour la croissance cérébrale de nos ancêtres, l’IA pourrait également trouver de nouvelles façons de se développer, dépassant la façon dont les modèles sont formés aujourd’hui.

(Selon TheVerge, Yahoo Tech)

Révélant les salaires « exorbitants » de xAI et OpenAI Elon Musk a accusé OpenAI de payer trop cher ses employés et a qualifié cela d'action anticoncurrentielle. Pourtant, la startup xAI du milliardaire paie bien au-dessus de la moyenne.