L’expert en IA a quitté OpenAI, la société qu’il a cofondée, en début d’année pour créer son propre laboratoire d’IA appelé Safe Superintelligence Inc.

« Le pré-entraînement tel que nous le connaissons cessera d'exister », a déclaré Sutskever lors d'une conférence sur le traitement de l'information neuronale.

Le terme « pré-entraînement » désigne la phase initiale du développement d'un modèle d'IA, au cours de laquelle un modèle de langage de grande taille apprend des schémas à partir de grandes quantités de données non étiquetées, souvent du texte provenant d'Internet, de livres et d'autres sources.

épuisement des ressources de données

Sutskever a déclaré que, même s'il pense que les données actuelles peuvent encore accélérer le développement de l'IA, le secteur manque de nouvelles ressources pour entraîner les modèles.

Selon lui, cela finira par entraîner un changement dans la manière dont les modèles d'IA sont entraînés aujourd'hui.

8da2491217a6b424c37773100bec59ff.jpeg
Les modèles d'IA apprendront à s'entraîner eux-mêmes à partir de quantités limitées de données. Photo : Yahoo Tech

C’est également la situation qui s’est produite et qui se produit avec les ressources fossiles, lorsque les gisements de pétrole constituent une ressource limitée, ou encore, comme Internet, qui ne contient qu’une quantité finie de contenu créé par l’homme.

« Nous avons atteint le pic de la production de données et ce pic ne sera plus atteint à l'avenir », a déclaré Sutskever. « Nous devons travailler avec les données disponibles, provenant d'une source internet actuelle. »

Sutskever prédit que les modèles de nouvelle génération seront « véritablement semblables à des agents ». Le terme « agent » est couramment utilisé dans le domaine de l'IA et désigne généralement un système d'IA autonome qui effectue des tâches, prend des décisions et interagit avec les logiciels de manière indépendante.

En plus d'être « semblables à des agents », les futurs systèmes d'IA seront capables de raisonner, a-t-il affirmé. Contrairement à l'IA actuelle, qui reconnaît principalement des schémas à partir de ce que le modèle a déjà appris, les futurs systèmes d'IA pourront résoudre les problèmes étape par étape, d'une manière plus proche de la pensée humaine. « Plus le système raisonne, moins il est prévisible », a déclaré Sutskever.

L'IA peut créer sa propre méthode d'auto-apprentissage.

L'expert a également comparé le développement des systèmes d'IA à la biologie évolutive, citant des recherches montrant la relation entre la taille du cerveau et celle du corps chez les animaux.

Par exemple, alors que la plupart des mammifères suivent un certain schéma proportionnel, les humains ont des proportions cérébrales et corporelles nettement différentes.

Et à un moment donné, lorsque l'évolution trouvera de nouveaux rythmes de croissance cérébrale pour nos ancêtres, l'IA pourrait également trouver de nouvelles façons de dépasser les méthodes actuelles d'entraînement des modèles.

(Selon TheVerge, Yahoo Tech)

Elon Musk a révélé les salaires exorbitants d'xAI et d'OpenAI, accusant cette dernière de surpayer ses employés et dénonçant une pratique anticoncurrentielle. Pourtant, xAI, la startup du milliardaire, offre elle aussi des salaires bien supérieurs à la moyenne.