C'est l'analyse tirée d'une note interne du géant de la recherche récemment rendue publique. Dans ce document, les dirigeants de Google exprimaient leur profonde inquiétude quant à la possibilité de perdre la course actuelle à l'IA.
Un représentant de Google a confirmé plus tard l'authenticité du document, affirmant qu'il s'agissait simplement de l'opinion d'un initié de l'entreprise, mais a admis qu'ils n'étaient « pas en mesure de gagner cette course, et OpenAI non plus ».
Le géant de la recherche note que la communauté open source bat les principales entreprises d'IA, même si leurs produits ont un léger avantage en termes de qualité, « l'écart se réduit incroyablement rapidement ».
La taille du capital n’est pas le facteur essentiel
L'IA fait sensation auprès du public depuis fin 2022 avec le lancement de ChatGPT, un chatbot basé sur les LLM (Large Language Models) développé par OpenAI, une startup étroitement liée à Microsoft. Le succès de ce produit a incité Google et de nombreuses autres entreprises technologiques à se lancer dans la course aux LLM.
Les modèles LLM sont entraînés sur des milliards de mots issus d'Internet pour générer des textes ou des conversations de type humain. Ce processus prend des mois et coûte des dizaines de millions de dollars, ce qui fait craindre que l'IA soit dominée par des entreprises technologiques « riches, très riches ».
Mais une note interne de Google suggère que cette hypothèse est erronée. Les chercheurs de la communauté open source exploitent des ressources en ligne gratuites et obtiennent des résultats comparables à ceux des plus grands modèles propriétaires actuels.
En conséquence, les LLM peuvent être « affinés » grâce à une technique appelée adaptation de bas niveau, ou LoRa, qui permet d’optimiser un LLM existant pour une tâche spécifique beaucoup plus rapidement et à moindre coût que la formation d’un LLM à partir de zéro.
Par exemple, en mars, LLaMa, un modèle créé par Meta, la société mère de Facebook, a fuité en ligne. Bien que petit et relativement « primitif » avec seulement 7 milliards de paramètres, contre 540 milliards pour le plus grand LLM de Google, LLaMa a été rapidement peaufiné pour produire des résultats comparables à la version originale de ChatGPT sur certaines tâches.
Cela pourrait avoir des implications sismiques pour l’avenir du développement de l’IA, car « les obstacles à la formation et aux tests, allant de la nécessité d’un grand centre de recherche à la nécessité d’une seule personne, d’une soirée et d’un ordinateur portable haut de gamme ».
La bataille entre le géant Goliath et le berger David
Un LLM peut désormais être peaufiné pour seulement 100 $ en quelques heures. Grâce à son modèle flexible, connecté et économique, « l'IA open source présente des avantages considérables » que les grandes entreprises comme Google ne peuvent reproduire. Par conséquent, conclut la note, Google ou OpenAI sont vulnérables face à ces concurrents open source.
« Je ne pense pas avoir besoin d'un outil aussi puissant que ChatGPT-4 pour de nombreuses tâches », a déclaré Simon Willison, programmeur et analyste technologique, à NBC. « La question est maintenant de savoir jusqu'à quel point les modèles peuvent être petits tout en restant utiles. Et c'est une question que la communauté open source explore très rapidement. »
Cela est tout à fait similaire à l'opinion de nombreux experts selon laquelle le point le plus fort est aussi le point le plus faible s'il est exploité et observé correctement, comme dans l'histoire du géant Goliath vaincu par le petit berger David avec seulement une fronde.
Cependant, en matière de développement de l'IA, cet argument ne fait pas l'unanimité. Il est vrai que des logiciels propriétaires payants existent toujours, comme Adobe Photoshop ou Microsoft Windows, et le domaine de l'IA pourrait suivre la même voie de développement.
(Selon l'économiste YahooFinance)
Source
Comment (0)