Des chercheurs de Stanford et de l’Université de Washington ont dépensé seulement 50 dollars pour créer un modèle d’IA raisonnée.
Les tests de programmation et mathématiques montrent que S1 (le nom du modèle) fonctionne à égalité avec les modèles d'IA de raisonnement de pointe tels que o1 d'OpenAI et R1 de DeepSeek.
Notamment, S1 est un modèle open source, disponible sur le référentiel GitHub et accessible à tous.
L'équipe de développement a expliqué qu'elle était partie d'un modèle de base disponible, puis l'avait affiné par « distillation » — le processus d'extraction de la capacité de « raisonnement » d'un autre modèle d'IA en s'entraînant sur ses réponses.
Plus précisément, S1 est dérivé du modèle expérimental de réflexion Flash Gemini 2.0 de Google. Le processus de distillation est similaire à celui utilisé par les scientifiques de l'Université de Berkeley pour créer ce modèle, pour un coût d'environ 450 USD (environ 11,3 millions de VND).
Les chercheurs à l’origine de s1 ont trouvé le moyen le plus simple d’obtenir de solides performances de raisonnement et de « monter en puissance pendant les tests », ce qui signifie permettre au modèle d’IA de réfléchir davantage avant de répondre à une question.
Il s’agit de l’une des avancées d’o1 d’OpenAI, que DeepSeek et d’autres laboratoires d’IA ont tenté de reproduire grâce à diverses techniques.
L'article S1 montre que les modèles de raisonnement peuvent être distillés avec un ensemble de données assez petit grâce à un processus appelé réglage fin supervisé (SFT), dans lequel un modèle d'IA est explicitement chargé d'imiter certains comportements dans l'ensemble de données.
Le SFT est généralement moins cher que l’approche d’apprentissage par renforcement à grande échelle utilisée par DeepSeek pour former le modèle R1.
Google offre un accès gratuit à Gemini 2.0 Flash Thinking Experimental, bien qu'avec une limite de fréquence quotidienne, via la plateforme Google AI Studio.
Cependant, les conditions de Google interdisent la rétro-ingénierie de ses modèles pour développer des services qui concurrencent les produits d'IA de l'entreprise.
S1 s'appuie sur un petit modèle d'IA téléchargeable gratuitement depuis Qwen, le laboratoire d'IA d'Alibaba. Pour entraîner S1, les chercheurs ont créé un ensemble de données de 1 000 questions soigneusement sélectionnées, accompagnées de leurs réponses et du processus de réflexion derrière chaque réponse, issues de l'expérience Gemini 2.0 Flash Thinking Experimental de Google.
Le processus d'apprentissage a duré moins de 30 minutes avec 16 GPU Nvidia H100, tout en produisant d'excellents résultats sur plusieurs indicateurs d'IA. Le coût de location de la puissance de calcul nécessaire n'a été que d'environ 20 dollars, a déclaré Niklas Muennighoff, chercheur à Stanford.
Les chercheurs ont utilisé une astuce pour amener S1 à vérifier son travail et à prolonger son « temps de réflexion », par exemple en demandant au modèle d’attendre en ajoutant le mot « attendre » à son processus de raisonnement, ce qui a aidé le modèle à trouver une réponse plus précise.
D'ici 2025, Meta, Google et Microsoft prévoient d'investir des centaines de milliards de dollars dans l'infrastructure d'IA, dont une partie servira à former des modèles d'IA de nouvelle génération. Un tel niveau d'investissement pourrait encore s'avérer nécessaire pour stimuler l'innovation en IA.
La distillation s’est avérée être un bon moyen de reproduire les capacités des modèles d’IA à faible coût, mais elle ne crée pas de nouveaux modèles d’IA supérieurs à ceux qui existent aujourd’hui.
(Selon TechCrunch)
Source : https://vietnamnet.vn/he-lo-bi-mat-tao-ra-mo-hinh-ai-ly-luan-sieu-re-chua-den-2-trieu-dong-2369052.html
Comment (0)