DeepSeek est apparu massivement dans les journaux et les réseaux sociaux au début de l'année du Serpent et a provoqué de violentes secousses sur le marché boursier mondial.

Cependant, un rapport récent du cabinet de conseil financier Bernstein prévient que malgré ses antécédents impressionnants, l'affirmation d'OpenAI selon laquelle il serait possible de créer un système d'IA comparable au sien pour seulement 5 millions de dollars est inexacte.

Selon Bernstein, la déclaration de DeepSeek est trompeuse et ne reflète pas la situation dans son ensemble.

« Nous pensons que DeepSeek n’a pas « créé OpenAI avec 5 millions de dollars » ; Les modèles sont géniaux mais nous ne pensons pas qu’ils soient magiques ; « et la panique du week-end semble avoir été exagérée », indique le rapport.

recherche approfondie bloomberg
Les analystes de Bernstein sont sceptiques quant à l'affirmation de DeepSeek selon laquelle il développerait un système d'IA avec seulement 5 millions de dollars. Photo : Bloomberg

DeepSeek développe deux principaux modèles d'IA : DeepSeek-V3 et DeepSeek R1. Le modèle de langage volumineux V3 exploite l'architecture MOE, combinant des modèles plus petits pour obtenir des performances élevées tout en utilisant moins de ressources de calcul que les modèles traditionnels.

D'autre part, le modèle V3 dispose de 671 milliards de paramètres, avec 37 milliards de paramètres actifs à tout moment, intégrant des innovations comme MHLA pour réduire l'utilisation de la mémoire et utilisant FP8 pour une plus grande efficacité.

La formation du modèle V3 a nécessité un cluster de 2 048 GPU Nvidia H800 pendant 2 mois, soit l'équivalent de 5,5 millions d'heures GPU. Alors que certaines estimations évaluent le coût de la formation à environ 5 millions de dollars, le rapport de Bernstein souligne que ce chiffre ne concerne que les ressources informatiques et ne prend pas en compte les coûts importants associés à la recherche, aux tests et aux autres coûts de développement.

Le modèle DeepSeek R1 s'appuie sur V3 en utilisant l'apprentissage par renforcement (RL) et d'autres techniques pour garantir l'inférence.

Le modèle R1 peut rivaliser avec les modèles d'OpenAI sur les tâches de raisonnement. Cependant, Bernstein souligne que le développement de R1 a nécessité des ressources importantes, même si cela n'a pas été détaillé dans le rapport de DeepSeek.

Dans son commentaire sur DeepSeek, Bernstein a qualifié les modèles d'impressionnants. Par exemple, le modèle V3 fonctionne aussi bien, voire mieux, que d’autres modèles de langage majeurs en langage, en programmation et en mathématiques, tout en nécessitant moins de ressources.

Le processus de pré-formation V3 n’a nécessité que 2,7 millions d’heures GPU, soit 9 % des ressources de calcul de certains autres modèles phares.

Bien que les progrès de DeepSeek soient notables, conclut Bernstein, il est important de se méfier des affirmations exagérées. L’idée de créer un concurrent d’OpenAI avec seulement 5 millions de dollars semble malavisée.

(Selon le Times of India)