DeepSeek sorgte zu Beginn des Jahres der Schlange für umfangreiche Medien- und Social-Media-Berichterstattung und verursachte erhebliche Erschütterungen an den globalen Aktienmärkten.

Ein aktueller Bericht des Finanzberatungsunternehmens Bernstein warnt jedoch davor, dass die Behauptung, ein mit OpenAI vergleichbares KI-System für nur 5 Millionen Dollar entwickelt zu haben, trotz beeindruckender Erfolge unzutreffend ist.

Laut Bernstein ist die Aussage von DeepSeek irreführend und spiegelt nicht das Gesamtbild wider.

„Wir glauben nicht, dass DeepSeek mit 5 Millionen Dollar ‚OpenAI geschaffen hat‘; die Modelle sind fantastisch, aber wir halten sie nicht für Wunder; und die Panik am Wochenende scheint übertrieben gewesen zu sein“, heißt es in dem Bericht.

deepseek bloomberg
Bernstein-Analysten sind skeptisch gegenüber DeepSeeks Behauptung, ein KI-System mit nur 5 Millionen Dollar entwickelt zu haben. (Bild: Bloomberg)

DeepSeek entwickelt zwei Haupt-KI-Modelle: DeepSeek-V3 und DeepSeek R1. Das groß angelegte Sprachmodell V3 nutzt die MOE-Architektur, die kleinere Modelle kombiniert, um eine hohe Leistung bei gleichzeitig geringerem Ressourcenverbrauch als herkömmliche Modelle zu erzielen.

Das V3-Modell hingegen verfügt über 671 Milliarden Parameter, von denen jeweils 37 Milliarden aktiv sind. Es beinhaltet Innovationen wie MHLA zur Reduzierung des Speicherverbrauchs und nutzt FP8 für eine höhere Effizienz.

Das Training des V3-Modells erforderte einen Cluster von 2.048 Nvidia H800-GPUs über einen Zeitraum von zwei Monaten, was 5,5 Millionen GPU-Stunden entspricht. Während einige Schätzungen die Trainingskosten auf etwa 5 Millionen US-Dollar beziffern, betont Bernsteins Bericht, dass diese Zahl lediglich die Rechenressourcen umfasst und erhebliche Kosten für Forschung, Tests und sonstige Entwicklungskosten nicht berücksichtigt.

Das DeepSeek R1-Modell baut auf der Grundlage von V3 auf, indem es Reinforcement Learning (RL) und andere Techniken nutzt, um die Inferenzfähigkeit sicherzustellen.

Das R1-Modell kann bei Denkaufgaben mit OpenAI-Modellen konkurrieren. Bernstein weist jedoch darauf hin, dass die Entwicklung von R1 erhebliche Ressourcen erfordert, die im DeepSeek-Bericht allerdings nicht näher erläutert werden.

Bernstein lobte DeepSeek und die darin enthaltenen Modelle als beeindruckend. So erzielt beispielsweise das V3-Modell in Linguistik, Programmierung und Mathematik vergleichbare oder sogar bessere Ergebnisse als andere wichtige Sprachmodelle und benötigt dabei weniger Ressourcen.

Für den V3-Vortrainingsprozess waren lediglich 2,7 Millionen GPU-Arbeitsstunden erforderlich, das entspricht 9 % der Rechenressourcen einiger anderer Spitzenmodelle.

Bernstein kam zu dem Schluss, dass die Fortschritte von DeepSeek zwar bemerkenswert seien, man sich aber vor übertriebenen Behauptungen hüten müsse. Die Idee, mit nur 5 Millionen Dollar einen Konkurrenten zu OpenAI zu entwickeln, erscheine verfehlt.

(Laut Times of India)