Ende Januar eroberte DeepSeek die globale Tech-Welt im Sturm mit der Veröffentlichung zweier LLM-Modelle, die amerikanischen Produkten ebenbürtig waren, aber nur einen Bruchteil des Preises kosteten. Darunter befindet sich das Open-Source-Reasoning-Modell DeepSeek-R1, das einige der gleichen wissenschaftlichen Probleme lösen kann wie o1, das fortschrittlichste LLM von OpenAI.

Während die Welt überrascht war, sagten einheimische Forscher, die Leistung sei völlig vorhersehbar gewesen und stehe im Einklang mit Pekings Ambitionen, eine führende Macht im Bereich der künstlichen Intelligenz (KI) zu werden.

Yunji Chen, Informatiker am Institut für Informatik der Chinesischen Akademie der Wissenschaften, weist darauf hin, dass früher oder später ein Unternehmen wie DeepSeek in China auftauchen wird.

Dies ist auf das enorme Investitionskapital zurückzuführen, das in LLM-Entwicklungsunternehmen fließt, und auf die große Zahl von Personen mit Doktortiteln in MINT-Fächern (Mathematik, Informatik, Naturwissenschaften und Technik).

„Wenn es DeepSeek nicht gäbe, gäbe es andere chinesische LLMs“, sagte Chen.

Dies ist eine erwiesene Tatsache. Wenige Tage nach dem DeepSeek-„Erdbeben“ veröffentlichte Alibaba sein bisher fortschrittlichstes LLM, Qwen2.5-Max, das angeblich DeepSeek-V3 übertrifft.

Moonshot AI und ByteDance haben außerdem neue Inferenzmodelle angekündigt, Kimi 1.5 und 1.5-pro, die in einigen Benchmarktests o1 übertreffen können.

Prioritäten der Regierung

Im Jahr 2017 verkündete die chinesische Regierung ihre Absicht, bis 2030 zu einem weltweit führenden Unternehmen im Bereich der künstlichen Intelligenz zu werden. China hat sich zum Ziel gesetzt, bis 2025 bedeutende Durchbrüche in der künstlichen Intelligenz zu erzielen , „damit Technologie und Anwendungen ein weltweit führendes Niveau erreichen“ .

Um dies zu erreichen, hat der Aufbau eines KI-Talentpools höchste Priorität. Laut einem Bericht des Center for Security and Emerging Technology (CSET) der Georgetown University hat das chinesische Bildungsministerium bis 2022 440 Universitäten ermächtigt, KI-Studiengänge anzubieten.

Im selben Jahr stellte China die Hälfte der führenden KI-Forscher, während die USA laut der Beratungsfirma MacroPolo lediglich 18 Prozent beisteuerten.

Deepseek Bloomberg
DeepSeek überrascht mit einer Reihe großer, kostengünstiger und leistungsstarker Sprachmodelle. Foto: Bloomberg

Marina Zhang, Politikwissenschaftlerin an der University of Technology Sydney, sagte, DeepSeek habe wahrscheinlich von staatlichen Investitionen in die KI-Ausbildung und Talententwicklung profitiert, darunter zahlreiche Stipendien, Forschungszuschüsse und Partnerschaften zwischen Wissenschaft und Industrie.

Beispielsweise haben staatlich geförderte Initiativen wie das National Engineering Laboratory for Deep Learning Technologies and Applications Tausende von KI-Experten ausgebildet.

Es ist schwierig, genaue Zahlen zur Belegschaft von DeepSeek zu finden, aber Gründer Liang Wenfeng teilt mit, dass das Unternehmen Absolventen und Doktoranden der größten Universitäten des Landes rekrutiert.

Einige Mitglieder des Führungsteams seien unter 35 und seien mit Chinas Aufstieg zur Tech-Supermacht aufgewachsen, sagte Zhang. „Sie sind zutiefst motiviert von der Eigenständigkeit bei Innovationen.“

Wenfeng, 39, schloss sein Informatikstudium an der Zhejiang-Universität ab. Vor fast einem Jahrzehnt war er Mitbegründer des Hedgefonds High-Flyer und gründete 2023 DeepSeek.

Laut Jacob Feldgoise, der am CSET KI-Talente in China erforscht, werden nationale Richtlinien, die ein Modell-Ökosystem für KI fördern, Unternehmen wie DeepSeek dabei helfen, sowohl Finanzmittel als auch Personal anzuziehen.

Doch trotz der zunehmenden Zahl von KI-Kursen an Universitäten ist sich Feldgoise nicht im Klaren darüber, wie viele Studenten einen KI-Abschluss machen und ob ihnen die Fähigkeiten vermittelt werden, die die Unternehmen benötigen.

In den letzten Jahren haben sich chinesische KI-Unternehmen darüber beschwert, dass die Absolventen dieser Programme ihre Erwartungen nicht erfüllen. Einige von ihnen haben sich daraufhin mit Universitäten zusammengeschlossen, um die Qualität zu verbessern.

"Temperieren"

Das vielleicht beeindruckendste Element des Erfolgs von DeepSeek sei, so die Wissenschaftler, dass sie DeepSeek-R1 und Janus-Pro-7B im Kontext der Exportkontrollen der US-Regierung entwickelt hätten, die seit 2022 den Zugang zu fortschrittlichen KI-Computerchips blockierten.

Laut Zhang stellt DeepSeek einen eindeutig chinesischen Ansatz zur Innovation dar, der angesichts einer Vielzahl von Einschränkungen die Effizienz betont.

Wenfengs Startup gab an, rund 2.000 Nvidia H800-Chips für das Training von DeepSeek-V3 verwendet zu haben. Im Gegensatz dazu nutzte Llama 3.1 405B, ein hochentwickeltes LLM, das im Juli 2024 von Meta veröffentlicht wurde, mehr als 16.000 Nvidia H100-Chips.

9x Talent erhält besondere Aufmerksamkeit vom chinesischen Premierminister Li Qiang 9x Talent erhält besondere Aufmerksamkeit vom chinesischen Premierminister Li Qiang

In einem WeChat-Post aus dem Jahr 2022 gab High-Flyer an, 10.000 der älteren A100-Chips von Nvidia zu besitzen. „Das Problem, mit dem wir konfrontiert sind, war nie das Geld, sondern das Verbot von High-End-Chips“, sagte Wenfeng im Juli 2024 gegenüber chinesischen Medien.

DeepSeek nutzt verschiedene Methoden, um die Effizienz seiner Modelle zu steigern. Beispielsweise implementiert es die Mixture of Experts (MoE)-Architektur, eine Methode des maschinellen Lernens, die Modelle schneller und mit weniger Parametern trainiert als herkömmliche Techniken.

Laut Chang Xu, Informatiker an der Universität Sydney, hilft es DeepSeek, Modelle mit weniger Chips zu trainieren.

Eine andere Technik ist die Multi-Head Latent Attention (MLA), die es dem Modell ermöglicht, mehr Daten mit weniger Speicher zu speichern.

Die Erfolge von DeepSeek könnten ein „Wegweiser“ für Länder sein, die zwar KI-Ambitionen haben, denen es aber an den finanziellen und materiellen Ressourcen mangelt, um umfangreiche LLMs auszubilden, sagt Yanbo Wang, Politikwissenschaftler an der Universität Hongkong.

(Nach Natur, Glück)

Quelle: https://vietnamnet.vn/cach-trung-quoc-tao-ra-deepseek-va-rung-chuyen-the-gioi-2391114.html