Neue Forschungsergebnisse enthüllen das Geheimnis des Erfolgs von DeepSeek

Das KI-Modell R1 des chinesischen Startups DeepSeek, das bei seiner Markteinführung im Januar für Aufsehen am US-Aktienmarkt sorgte, wurde in der ersten von Fachleuten begutachteten Studie veröffentlicht. Darin wird gezeigt, wie das Unternehmen für nur rund 300.000 US-Dollar ein leistungsstarkes LLM entwickelt hat.

Der R1 wurde entwickelt, um bei Denkaufgaben wie Mathematik und Programmierung hervorragende Leistungen zu erbringen und ist damit eine kostengünstige Alternative zu den von US-amerikanischen Technologiegiganten entwickelten Werkzeugen.

Dies ist ein „Open Weight“-Modell, das kostenlos heruntergeladen werden kann und mit über 10,9 Millionen Downloads derzeit das beliebteste Modell auf der Hugging Face-Plattform ist.

Die in Nature veröffentlichte Studie, eine Aktualisierung eines Manuskripts vom Januar, zeigte erstmals, dass das Training von R1 nur 294.000 US-Dollar kostete, zusätzlich zu den rund 6 Millionen US-Dollar, die für den Aufbau des Basismodells ausgegeben wurden.

Diese Summe ist deutlich niedriger als die zig Millionen Dollar, die Konkurrenten angeblich ausgegeben haben.

DeepSeek gab an, dass R1 hauptsächlich mit Nvidia H800-Chips trainiert wurde, deren Export nach China die USA seit 2023 verboten haben.

Der Durchbruch von R1 lag in der Verwendung von „reinem Reinforcement Learning“. Dabei wird das Modell durch Ausprobieren trainiert und für richtige Antworten belohnt, anstatt anhand von von Menschen ausgewählten Beispielen zu lernen. Es bewertet seine eigenen Bemühungen zudem mithilfe interner Schätzungen – eine Technik namens „relative Gruppenrichtlinienoptimierung“ –, was die Leistung steigert.

„Der strenge Peer-Review-Prozess trägt dazu bei, den Wert und die Zuverlässigkeit des Modells zu bestätigen“, sagt Forscher Huan Sun (Ohio State University). „Andere Unternehmen sollten es ihnen gleichtun.“

Lewis Tunstall, ein Machine-Learning-Ingenieur bei Hugging Face, sagte, dies sei ein wichtiger Präzedenzfall, da Transparenz in der KI-Entwicklung dazu beitrage, Risiken genauer einzuschätzen.

DeepSeek behauptet, R1 sei nicht mit Daten aus OpenAI-Modellen trainiert worden, räumt aber ein, dass das zugrunde liegende Modell mit Webdaten trainiert wurde – zu denen auch KI-generierte Inhalte gehören könnten.

Experten sagen, dass es zwar schwierig sei, dies absolut zu beweisen, die derzeitigen Erkenntnisse aber darauf hindeuten, dass eine reine Leistungssteigerung ausreicht, um eine hohe Leistung zu erzielen.

Im ScienceAgentBench-Test erreichte R1 zwar nicht die höchste Genauigkeit, bot aber ein gutes Verhältnis zwischen Effizienz und Kosten. Die Forscher wollen nun die Methode von DeepSeek anwenden, um die Denkfähigkeiten bestehender LLMs zu verbessern und sie auf Bereiche jenseits von Mathematik und Programmierung auszuweiten.

Laut Herrn Tunstall hat R1 eine „Revolution“ in der Entwicklung künstlicher Intelligenz ausgelöst.

(TTXVN/Vietnam+)

Quelle: https://www.vietnamplus.vn/nghien-cuu-moi-tiet-lo-bi-quyet-thanh-cong-cua-deepseek-post1062474.vnp