Neue Forschungsergebnisse enthüllen das Geheimnis des Erfolgs von DeepSeek.

Das künstliche Intelligenzmodell R1 des chinesischen Startups DeepSeek – das bei seiner Markteinführung im Januar für Aufsehen an der US-Börse sorgte – wurde in einer von Fachleuten begutachteten Studie vorgestellt, die zeigt, wie das Unternehmen ein leistungsstarkes LLM zu Kosten von nur etwa 300.000 US-Dollar entwickelte.

Der R1 wurde entwickelt, um bei Denkaufgaben wie Mathematik und Programmierung hervorragende Leistungen zu erbringen und sich so zu einem kostengünstigen Konkurrenten der von amerikanischen Technologiekonzernen entwickelten Werkzeuge zu entwickeln.

Dies ist ein Modell mit offener Gewichtsklasse, das kostenlos heruntergeladen werden kann und derzeit mit über 10,9 Millionen Downloads das beliebteste Modell auf der Hugging Face Plattform ist.

Eine aktualisierte Studie in Nature, die auf dem Manuskript vom Januar basiert, zeigt erstmals, dass die Kosten für das Training von R1 nur 294.000 US-Dollar betrugen, zusätzlich zu etwa 6 Millionen US-Dollar für den Aufbau des zugrunde liegenden Modells.

Diese Summe ist deutlich niedriger als die zig Millionen Dollar, die die Konkurrenz mutmaßlich ausgegeben hat.

DeepSeek berichtet, dass R1 hauptsächlich mit dem Nvidia H800-Chip trainiert wurde – einem Chiptyp, dessen Export nach China die USA seit 2023 verboten haben.

Der Durchbruch von R1 liegt in der Anwendung eines reinen Reinforcement-Learning-Verfahrens. Das bedeutet, dass das Modell durch Ausprobieren lernt und sich selbst für korrekte Antworten belohnt, anstatt von vom Menschen ausgewählten Beispielen zu lernen. Das Modell bewertet seine Bemühungen zudem selbst mithilfe einer internen Schätzung, einer Technik namens „Relative Group Policy Optimization“, was die Effizienz steigert.

Laut dem Forscher Huan Sun (Ohio State University) trägt ein strenges Peer-Review-Verfahren dazu bei, den Wert und die Zuverlässigkeit des Modells zu bestätigen. Andere Unternehmen sollten es ihm gleichtun.

Lewis Tunstall, ein Machine-Learning-Ingenieur bei Hugging Face, glaubt, dass dies einen wichtigen Präzedenzfall darstellt, da Transparenz in der KI-Entwicklung dazu beiträgt, Risiken genauer einzuschätzen.

DeepSeek behauptet, dass R1 nicht mit Daten von OpenAI-Modellen trainiert wurde, räumt aber ein, dass das zugrunde liegende Modell mit Webdaten trainiert wurde – zu denen auch KI-generierte Inhalte gehören können.

Experten sind der Ansicht, dass, obwohl dies schwer zu beweisen ist, die derzeitigen Erkenntnisse darauf hindeuten, dass reine Leistungssteigerungsmethoden ausreichen, um eine hohe Leistung zu erzielen.

Im ScienceAgentBench-Benchmark erreichte R1 zwar nicht den ersten Platz in puncto Genauigkeit, bot aber ein gutes Verhältnis zwischen Effizienz und Kosten. Forscher arbeiten nun daran, die Methode von DeepSeek anzuwenden, um die Argumentationsfähigkeiten bestehender LLMs zu verbessern und sie auf Bereiche jenseits von Mathematik und Programmierung auszuweiten.

Laut Tunstall hat R1 eine „Revolution“ in der Entwicklung künstlicher Intelligenz ausgelöst.

(VNA/Vietnam+)

Quelle: https://www.vietnamplus.vn/nghien-cuu-moi-tiet-lo-bi-quyet-thanh-cong-cua-deepseek-post1062474.vnp