Programmier- und Mathematiktests zeigen, dass S1 (der Name des Modells) eine Leistung erbringt, die mit hochmodernen KI-Modellen wie o1 von OpenAI und R1 von DeepSeek vergleichbar ist.

Insbesondere ist S1 ein Open-Source-Modell, das im GitHub-Repository für jeden zugänglich ist.

Das Entwicklungsteam teilte mit, dass es von einem verfügbaren Basismodell ausgegangen sei und es dann durch „Destillation“ verfeinert habe – den Prozess, bei dem die „Denkfähigkeit“ aus einem anderen KI-Modell extrahiert wird, indem man es anhand seiner Antworten trainiert.

S1 ist ein Destillat aus Googles experimentellem Modell „Gemini 2.0 Flash Thinking“. Der Destillationsprozess ähnelt dem, den Wissenschaftler der Universität Berkeley zur Erstellung des Modells durchgeführt haben. Die Kosten beliefen sich auf rund 450 US-Dollar (ca. 11,3 Millionen VND).

GettyImages 1168836247 1.jpg.jpeg
DeepSeek eröffnet den Wettlauf um die Entwicklung günstiger KI. Foto: TechCrunch

Die Forscher hinter s1 haben den einfachsten Weg gefunden, eine starke Denkleistung zu erzielen und „während des Tests zu skalieren“, d. h., dem KI-Modell zu ermöglichen, mehr nachzudenken, bevor es eine Frage beantwortet.

Dies ist einer der Durchbrüche in OpenAIs o1, den DeepSeek und andere KI-Labore mithilfe verschiedener Techniken zu replizieren versucht haben.

Das S1-Papier zeigt, dass sich Schlussfolgerungsmodelle mit einem relativ kleinen Datensatz durch einen Prozess namens „Supervised Fine-Tuning“ (SFT) destillieren lassen, bei dem ein KI-Modell explizit angewiesen wird, bestimmte Verhaltensweisen im Datensatz nachzuahmen.

SFT ist im Allgemeinen günstiger als der groß angelegte Ansatz des bestärkenden Lernens, den DeepSeek zum Trainieren des R1-Modells verwendet hat.

Google bietet über die Google AI Studio-Plattform kostenlosen Zugriff auf Gemini 2.0 Flash Thinking Experimental, allerdings mit einer täglichen Frequenzbeschränkung.

Allerdings verbieten die Bedingungen von Google das Reverse Engineering seiner Modelle, um Dienste zu entwickeln, die mit den KI-Produkten des Unternehmens konkurrieren.

S1 basiert auf einem kleinen KI-Modell, das vom Alibaba-eigenen KI-Labor Qwen kostenlos heruntergeladen werden kann. Um S1 zu trainieren, erstellten die Forscher einen Datensatz mit 1.000 sorgfältig ausgewählten Fragen, Antworten und dem dahinterstehenden Denkprozess aus Googles Gemini 2.0 Flash Thinking Experimental.

Der Trainingsprozess dauerte mit 16 Nvidia H100-GPUs weniger als 30 Minuten und lieferte dennoch hervorragende Ergebnisse bei mehreren KI-Kennzahlen. Die Mietkosten für die benötigte Rechenleistung betrugen laut Niklas Muennighoff, Forscher in Stanford, nur etwa 20 US-Dollar.

Die Forscher verwendeten einen Trick, um S1 dazu zu bringen, seine Arbeit zu überprüfen und seine „Denkzeit“ zu verlängern. Beispielsweise forderten sie das Modell auf zu warten, indem sie seinem Denkprozess das Wort „warten“ hinzufügten, was dem Modell dabei half, eine genauere Antwort zu finden.

Bis 2025 planen Meta, Google und Microsoft, Hunderte Milliarden Dollar in KI-Infrastruktur zu investieren. Ein Teil davon soll für das Training von KI-Modellen der nächsten Generation genutzt werden. Dieses Investitionsniveau könnte weiterhin notwendig sein, um Innovationen im KI-Bereich voranzutreiben.

Die Destillation hat sich als gute Methode erwiesen, die Fähigkeiten von KI-Modellen kostengünstig zu replizieren, sie schafft jedoch keine neuen KI-Modelle, die den heute existierenden überlegen sind.

(Laut TechCrunch)

Google hat Gemini 2.0 offiziell veröffentlicht, um mit der chinesischen KI zu konkurrieren . Google hat gerade den Chatbot der nächsten Generation, Gemini 2.0, mit vielen Versionen und Updates offiziell veröffentlicht.