Facebook-Gründer entwickelt neues KI-Modell.

Facebooks Mutterkonzern hat soeben zwei neue Modelle seiner Llama 4-Serie vorgestellt. Es handelt sich dabei um dieselben Modelle, die bereits für den KI-Assistenten Meta im Web sowie in WhatsApp, Messenger und Instagram verwendet werden und Nutzern helfen, personalisierte Multimedia-Erlebnisse zu gestalten.

Zwei neue Modelle, der Llama 4 Scout und der Llama 4 Maverick, stehen ab sofort bei Meta und Hugging Face zum Download bereit. Laut Meta befindet sich der Llama 4 Behemoth, das riesige Modell, das CEO Mark Zuckerberg als „ das leistungsstärkste Plattformmodell der Welt “ bezeichnet, noch in der Trainingsphase.

Laut Meta verfügt Llama 4 Scout über ein Kontextfenster von bis zu 10 Millionen Token, ein Vielfaches mehr als das Modell mit der derzeit höchsten Token-Anzahl, Gemini. Diese Zahl repräsentiert den Arbeitsspeicher eines KI-Modells.

Meta beschreibt das Modell als überlegen gegenüber Googles Gemma 3 und Gemini 2.0 Flash-Lite sowie Mistral 3.1, „in einer Reihe weit verbreiteter Benchmarks“, und gleichzeitig als in der Lage, „auf einer einzelnen Nvidia H100 GPU zu laufen“.

Für Llama 4 Maverick machte das Unternehmen ähnliche Leistungsversprechen im Vergleich zu OpenAIs GPT-4o und Googles Gemini 2.0 Flash. Mavericks Programmier- und Inferenzaufgaben sind mit DeepSeek-V3 vergleichbar, obwohl es weniger als die Hälfte der Parameter verwendet.

Figuren der neuen Modelle der Llama 4 Kollektion. Foto: Meta.

Behemoth weist unterdessen 288 Milliarden aktive Parameter von insgesamt 2 Billionen auf. Obwohl noch nicht veröffentlicht, gibt Meta an, dass Behemoth das Potenzial habe, seine Konkurrenten (insbesondere GPT-4.5 und Claude Sonnet 3.7) „in mehreren MINT-Metriken“ zu übertreffen.

Meta gab bekannt, auf eine „Mixture of Experts“-Architektur (MoE) umgestiegen zu sein – dieselbe Architektur, die DeepSeek so erfolgreich gemacht hat. Dieser Ansatz spart Ressourcen, indem nur die für die jeweilige Aufgabe notwendigen Teile des Modells aktiviert werden. Weitere Details zum Produktplan werden auf der LlamaCon-Konferenz am 29. April vorgestellt.

Trotz Kritik an den Lizenzbeschränkungen bezeichnet Meta Llama 4 weiterhin als „Open Source“, ähnlich wie seine Vorgängermodelle. Beispielsweise schreibt die Llama-4-Lizenz vor, dass kommerzielle Organisationen mit mehr als 700 Millionen monatlich aktiven Nutzern vor der Nutzung des Modells die Genehmigung von Meta einholen müssen.

Laut der Open Source Initiative aus dem Jahr 2023 haben solche Regelungen dazu geführt, dass das Modell nicht mehr als Open Source eingestuft wird.