Le fondateur de Facebook crée un nouveau modèle d'IA.

La société mère de Facebook vient d'annoncer deux nouveaux modèles pour sa collection Llama 4. Ce sont les mêmes modèles que ceux utilisés actuellement pour l'assistant Meta AI sur le web, ainsi que dans WhatsApp, Messenger et Instagram, permettant aux utilisateurs de créer des expériences multimédias plus personnalisées.

Deux nouveaux modèles, Llama 4 Scout et Llama 4 Maverick, sont désormais disponibles au téléchargement sur Meta ou Hugging Face. Meta précise être encore en train de développer le Llama 4 Behemoth, le modèle massif que le PDG Mark Zuckerberg qualifie de « plateforme la plus performante au monde ».

Selon Meta, Llama 4 Scout dispose d'une fenêtre de contexte pouvant atteindre 10 millions de jetons, soit plusieurs fois plus que le modèle possédant actuellement le plus grand nombre de jetons, Gemini. Ce nombre représente la mémoire de travail d'un modèle d'IA.

Meta décrit le modèle comme supérieur aux Gemma 3 et Gemini 2.0 Flash-Lite de Google, ainsi qu'au Mistral 3.1, « sur un certain nombre de benchmarks largement publiés », tout en étant capable de « fonctionner sur un seul GPU Nvidia H100 ».

Pour Llama 4 Maverick, l'entreprise a avancé des arguments similaires en matière de performances, le comparant à GPT-40 d'OpenAI et à Gemini 2.0 Flash de Google. Les performances de Maverick en programmation et en inférence sont comparables à celles de DeepSeek-V3, bien qu'il utilise moins de la moitié des paramètres.

Figurines des nouveaux modèles de la collection Llama 4. Photo : Meta.

Par ailleurs, Behemoth revendique 288 milliards de paramètres actifs sur un total de 2 000 milliards. Bien que non encore publié, Meta indique que Behemoth a le potentiel de surpasser ses concurrents (notamment GPT-4.5 et Claude Sonnet 3.7) « sur plusieurs indicateurs scientifiques et techniques ».

Meta a annoncé son passage à une architecture « mixte d'experts » (MoE), la même qui a fait le succès de DeepSeek. Cette approche permet d'économiser des ressources en n'activant que les parties du modèle nécessaires à chaque tâche. Plus de détails sur le plan produit seront dévoilés lors de la conférence LlamaCon, le 29 avril.

Malgré les critiques concernant ses restrictions de licence, Meta continue de présenter Llama 4 comme un logiciel libre, à l'instar de ses modèles précédents. Par exemple, la licence de Llama 4 exige que les entreprises comptant plus de 700 millions d'utilisateurs actifs mensuels obtiennent l'autorisation de Meta avant d'utiliser le modèle.

Selon l'Open Source Initiative de 2023, de telles réglementations « ont fait en sorte que le modèle ne soit plus considéré comme open source ».