Meta a récemment dévoilé les dernières itérations de son modèle d’intelligence artificielle (IA) Llama, signalant une avancée significative dans l’engagement continu de l’entreprise envers l’innovation en matière d’IA. Parmi les nouvelles offres figurent Llama 4 Scout et Llama 4 Maverick, que Meta a surnommés « modèles multimodaux », soulignant leur capacité à traiter et à interagir avec diverses formes de médias au-delà du simple texte.
De plus, Meta a annoncé Llama 4 Behemoth, présenté comme l’un des LLM les plus intelligents au monde et destiné à servir de professeur pour les modèles nouvellement publiés.
Cette annonce souligne les investissements importants de Meta dans l’IA au cours des deux années précédentes. Le PDG Mark Zuckerberg a publiquement déclaré son intention d’allouer jusqu’à 65 milliards de dollars en 2025 pour améliorer davantage les capacités d’IA de l’entreprise. Les ambitions de Meta s’étendent au-delà de son domaine des médias sociaux, explorant les abonnements premium potentiels pour son assistant d’IA, Meta AI, pour gérer des tâches telles que les réservations et la création de vidéos.
L’Effort Open-Source d’OpenAI
Parallèlement, OpenAI envisagerait de publier une version open source de son LLM, un écart par rapport à ses pratiques récentes. Cette décision accorderait aux utilisateurs la liberté d’utiliser, de modifier et de distribuer le modèle sans encourir de frais de licence. OpenAI sollicite les commentaires de la communauté des développeurs, des chercheurs et du grand public afin d’optimiser l’utilité du modèle.
Le modèle open source devrait être lancé dans quelques mois. La dernière fois qu’OpenAI a adopté les principes de l’open source, c’était en 2019 avec le LLM GPT-2. Son LLM le plus récent est GPT-4.5. OpenAI s’est orienté vers des modèles propriétaires après avoir obtenu un investissement d’un milliard de dollars de Microsoft, formant une alliance étroite pour faire progresser le développement de modèles d’IA. Microsoft a depuis investi plus de 13 milliards de dollars dans OpenAI, les modèles d’OpenAI étant exclusifs aux clients des services cloud Azure de Microsoft.
Llama de Meta, le LLM de Mistral et DeepSeek sont quelques-uns des modèles open source qui gagnent en popularité récemment. Zuckerberg a mentionné sur Threads que Llama avait été téléchargé 1 milliard de fois. Llama a été lancé en 2023.
Le modèle d’IA "Behemoth" de Meta fait face à des retards
Cependant, Meta retarderait la sortie de "Behemoth", initialement prévue pour un lancement estival, la sortie possible la plus proche étant maintenant prévue pour l’automne. Des sources suggèrent que les progrès du modèle n’ont pas été "suffisamment significatifs" pour justifier une sortie en juin, et cela représente un retard depuis la conférence des développeurs de Meta.
Le retard jette une ombre sur la sortie par Meta de la famille phare de grands modèles de langage Llama. Le Wall Street Journal dit qu’ils ont été salués pour la rapidité de leur sortie. Llama a joué un rôle déterminant dans l’autonomisation des développeurs au sein de petites entreprises, d’organisations à but non lucratif et d’établissements universitaires. C’est une alternative aux modèles fermés et propriétaires offerts par des entreprises comme OpenAI, Google et Amazon.
L’impact du retard de Behemoth sur les grandes entreprises est moins prononcé, car elles s’appuient souvent sur des modèles propriétaires basés sur le cloud. Même si les petites entreprises peuvent personnaliser les modèles Llama open source, elles nécessitent des services de déploiement supplémentaires que Meta n’offre pas. L’utilisation de Llama par Meta est axée sur l’amélioration de ses propres outils de médias sociaux, permettant à Zuckerberg de maintenir le contrôle sur sa trajectoire d’IA.
Un facteur important derrière le retard réside dans la question de savoir si le modèle démontre des améliorations suffisamment substantielles pour justifier un lancement public.
L’Impératif de l’Innovation
Dans le monde en évolution rapide de l’industrie technologique, les nouvelles versions doivent présenter des avancées tangibles pour justifier leur introduction. Lors de LlamaCon, Meta a présenté deux modèles Llama 4 plus petits, chacun possédant des capacités impressionnantes :
- Maverick possède 400 milliards de paramètres totaux avec une fenêtre de contexte de 1 million de jetons (750 000 mots).
- Scout possède 109 milliards de paramètres et une fenêtre de contexte de 10 millions de jetons (7,5 millions de mots).
Behemoth était initialement prévu pour une sortie simultanée, incorporant 2 billions de paramètres.
Selon le Wall Street Journal, Meta devient impatient avec son équipe Llama 4 en raison de ses investissements continus dans l’IA. En 2024, l’entreprise a alloué jusqu’à 72 milliards de dollars en dépenses d’investissement, principalement destinés au développement de l’IA.
Inquiétudes Croissantes
Zuckerberg et d’autres hauts dirigeants n’ont pas encore annoncé de date de sortie définitive pour Behemoth. Les initiés craignent que ses performances ne répondent pas aux attentes fixées par les déclarations publiques de Meta.
Des sources indiquent une insatisfaction croissante parmi les dirigeants de Meta quant aux progrès réalisés par l’équipe développant les modèles Llama 4. Cela a conduit à des discussions sur d’éventuels changements de direction au sein de son groupe de produits d’IA.
Meta a présenté Behemoth comme un système très performant, surpassant des concurrents comme OpenAI, Google et Anthropic sur des benchmarks spécifiques. Des défis internes ont entravé son efficacité, comme l’ont affirmé ceux qui sont familiers avec son développement.
OpenAI a également rencontré des retards. Leur prochain modèle majeur, GPT-5, était initialement prévu pour une sortie mi-2024. Le Wall Street Journal a rapporté en décembre que le développement avait pris du retard.
En février, le PDG d’OpenAI, Sam Altman, a déclaré que le modèle intérimaire serait GPT-4.5, tandis que GPT-5 restait à des mois de là.
Causes Possibles du Ralentissement des Progrès
Plusieurs facteurs peuvent contribuer au ralentissement du développement des modèles d’IA, notamment :
Diminution des Données de Haute Qualité
Les grands modèles de langage nécessitent des quantités massives de données pour l’entraînement, reflétant la vaste étendue de l’internet. Ils pourraient épuiser les sources de données accessibles au public tout en faisant face à des responsabilités juridiques liées au droit d’auteur.
Cela a conduit OpenAI, Google et Microsoft à plaider pour la préservation de leur droit de s’entraîner sur du matériel protégé par le droit d’auteur.
OpenAI a mentionné que le gouvernement peut garantir la liberté des Américains d’apprendre de l’IA et éviter d’abandonner le leadership en matière d’IA à la RPC [République populaire de Chine] en préservant la capacité des modèles d’IA américains à apprendre du matériel protégé par le droit d’auteur.
Obstacles Algorithmiques
La croyance selon laquelle l’augmentation de la taille du modèle, l’utilisation de plus de calcul et l’entraînement sur plus de données produiraient des avancées notables s’est avérée fausse. Bloomberg dit qu’il y a eu des rendements décroissants, ce qui amène certains à dire que les lois de mise à l’échelle ralentissent.
```