Selon une note interne obtenue par le magazine "Information", Meta Platforms est de plus en plus optimiste quant au premier grand modèle de base que sa nouvelle équipe d'IA est sur le point de lancer. La note, datée du 20 janvier, a été publiée par Megan Fu, chef de produit de Meta Superintelligence Labs, qui indique clairement que le grand modèle de langage de nouvelle génération Avocado a terminé la pré-formation et est « le modèle de base pré-entraîné le plus puissant de Meta à ce jour ». La pré-formation est la première étape du développement d’un modèle d’IA. Le modèle doit être exposé à des données massives et acquérir des connaissances générales, des modèles et des relations.
À gauche, Alexander Wang et Mark Zuckerberg
Le mémo indique que les performances d’Avocado dépassent le meilleur modèle de base open source actuel. (Le modèle de base fait référence à un grand modèle de langage qui a seulement terminé la pré-formation et n'a pas encore été optimisé via l'étape « post-formation » ; l'étape post-formation utilise des techniques telles que l'apprentissage par renforcement par feedback humain pour affiner le modèle pour des tâches spécifiques.) Bien qu'Avocado n'ait pas encore terminé la post-formation, sa réserve de connaissances, sa perception visuelle et ses capacités multilingues sont à égalité avec les meilleurs modèles post-formation.
Avant qu’Avocado ne soit officiellement rendu public, il n’est toujours pas clair si l’évaluation interne optimiste de Meta sur les progrès de son modèle d’IA peut résister à une inspection externe. Mais étant donné l’expérience difficile de Meta en matière d’IA au cours de l’année écoulée, même une promotion excessive de ces progrès en interne serait risquée pour l’entreprise.
En 2025, les performances du grand modèle de langage Llama 4 de la génération précédente de Meta n'ont pas répondu aux attentes, obligeant l'entreprise à reporter sa sortie. Meta a finalement lancé deux versions de Llama 4 - Maverick (Ranger) et Scout (Scout), mais certains développeurs ont été déçus de ses performances réelles.
Ces revers ont directement entraîné une restructuration à grande échelle de l’activité globale d’IA de Meta. La réorganisation comprend : Meta a acquis Scale AI pour 14,3 milliards de dollars américains en juin de l'année dernière. Alexandr Wang, PDG de la startup, a ensuite rejoint Meta et était chargé de diriger la nouvelle organisation globale d'IA, Meta Super Intelligence Laboratory. Depuis lors, Meta a investi une somme record dans le secteur de l'IA : l'entreprise a récemment prédit que les dépenses en capital en 2026, y compris le coût de la puissance de calcul de l'IA, augmenteraient d'environ 73 % par rapport à 2025, pour atteindre 115 à 135 milliards de dollars.
Les avancées technologiques de Meta sur de nouveaux modèles pourraient permettre de maîtriser les coûts associés. Une autre note de la mi-décembre de l’année dernière montrait que dans les tâches liées au texte, l’efficacité informatique d’Avocado est 10 fois supérieure à celle de Maverick et plus de 100 fois supérieure à celle de Behemoth. Behemoth est la version retardée et non encore annoncée de Meta de Llama 4 l'année dernière.
Meta a déclaré avoir réussi à réaliser des avancées en matière d'efficacité en acquérant des données de meilleure qualité, en investissant dans l'infrastructure du modèle et en adoptant une formation déterministe, qui garantit que le modèle produit des résultats stables avec la même méthode de formation. Cette amélioration de l'efficacité contribue à réduire la consommation d'énergie et les coûts de recherche et de développement en IA - un facteur crucial alors que Meta s'efforce de rattraper ses concurrents.
Le ton positif de la note interne de Meta fait écho aux récentes déclarations publiques des dirigeants. Le mois dernier, Andrew Bosworth, directeur de la technologie de Meta, a fait allusion à des améliorations d'efficacité similaires lors d'une conférence de presse au Forum économique mondial de Davos, en Suisse, affirmant que le modèle d'IA de Meta "fonctionnait extrêmement bien". Bosworth a également déclaré que le développement d'un modèle utilisable pour les consommateurs nécessite beaucoup de travail post-formation.
Dans le même temps, lors de la conférence téléphonique sur les résultats de la semaine dernière, Mark Zuckerberg, PDG de Meta, a déclaré à propos des premiers grands modèles qui devraient être lancés par le Super Intelligence Laboratory de Meta : « Je m'attends à ce que notre premier lot de modèles fonctionnera bien, mais plus important encore, ils démontreront notre trajectoire de développement rapide. J'espère également que cette année, nous continuerons à lancer de nouveaux modèles et à avancer régulièrement la frontière technologique.