Selon deux personnes proches du dossier, Google développe une nouvelle puce de serveur qui peut directement solidifier l'architecture sous-jacente du grand modèle Gemini dans le matériel de la puce, améliorant ainsi considérablement l'efficacité opérationnelle de la fourniture de services d'IA aux utilisateurs. Cette puce, baptisée en interne Frozen v2, est conçue pour résoudre le grave manque actuel de puissance de calcul de l'IA de Google. Le déficit de puissance de calcul a provoqué des conflits de ressources internes et a même contraint Google Cloud à rejeter les commandes de coopération de nombreux clients externes.


Des personnes proches du dossier ont déclaré que l'équipe R&D a calculé qu'après le lancement officiel de la puce, le nombre de jetons pouvant être traités par unité de consommation d'énergie atteindra 6 à 10 fois celui de la dernière génération de puces d'IA auto-développées par Google, réalisant ainsi un saut qualitatif en matière d'efficacité énergétique.

L'origine du nom de code « Frozen » vient de son idée de conception fondamentale : graver de manière permanente une partie de la logique informatique du grand modèle dans le matériel en silicium. Les ingénieurs sont encore en train de finaliser les modules fonctionnels de base de la puce et la manière dont chaque composant fonctionnera ensemble. Des personnes proches du dossier ont déclaré que Google prévoyait de déployer la puce dès 2028.

Le projet Frozen vise à créer une nouvelle gamme de puces auto-développées qui complète les processeurs tenseurs (TPU) existants de Google, plutôt que de les remplacer. Les puces IA les plus utilisées actuellement, NVIDIA GPU et Google TPU, sont des puces à usage général qui peuvent être adaptées à une variété de grands modèles différents. Cependant, lorsque des puces à usage général exécutent un modèle, elles doivent effectuer un grand nombre de jugements logiques chronophages en temps réel ; Frozen v2 dispose directement d'une logique informatique sous-jacente intégrée qui s'adapte aux modèles de la série Gemini, ce qui peut réduire considérablement les étapes de calcul sur puce et le volume de transfert de données.

L'une des personnes proches du dossier a déclaré que cette puce spéciale peut répondre plus rapidement aux questions des utilisateurs et devrait soutenir le lancement par Google de nouveaux scénarios d'application d'IA. Mais cette puce signifie également que Google parie qu'il continuera à utiliser l'architecture sous-jacente du grand modèle Gemini actuel : seules les itérations ultérieures du modèle Gemini adopteront la même infrastructure car la puce a été conçue pour fonctionner normalement sur la puce.

Des personnes proches du dossier ont ajouté que Google peut toujours optimiser la puce de manière itérative, notamment en mettant à jour les pondérations du modèle intégrées (les pondérations sont la configuration des paramètres de base qui détermine la manière dont le modèle répond aux questions).

Le porte-parole officiel de Google a répondu : Les équipes de l'entreprise « continuent de développer et de tester diverses technologies innovantes, en s'efforçant d'atteindre des performances et une efficacité énergétique ultimes pour les utilisateurs et les entreprises clientes ».

Le porte-parole a ajouté : « Tous les projets de R&D ne seront pas mis en production de masse, mais ce type d'exploration technologique globale est un élément essentiel de notre parcours technologique d'auto-recherche complète. »

Pourquoi les puces d'inférence sont devenues le centre d'intérêt de l'industrie

Des start-ups comme Samba Nova et d-Matrix, ainsi que des géants de la technologie comme OpenAI et Microsoft, développent des puces d'inférence d'IA - du matériel informatique spécifiquement utilisé pour fournir des services externes pour les grands modèles. L'objectif de chaque entreprise est d'atteindre une efficacité énergétique d'inférence supérieure à celle des GPU NVIDIA, d'atténuer le manque de puissance de calcul et de réduire les coûts d'exploitation. Nvidia elle-même a également dépensé 20 milliards de dollars en décembre de l'année dernière pour acquérir la licence technologique du fabricant de puces d'inférence Groq.

Les parcours techniques des différents acteurs de l'industrie sont différents de la solution Frozen de Google, mais l'idée de conception de Frozen v2 est très similaire à celle de la startup canadienne de puces Taalas : cette dernière a également choisi de coder en dur la logique de grands modèles spécifiques dans la puce. Taalas a réalisé un financement de plus de 200 millions de dollars américains, auprès d'investisseurs tels que Quiet Capital et Fidelity Investments.

L'itération de développement de Frozen v2 provient de la solution Frozen originale. La solution de première génération est dirigée par Jeff Dean, scientifique en chef de Google DeepMind, et prévoit de graver l'intégralité des poids du modèle directement dans la puce. Cependant, cette solution présente des inconvénients évidents : la puce ne peut s'adapter qu'à une seule version de Gemini, et le cycle de vie du matériel est extrêmement court, elle a donc été mise de côté pendant de nombreuses années.

Une autre personne proche du dossier a révélé que Google évalue toujours la quantité d'informations de modèle solidifiées dans la puce Frozen v2 afin d'équilibrer la flexibilité matérielle et l'efficacité énergétique de fonctionnement.

Le déploiement par Google de puces auto-développées a jusqu’à présent porté ses fruits. Cette année, Google a lancé le TPU de huitième génération et en a fait la promotion directement auprès des clients cloud, ce qui a eu un impact direct sur la part de marché monopolistique de Nvidia. Google a signé un accord de plusieurs milliards de dollars avec Meta pour lui louer la puissance de calcul TPU, tout en essayant de fournir du TPU aux principaux clients fournisseurs de cloud de Nvidia.

Les puces d'IA auto-développées et ne s'appuyant pas entièrement sur les GPU Nvidia ont aidé Google à réduire les coûts d'exploitation du modèle Gemini - Google l'a adapté autour de Gemini lors de la conception du TPU, mais les informations de modèle intégrées au TPU sont bien inférieures à celles des puces de la série Frozen.

Google n'a pas l'intention de produire en masse Frozen v2 pour le moment, et la capacité de production sera bien inférieure à celle du TPU. Des personnes proches du dossier ont déclaré que l'échelle de production de masse de cette puce est limitée et que Google peut reporter l'introduction de partenaires externes de conception et de fonderie ; dans le même temps, Google considère cette génération de produits comme une plateforme de test technologique. Une fois l’architecture sous-jacente du grand modèle stabilisée, il accumulera une expérience en ingénierie pour le développement de puces plus spécialisées.