La concurrence mondiale en matière de puissance de calcul de l’IA a atteint un tournant technologique majeur ! Récemment, Google a annoncé la nouvelle technologie de compression de mémoire AI « TurboQuant », qui a attiré une grande attention dans l'industrie. Cette technologie prétend être capable de réduire les besoins en espace du « cache de valeurs clés » (KV Cache) le plus gourmand en ressources dans l'étape d'inférence générative de l'IA à 1/6 de l'original sans sacrifier la précision du modèle, et d'augmenter la vitesse de calcul de 8 fois.

Cette technologie révolutionnaire a également fait craindre sur l’ensemble du marché que la demande de mémoire ne s’effondre. Les actions américaines liées au stockage, telles que Micron, Sandisk et Western Digital, ont chuté.

Qu’est-ce que TurboQuant exactement ?

Au cours du processus d'inférence LLM (Large Language Model), afin de traiter des textes longs, le système doit stocker les informations des conversations passées dans le cache KV, qui est comme un « ordinateur portable » d'IA. À mesure que la durée de la conversation augmente, les informations qui doivent être stockées dans ce portable submergeront rapidement la mémoire à large bande passante (HBM) du GPU AI, devenant ainsi le plus gros goulot d'étranglement du fonctionnement de l'IA.

Le principal avantage de la technologie TurboQuant de Google est de résoudre le « bruit de mémoire » (Overhead) produit par la technologie traditionnelle de compression de mémoire. La technologie se compose de deux parties clés :

PolarQuant (quantification des coordonnées polaires) : les vecteurs traditionnels sont marqués de coordonnées XYZ et l'opération est lourde. Google utilise plutôt la logique des « coordonnées polaires » pour simplifier les orientations complexes en « rayon » et « angle ». Cela revient à simplifier l'information qui devait initialement être intitulée « marcher 3 kilomètres à l'est et 4 kilomètres au nord » pour « marcher 5 kilomètres à un angle de 37 degrés ». Cette transformation des structures géométriques réduit considérablement la charge de traitement des données.


QJL (Quantized Johnson-Lindenstrauss) : Il s'agit d'un mécanisme de correction mathématique 1 bit extrêmement rationalisé. Seul 1 bit supplémentaire est utilisé pour corriger avec précision l'erreur résiduelle dans le processus de compression, de sorte que même si le modèle est compressé à seulement 3 bits, il peut toujours atteindre « zéro perte de précision » dans de nombreux tests de référence tels que LongBench.


△Sur le modèle Llama-3.1-8B-Instruct, TurboQuant a démontré de solides performances de compression du cache KV dans le test de référence LongBench, surpassant diverses méthodes de compression (la largeur de bits est indiquée entre parenthèses).

Google a choisi d'ouvrir pleinement cet ensemble de technologies devenues un cœur de compétitivité. Il optimise non seulement l'efficacité de récupération des grands modèles tels que Gemini, mais réduit également la dépendance à l'égard de la mémoire pour d'autres grands modèles et ouvre la voie à l'accélération du développement de l'IA finale.

Selon des mesures réelles, sur l'accélérateur NVIDIA H100, les performances de TurboQuant sont améliorées jusqu'à 8 fois par rapport à la solution non compressée, et le modèle peut être monté directement sans recyclage. On peut la qualifier d’« arme magique » pour réduire les coûts et accroître l’efficacité du déploiement de l’IA.


△Sur l'accélérateur NVIDIA H100, TurboQuant montre des améliorations significatives des performances dans le calcul des valeurs de logique d'attention dans le cache clé-valeur, surpassant la ligne de base JAX hautement optimisée à différents niveaux de largeur de bit.


△TurboQuant démontre de solides performances de récupération, obtenant le meilleur rappel 1@k sur l'ensemble de données GloVe (d=200) par rapport à diverses lignes de base de quantification de pointe.

Matthew Prince, PDG de Cloudflare, et d'autres ont qualifié TurboQuant de « moment DeepSeek » de Google et estiment qu'il devrait, comme DeepSeek, réduire considérablement les coûts d'exploitation de l'IA grâce à des gains d'efficacité extrêmement élevés tout en restant compétitif en termes de résultats.

Les besoins en mémoire vont-ils diminuer ou créer des besoins plus importants ?

Concernant la technologie TurboQuant, qui a suscité des inquiétudes quant à une forte baisse de la demande de mémoire sur l'ensemble du marché, les experts du secteur et les instituts de recherche ont également exprimé des points de vue complètement différents :

Andrew Rocha, analyste chez Wells Fargo, a noté :"Lorsque la fenêtre contextuelle (fenêtre contextuelle) devient de plus en plus grande, la croissance explosive de KV Cache était à l'origine une garantie d'augmenter la demande de mémoire. Mais TurboQuant s'attaque directement à cette courbe de coûts. Une fois largement adoptées, les exigences de spécification en matière de capacité de mémoire dans les centres de données seront marquées de grandes questions. "

Cependant, la célèbre banque d'investissement Morgan Stanley et l'organisme de recherche Lynx Equity Strategies ont exprimé des points de vue complètement différents.

Morgan Stanley estime que le marché a peut-être ignoré la loi économique selon laquelle « les améliorations de l'efficacité sont le moteur de la croissance globale ».Lorsque le coût de la mémoire nécessaire au calcul de l'IA sera réduit à 1/6 de celui d'origine, cela entraînera une explosion massive de la demande pour les applications d'IA qui ne pouvaient auparavant pas être mises en ligne parce que la mémoire était trop coûteuse (comme la traduction de textes longs, la génération de code complexe), et comblera, voire dépassera, le vide de mémoire compressée.

C'est le paradoxe de Jevon, à savoir que lorsque le progrès technologique améliore l'efficacité de l'utilisation des ressources (en réduisant la quantité requise pour un usage donné), mais que la réduction des coûts entraîne une augmentation de la demande, la vitesse de consommation des ressources augmente au lieu de diminuer.

Joseph Moore, analyste chez Morgan Stanley, et son équipe ont noté dans une note aux investisseurs publiée jeudi : « Certains rapports indiquent que TurboQuant de Google réduira l'utilisation de la mémoire à 1/6 de l'original, mais cela ignore qu'ils ne font référence qu'au KV Cache, et non à l'utilisation globale de la mémoire.

"Il convient de noter que les modèles Gemini 3 et 2.5 Pro de Google ont des fenêtres contextuelles de 1 million de jetons, mais Google a révélé qu'ils ont testé des fenêtres contextuelles allant jusqu'à 10 millions de jetons en utilisant Gemini 1.5 Pro et ont obtenu de très bons résultats, mais en raison du coût élevé de l'inférence, ils n'ont finalement pas publié le modèle", a déclaré Moore. "En conséquence, nous nous attendons à ce qu'à mesure que ce type d'innovation et d'autres technologies émergent, les coûts diminuent et que cette technologie soit utilisée pour servir des produits plus intelligents et à forte intensité de calcul."

Morgan Stanley a en outre souligné que TurboQuant optimise principalement le cache dans la « phase d'inférence », et non les poids du modèle dans la « phase d'entraînement ». Par conséquent, l’impact sur la logique d’approvisionnement HBM (mémoire à bande passante élevée) qui prend en charge la formation de base en IA est relativement limité.

En revanche, TurboQuant est plus pertinent pour le déploiement de l’intelligence artificielle sur des terminaux tels que les téléphones mobiles et les ordinateurs portables. Étant donné que les appareils mobiles ont une mémoire limitée, ce type de technologie de compression efficace permet à des modèles d’IA plus puissants de fonctionner sur les téléphones mobiles, ce qui stimulera une mise à niveau complète des spécifications de mémoire dans divers terminaux.

Selon Lynx Equity Strategies,Même si les fournisseurs d’IA auront besoin d’innovation pour résoudre les goulots d’étranglement dans l’inférence qui surviennent à mesure que la longueur du contexte des jetons augmente, cela ne réduira pas la demande de mémoire et de flash au cours des trois à cinq prochaines années en raison des contraintes d’approvisionnement.