Résumé :
Groq, une société de puces d'inférence d'IA qui a été rachetée par NVIDIA, prévoit d'introduire la technologie DRAM empilée 3D dans ses produits LPU (Language Processing Unit) de nouvelle génération pour remplacer la solution SRAM actuellement largement utilisée. Cet ajustement signifie que l'entreprise se concentrera davantage sur l'augmentation de la capacité de stockage des puces à l'avenir afin de s'adapter à la demande croissante de modèles d'intelligence artificielle à grande échelle.
Plus tôt cette année, NVIDIA a annoncé le produit rack Groq LPX et l'a inclus dans l'écosystème Vera Rubin pour améliorer les performances d'inférence de l'IA. Le rack est entré en production de masse en août de cette année. Selon les premiers résultats des tests, lorsqu'il fonctionne conjointement avec le serveur NVL72, le système peut atteindre une vitesse d'inférence de 3 400 jetons par seconde, établissant ainsi un nouveau record de performances.
La génération actuelle de Groq LPU est conçue avec 500 Mo de SRAM et dispose d'une bande passante mémoire allant jusqu'à 150 To/s. Dans le rack LPX, le système est configuré avec 256 de ces puces, offrant un total de 128 Go de capacité SRAM et 640 To/s de capacités de bande passante étendue. Un seul Groq LPU peut fournir environ 1,20 PFLOP de puissance de calcul FP8.
Mais pour la prochaine génération de produits, Groq se prépare à emprunter une voie complètement différente. La société prévoit d'abandonner sa dépendance uniquement à l'égard de la SRAM et d'adopter à la place la DRAM et de la combiner avec la technologie d'emballage 3D Stacked (empilée en 3D) pour créer une nouvelle architecture. Par rapport à la SRAM, le plus grand avantage de la DRAM est qu’elle peut fournir une capacité de stockage beaucoup plus élevée que la SRAM, mais au détriment d’une bande passante et d’une vitesse d’accès relativement faibles.
Une source de l'industrie des semi-conducteurs a déclaré que Groq prévoyait d'introduire la technologie d'emballage 3D dans la prochaine génération de puces, et que l'objet d'empilage passerait de la SRAM existante à la DRAM. Cette décision est largement interprétée dans l'industrie comme le désir de Groq d'augmenter considérablement la capacité de stockage des puces. Bien que la SRAM soit extrêmement rapide, son extension de capacité est limitée ; en comparaison, bien que la DRAM soit plus lente, elle est plus adaptée à la construction de systèmes de stockage à grande échelle.
Grâce à la technologie d'empilement 3D, Groq peut empiler plusieurs couches de DRAM dans une seule puce à structure verticale et utiliser la technologie TSV (Through Silicon Via) pour réaliser des connexions inter-couches. Ce concept de conception est très similaire à la manière dont la mémoire HBM à large bande passante actuelle est implémentée. Par rapport au conditionnement DRAM traditionnel, la solution d'empilement 3D peut non seulement augmenter considérablement la densité de stockage par unité de surface, mais également améliorer l'efficacité énergétique et réduire les besoins en espace.
À en juger par les informations divulguées jusqu'à présent, la mise à niveau du produit Groq s'est évidemment déplacée vers la capacité de stockage, tout en espérant conserver autant que possible certains des avantages de bande passante élevée apportés par son architecture SRAM. À mesure que l'échelle des modèles d'IA générative continue d'augmenter, le besoin en mémoire de grande capacité et à haute vitesse continue de croître, de sorte que la nouvelle génération de puces Groq devrait être plus largement utilisée.
Le rapport mentionne également que Groq n'abandonnera peut-être pas complètement la SRAM à l'avenir, mais développera des gammes de produits DRAM et SRAM en parallèle pour fournir des solutions différenciées selon différents scénarios d'application. Pour NVIDIA, qui construit des usines et des plateformes d'IA, ce type de puces d'inférence de plus grande capacité devrait également jouer un rôle plus important à l'avenir.
Commentaires