Résumé :
L'expansion rapide de l'industrie mondiale de l'intelligence artificielle provoque de graves pénuries d'approvisionnement en puces de mémoire, en particulier l'augmentation de la demande de mémoire à large bande passante (HBM), qui a mis la capacité de production de DRAM traditionnelle sous pression pour la réaffecter. Dans ce contexte, l'ancien PDG d'Intel, Pat Gelsinger, parie sur un nouveau type de technologie de mémoire, dans l'espoir de résoudre les problèmes à long terme de capacité, de bande passante et de consommation d'énergie auxquels sont confrontés les puces IA en modifiant la façon dont les cellules de mémoire traditionnelles sont conçues.
La technologie s'appelle Z2RAM et a été développée par la start-up américaine Nagare Labs. La société a été fondée par Suman Datta et Shimeng Yu, chercheurs au Georgia Institute of Technology. Ses fondements en matière de recherche proviennent d'années d'exploration de nouvelles technologies de stockage telles que la mémoire ferroélectrique et la mémoire vive résistive.
Playground Global, l'institution d'investissement dans laquelle Kissinger est actuellement impliqué, a dirigé le cycle de financement d'amorçage de 5 millions de dollars de Nagare Labs. Il a montré un intérêt considérable pour cette technologie et estime que Z2RAM a la possibilité de combiner les avantages de la SRAM, de la DRAM et de la mémoire flash pour créer un nouveau type de mémoire à haute densité, haute vitesse et évolutivité.
Kissinger a souligné qu'au cours des trois dernières décennies, les technologies de stockage traditionnelles largement commercialisées n'ont pas subi de changements fondamentaux. Les mémoires flash SRAM, DRAM et NAND constituent toujours la base de stockage des équipements informatiques modernes. Cependant, à mesure que les besoins informatiques de l’intelligence artificielle augmentent rapidement, les limites des architectures de stockage traditionnelles deviennent de plus en plus évidentes.
L'avancée la plus importante de cette technologie réside dans la refonte de la manière dont les cellules mémoire stockent la charge.
La DRAM traditionnelle utilise généralement une structure 1T1C, c'est-à-dire qu'un transistor est associé à un condensateur, et le condensateur stocke la charge pour représenter les données. Étant donné que la charge dans le condensateur s'échappe avec le temps, la DRAM doit actualiser les données périodiquement, et le processus de lecture est destructeur et nécessite une réécriture après la lecture.
La SRAM utilise une conception différente, nécessitant généralement six transistors pour former une cellule mémoire. Elle n'a pas besoin d'être rafraîchie périodiquement comme la DRAM, et la vitesse de lecture est très rapide, elle est donc largement utilisée comme cache à l'intérieur du processeur. Cependant, le prix est que la surface de l'unité de stockage est plus grande et que le coût de fabrication est élevé, ce qui rend difficile la réalisation d'une extension à grande échelle et à haute densité comme la DRAM et la NAND.
Z2RAM tente de trouver un nouvel équilibre entre les deux. Il utilise deux transistors pour former une unité de mémoire, au lieu d'utiliser un condensateur séparé dans la DRAM traditionnelle. Au lieu de cela, il utilise la capacité de grille du deuxième transistor pour stocker la charge.
Suman Datta, co-fondateur de Nagare Labs, a expliqué que cette conception permet une lecture non destructive. En d’autres termes, lors de la lecture des données, il n’est pas nécessaire de consommer les frais de stockage puis d’effectuer une opération de réécriture comme la DRAM traditionnelle, cela devrait donc réduire la latence d’accès et améliorer l’efficacité globale du stockage.
En termes de densité, Nagare Labs prédit que la densité de stockage par unité de surface de la Z2RAM de première génération peut être plus de cinq fois supérieure à celle de la SRAM traditionnelle. Par exemple, si la SRAM de la même zone peut fournir une capacité de 64 Mo, alors en utilisant la Z2RAM, la capacité peut théoriquement être augmentée jusqu'à environ 320 Mo tout en maintenant un niveau de bande passante proche de celui de la SRAM.
Ceci est particulièrement important pour les processeurs d'intelligence artificielle. Actuellement, les accélérateurs d'IA s'appuient de plus en plus sur HBM pour fournir une énorme bande passante mémoire, mais HBM nécessite une technologie d'emballage d'empilage complexe, des coûts de fabrication élevés et des limites en matière de consommation d'énergie et de zone d'emballage.
D'un autre côté, certains processeurs spécifiquement utilisés pour l'inférence IA utilisent une grande quantité de SRAM sur puce pour minimiser le délai d'accès du processeur à la mémoire externe. Cependant, la densité de la SRAM est limitée, ce qui oblige la puce à faire un compromis entre la capacité et les unités de calcul dans une zone limitée.
Par exemple, NVIDIA Groq 3 LPU utilise une grande quantité de SRAM comme ressources de stockage sur puce, et la capacité SRAM d'une seule puce est d'environ 500 Mo. Selon la vision technique de Nagare Labs, si la Z2RAM peut atteindre la densité cinq fois supérieure attendue, alors la même zone peut accueillir plusieurs fois les données de la SRAM traditionnelle. Cela peut réduire le nombre de processeurs requis pour les grands systèmes d’inférence d’IA et réduire la pression sur les données à transférer entre différentes puces.
Une autre caractéristique importante de la Z2RAM est l'utilisation de matériaux semi-conducteurs à base d'oxyde, qui devraient être directement intégrés au-dessus de la puce logique informatique grâce à la technologie de liaison hybride 3D.
Cela signifie qu'il ne doit pas s'appuyer entièrement sur l'architecture traditionnelle consistant à séparer la puce mémoire du processeur. Au lieu de cela, il a la possibilité d’empiler des couches de stockage haute densité directement à proximité de la puce informatique pour raccourcir la distance de transmission des données. Son idée de conception est quelque peu similaire à l'empilement par AMD de cache SRAM supplémentaire sur le processeur via la technologie 3D V-Cache, mais Z2RAM espère fournir une densité de stockage plus élevée.
En termes de technologie de fabrication, Nagare Labs prévoit également de s'appuyer sur l'idée d'empilement vertical de la mémoire flash NAND pour créer plusieurs couches de stockage couche par couche. Contrairement à HBM et LPDDR, qui reposent sur un boîtier de mémoire complexe haute densité, la société espère parvenir à une fabrication multicouche relativement simple grâce à des semi-conducteurs à oxyde et à des processus back-end. Si cette solution réussit, elle aura la possibilité de réduire le coût de fabrication du stockage sur puce de grande capacité.
Cependant, la Z2RAM en est encore à un stade très précoce de développement. Nagare Labs vient de finaliser une ronde de financement de démarrage de 5 millions de dollars américains. Les résultats à ce stade sont principalement des prototypes de laboratoire et ne sont pas encore entrés dans le stade mature de fabrication de puces.
L'entreprise recherche des partenaires de fabrication capables de fournir des capacités de R&D et de fabrication, dans l'espoir de faire progresser la technologie de l'environnement de salle blanche d'un laboratoire universitaire à la vérification de la production à plus grande échelle. Selon le plan actuel, Nagare Labs espère fournir des échantillons de puces mémoire Z2RAM fonctionnelles au cours des quatre prochaines années et s'efforcer de réaliser des expéditions commerciales au cours des dix prochaines années.
Dans le même temps, cette technologie est également confrontée à de nombreux défis d'ingénierie.
Le premier est le problème d'intégration des puces informatiques. La Z2RAM doit être connectée au processeur ou à l'accélérateur d'IA via une liaison hybride 3D, mais l'industrie n'a pas encore formé de norme d'interface unifiée adaptée à ce nouveau type de mémoire. Les chercheurs de Georgia Tech ont déclaré que sans normes industrielles matures, Nagare Labs pourrait devoir développer sa propre technologie d'interface, ce qui augmenterait la complexité de la conception et de la commercialisation des produits.
La deuxième est la fiabilité matérielle. Les semi-conducteurs à oxyde présentent certains avantages en termes de stabilité thermique et de résistance aux radiations, mais des défauts tels que des lacunes atomiques peuvent apparaître dans le matériau. Ces défauts microscopiques peuvent affecter la tension de seuil du transistor, et même de faibles changements de tension peuvent provoquer des erreurs de données dans la cellule mémoire.
Pour les produits de mémoire, la fiabilité est souvent plus importante que les performances optimales en laboratoire. Toute nouvelle technologie de stockage doit subir une conservation des données à long terme, une durée de vie en lecture et en écriture, des changements de température et une vérification de la cohérence de la fabrication avant de pouvoir véritablement entrer sur le marché commercial.
Le co-fondateur de Nagare Labs a également admis qu'il y a eu un grand nombre de startups de mémoire dans l'histoire qui ont tenté de défier la technologie traditionnelle de la DRAM et de la mémoire flash, mais qui ont finalement échoué. Même si une technologie fonctionne bien en laboratoire, cela ne signifie pas qu'elle satisfera aux normes de qualité strictes de l'industrie des semi-conducteurs et entrera dans la chaîne d'approvisionnement des systèmes informatiques existants.
La raison pour laquelle Kissinger est optimiste à propos de la Z2RAM est étroitement liée au goulot d'étranglement de la mémoire auquel est confrontée l'industrie actuelle de l'IA. La formation et l'inférence de grands modèles de langage nécessitent non seulement une puissance de calcul puissante, mais nécessitent également l'alimentation continue de grandes quantités de données vers le processeur. Lorsque la vitesse de traitement de l'unité informatique dépasse de loin la capacité de fourniture de données de la mémoire, le processeur doit attendre les données, ce qui entraîne des ressources informatiques coûteuses qui ne peuvent pas être pleinement utilisées.
Actuellement, HBM est la principale solution pour résoudre le problème de bande passante mémoire des accélérateurs d'IA, mais il n'est pas sans défauts. Gelsinger estime que si la Z2RAM parvient à atteindre les performances attendues, elle aura l'opportunité de fournir des solutions différentes des HBM existantes en termes de densité de stockage, de vitesse et de consommation d'énergie.
Il convient de noter que la Z2RAM n'est pas une technologie capable de résoudre la pénurie mondiale d'approvisionnement en DRAM et HBM à court terme. Même si des échantillons techniques deviennent disponibles dans les quatre prochaines années, la commercialisation à grande échelle est encore loin. L'offre actuelle limitée de mémoire mondiale est principalement due à l'augmentation de la demande des centres de données d'IA et au fait que Samsung, SK Hynix et Micron transfèrent davantage de capacité de production vers les produits HBM et de mémoire pour serveur.
Ars Technica
+2
Si la Z2RAM parvient à terme à atteindre une production de masse, son importance la plus importante pourrait résider dans la modification de l'architecture de stockage des futurs processeurs, plutôt que dans la simple augmentation de l'offre de puces mémoire traditionnelles. Il devrait permettre aux processeurs d'IA d'obtenir un espace de stockage à haute vitesse plus grand à l'intérieur de la puce, de réduire la dépendance à l'égard de la bande passante de la mémoire externe et de fournir de nouvelles options de conception pour la prochaine génération d'accélérateurs d'IA.
De la SRAM à la DRAM en passant par la mémoire flash NAND, l'industrie des semi-conducteurs a formé un système technologique de stockage relativement mature. Z2RAM tente de briser le compromis de longue date entre performances et densité entre ces technologies. Cependant, il s’agit encore d’un concept technique au stade du laboratoire. Pour qu'il puisse éventuellement passer du résultat d'une recherche scientifique à un produit commercial compétitif, il faudra du temps et des tests de processus de fabrication.
Commentaires