À mesure que les modèles d'IA continuent de se développer, HBM pourrait ne pas être en mesure de répondre aux demandes futures en matière de capacité de mémoire vidéo, incitant l'industrie à considérer l'architecture de stockage basée sur GPU comme une prochaine frontière technologique potentielle. L'année dernière, on a appris que Nvidia travaillait respectivement avec SK Hynix et Kioxia pour promouvoir le développement du SSD AI et utiliser des pièces SSD sur mesure pour remplacer HBM en tant qu'extenseur de mémoire GPU. De plus, cette année, SK Hynix a également coopéré avec SanDisk pour proposer HBF (High Bandwidth Flash), une solution de mémoire de nouvelle génération pour l'ère de l'inférence de l'IA, afin de résoudre le même problème.
Selon les rapports TrendForce, Nvidia progresse dans le développement de l'architecture de stockage à accès direct GPU et prévoit de l'introduire à partir de la plate-forme Vera Rubin et d'activer la fonction GIDS (GPU-Initiated Direct Storage Access). Les étrangers pensent que ce changement pourrait accélérer le développement de HBF.
GIDS est différent de la fonction GDS (GPU Direct Storage) existante. Il y a une différence entre les deux : dans GDS, le CPU envoie une requête de données au périphérique de stockage avant de transmettre les données au GPU. Dans GIDS, le GPU accède directement au périphérique de stockage, en ignorant le CPU et la DRAM au milieu.
GIDS et GDS visent tous deux à surmonter les goulots d'étranglement de la transmission de données dans les architectures informatiques traditionnelles, et Microsoft et AMD exploreraient des approches similaires. Le principal problème est que la méthode traditionnelle de transmission de données est inefficace. Le CPU a une structure limitée dans le traitement des threads, tandis que le GPU peut générer des dizaines de milliers de threads parallèles. Actuellement, la transmission de données GPU-HBM représente environ la moitié de la consommation électrique totale du système, ce qui prend en charge l'architecture HBF et rapproche la mémoire flash NAND ultra-rapide du GPU pour faire face aux futurs goulots d'étranglement de l'IA.
L’émergence du GIDS pourrait permettre au flash NAND de jouer un rôle plus important dans les systèmes de stockage d’IA, tout en réduisant la pression sur HBM en termes de capacité. Ce changement nécessite une mémoire flash NAND plus performante pour suivre les vitesses de traitement du GPU. L'avantage de la mémoire flash NAND est sa densité de bits, qui est environ 30 fois supérieure à celle de la DRAM, ce qui permet d'obtenir une plus grande capacité de stockage dans un espace similaire.
Cependant, la mémoire flash NAND a une durabilité limitée, tandis que la DRAM a des capacités d'écriture presque illimitées. Par conséquent, HBF est considéré comme plus approprié pour stocker les paramètres du modèle d’IA, car cette partie des données reste fondamentalement inchangée pendant le processus d’inférence et n’est utilisée que comme charge de travail en lecture seule.