Résumé :
Une nouvelle étude menée par des développeurs de la communauté montre que les cartes graphiques NVIDIA GeForce RTX 30 Series et RTX 40 Series cachent un potentiel informatique qui dépasse de loin les spécifications officielles. En déverrouillant la configuration micrologicielle et matérielle sous-jacente, les développeurs ont réussi à libérer une partie de la puissance de calcul initialement limitée, permettant à certains modèles d'obtenir une amélioration des performances jusqu'à deux fois supérieure dans les scénarios d'intelligence artificielle et de calcul matriciel.
Selon les rapports, le cœur utilisé dans les cartes graphiques à architecture « Ampère » de la série RTX 30 est essentiellement le même silicium que les GPU de qualité professionnelle de NVIDIA, mais certaines capacités informatiques des produits grand public sont limitées par les politiques en matière de logiciels et de micrologiciels. Une solution de déverrouillage développée par un chercheur peut augmenter le taux d'émission d'instructions des opérations FP/BF16 FMA vers FP32 et convient aux cœurs GA102, GA103, GA104 et GA106.
Lors de tests réels, les performances de multiplication matricielle BF16 du RTX 3090 Ti ont été améliorées jusqu'à environ 80 %. Étant donné que la multiplication matricielle est une opération de base importante pour exécuter la plupart des modèles de réseaux neuronaux, cette amélioration a une importance évidente pour le raisonnement local de l’IA et les tâches d’apprentissage automatique.
Dans le même temps, un autre projet de déverrouillage de l'architecture "Ada Lovelace" de la série RTX 40 a également réalisé une percée. Cette solution atteint environ deux fois le débit de calcul du FP16 et du BF16 Tensor tout en conservant la précision d'accumulation du FP32.
En prenant le RTX 4090 comme exemple, dans le test de débit FP16 Tensor, la carte graphique pouvait initialement atteindre 165,6 TFLOPS, mais après avoir activé le déverrouillage, les performances sont passées à 331,6 TFLOPS, soit presque le double. Ce niveau est proche, voire atteint, de la puissance de calcul de certains produits de qualité professionnelle, comme la RTX 6000 Ada.
Les chercheurs pensent que cela indique que le cœur AD102 présente des limitations informatiques artificielles dans les produits grand public, en particulier dans les domaines informatiques clés de l'IA tels que la multiplication et l'accumulation matricielles. Ces limitations affecteront directement l’efficacité opérationnelle des applications d’IA telles que les grands modèles de langage. Actuellement, il a été confirmé que le projet de déverrouillage prend en charge les modèles de base AD102, AD103 et AD106.
Il est à noter que deux solutions de déverrouillage pour les séries RTX 30 et RTX 40 sont apparues presque en même temps, couvrant respectivement les deux générations d'architectures GPU Ampere et Ada Lovelace. Le développeur a déclaré que ces modifications peuvent passer le mécanisme de vérification complet du pilote NVIDIA et contourner avec succès les restrictions PCIe Function Level Reset (FLR). Par conséquent, le pilote d'origine officiel peut toujours être utilisé et le logiciel de test lié à CUDA peut être exécuté normalement.
Les données de test montrent que les cartes graphiques GA102 et AD102 maintiennent la même limite de consommation électrique avant et après le déverrouillage. Par exemple, avec le paramètre de consommation électrique totale de la carte de 450 W, l'amélioration des performances provient entièrement de la puissance de calcul libérée plutôt que d'augmentations supplémentaires de la consommation électrique ou de la fréquence.
Pour les utilisateurs qui utilisent de grands modèles de langage locaux, l'IA générative et d'autres tâches informatiques de haute intensité, la puissance de calcul Tensor supplémentaire libérée peut améliorer l'efficacité des étapes de prétraitement et d'inférence des mots rapides, obtenant ainsi un débit de jeton plus élevé et une vitesse de réponse plus rapide.
Cependant, le développeur rappelle également que de telles modifications ne sont pas officielles et peuvent invalider la garantie de la carte graphique. De plus, les modules concernés doivent être chargés en premier pendant la phase de démarrage du système afin que l'opération de déverrouillage puisse être terminée avant que le pilote NVIDIA ne prenne le relais sur le GPU. Par conséquent, ce type de solution est plus adapté aux utilisateurs avancés qui disposent de certaines capacités techniques et sont prêts à prendre des risques.
Commentaires