NVIDIA a annoncé que le framework d'accélération d'inférence TensorRT AI est désormais disponible sur les cartes graphiques GeForce RTX, avec des performances directement doubles de celles de DirectML.TensorRT est un optimiseur d'inférence lancé par NVIDIA, qui peut améliorer considérablement l'efficacité opérationnelle des modèles d'IA. Cette fois, NVIDIA introduit TensorRT sur la plate-forme RTX, afin que tous les utilisateurs de cartes graphiques RTX puissent profiter de performances d'IA plus rapides.
Selon NVIDIA, TensorRT prend non seulement en charge Windows ML natif, mais peut également sélectionner automatiquement le matériel approprié pour exécuter chaque fonction d'IA et télécharger le fournisseur d'exécution correspondant, simplifiant ainsi considérablement le processus de développement.
En termes de performances,NVIDIA a présenté les données de comparaison entre TensorRT et DirectML : dans ComfyUI, les utilisateurs utilisant TensorRT peuvent obtenir une amélioration des performances jusqu'à 2 fois ; dans DaVinci Resolve et Vegas Pro, l'amélioration des performances atteint 60 %.
De plus, TensorRT pour RTX apporte d'autres avantages, tels que des tailles de fichiers de bibliothèque 8 fois plus petites et des optimisations à la volée pour chaque GPU. Ces améliorations améliorent non seulement les performances, mais optimisent également le stockage et la gestion du logiciel.
TensorRT pour RTX sera officiellement lancé en juin. NVIDIA continue également d'étendre ses SDK IA et prend actuellement en charge plus de 150 SDK IA. Cinq nouvelles intégrations ISV seront lancées ce mois-ci, notamment LM Studio, Topaz Video AI, Bilibili, AutoDesk VRED et Chaos Enscape.
