MLCommons a officiellement annoncé les résultats des tests de performance de l'inférence MLPerf v3.1 pour le modèle de langage étendu à 6 milliards de paramètres et le modèle de vision par ordinateur et de traitement du langage naturel GPT-J. Le processeur Intel et l'accélérateur d'IA ont bien fonctionné et sont assez compétitifs en matière d'inférence d'IA.
Les résultats de la formation MLCommonsAI et les résultats des tests de performances HuggingFace précédemment divulgués en juin ont montré que l'accélérateur Intel Gaudi2AI peut complètement surpasser les performances de l'accélérateur NVIDIA H100 dans les modèles de langage visuel avancés.On peut l'appeler la seule alternative réalisable au NVIDIAH100/A100, les derniers résultats le confirment encore une fois.
Sur le modèle GPT-J, les performances de requête du serveur GPT-J-99, GPT-J-99.9 et d'inférence d'échantillons hors ligne de l'accélérateur Intel Gaudi2 sont respectivement de 78,58 fois/seconde et 84,08 fois/seconde.
Par rapport aux produits concurrents, le H100 n'a que 1,09 fois (serveur) et 1,28 fois (hors ligne) d'avantages en termes de performances par rapport à Gaudi2. Gaudi2 présente des avantages de performances 2,4 fois (serveur) et 2 fois (hors ligne) par rapport à l'A100.
Il convient de mentionner queLes résultats soumis par Gaudi2 utilisent le type de données FP8 avec une précision de 99,9 %.
Le logiciel Gaudi2 est mis à jour toutes les 6 à 8 semaines et continuera d'améliorer les performances de référence MLPerf et d'étendre la couverture des modèles.
Dans le même temps, Intel a soumis 7 tests de référence d'inférence basés sur les processeurs évolutifs SapphireRapids Xeon de quatrième génération, y compris le modèle GPT-J.
Les résultats montrent que le Xeon de quatrième génération fonctionne très bien lors de la gestion des charges de travail générales d'IA, notamment les modèles de vision, de traitement du langage, de traduction vocale et audio, ainsi que le plus grand modèle de recommandation d'apprentissage profond DLRMv2 et le modèle ChatGPT-J.
À partir de maintenant,Intel reste le seul fournisseur à soumettre les résultats publics des processeurs à l'aide d'un logiciel d'écosystème d'apprentissage profond conforme aux normes de l'industrie.
Selon les derniers résultats,En utilisant GPT-J pour résumer un communiqué de presse de 1 000 à 1 500 mots environ, le Xeon de quatrième génération peut compléter deux paragraphes par seconde en mode hors ligne et un paragraphe par seconde en mode serveur en temps réel.
aussi,Intel soumet pour la première fois les résultats des tests MLPerf pour les processeurs Xeon CPUMax, qui intègre jusqu'à 64 Go de mémoire HBM3 à large bande passante, est le seul processeur capable d'atteindre une précision de 99,9 % pour le GPT-J, ce qui est très adapté aux applications ayant des exigences de précision extrêmement élevées.
Visitez la page d'achat :
Magasin phare d'Intel