Dans un récent épisode du podcast Joe Rogan, le PDG de NVIDIA, Jensen Huang, a rappelé le tournant clé concernant les origines du deep learning et le destin de l'entreprise :La percée du deep learning a commencé en 2012 et reposait sur la configuration d'interconnexion à double carte SLI de deux cartes graphiques GTX 580 qui n'étaient pas conçues pour l'IA.
Huang Renxun a révélé que le cœur de l'apprentissage profond de l'IA d'aujourd'hui et le matériel utilisé pour la première opération de son réseau de base sont la carte graphique de jeu haut de gamme GTX 580 basée sur l'architecture Fermi et dotée de 512 cœurs CUDA.
Bien que cette carte graphique ait été initialement conçue pour les jeux de haut niveau, ses puissantes capacités de calcul parallèle sont devenues par inadvertance la pierre angulaire de la formation rapide en deep learning.
En 2012, les chercheurs Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton de l'Université de Toronto ont utilisé une paire de cartes graphiques GTX 580 de 3 Go pour entraîner le célèbre modèle AlexNet.
Ce réseau d'apprentissage profond avec environ 60 millions de paramètres s'est démarqué cette année-là lors du concours de reconnaissance d'images ImageNet avec un avantage étonnant de 70 % par rapport à l'algorithme conçu manuellement à l'époque.
Huang Renxun a souligné que les développeurs d'AlexNet ont optimisé l'algorithme pour qu'il fonctionne en parallèle sur deux GTX 580, échangeant des données uniquement lorsque cela est nécessaire, ce qui a considérablement réduit le temps de formation. Cela a également fait de la GTX 580 la première carte graphique au monde à exécuter des réseaux d'IA d'apprentissage profond/machine learning.
Il est intéressant de noter que lorsque cette étape a été franchie, l’investissement de NVIDIA dans le domaine de l’IA était minime et la plupart de ses recherches et développements étaient encore axés sur les graphiques et les jeux 3D.
C'est l'application réussie d'AlexNet sur GTX 580 qui a permis à NVIDIA de prendre conscience de l'énorme potentiel du deep learning. Huang Renxun a déclaré que l'entreprise avait immédiatement réorienté ses efforts de financement, de développement et de recherche vers la technologie d'apprentissage profond en 2012.
Cette transformation a finalement conduit au supercalculateur NVIDIA DGX original en 2016, à l'architecture Volta avec le cœur Tensor de première génération et à la technologie DLSS ultérieure.
