Résumé :
Microsoft a lancé la technologie RDMA sur USB4 pour Windows 11, qui permet à plusieurs PC ordinaires de fonctionner ensemble via des connexions USB4 ou Thunderbolt pour partager la mémoire et la puissance de calcul du GPU, exécutant ainsi des modèles d'IA à très grande échelle qui dépassaient à l'origine la capacité de mémoire d'une seule machine. Cette technologie devrait abaisser le seuil matériel pour l’inférence locale de l’IA et permettre aux développeurs d’utiliser les ordinateurs existants pour créer des systèmes informatiques distribués.

Cette technologie est basée sur l'accès direct à la mémoire à distance (RDMA). Contrairement aux communications réseau traditionnelles qui reposent sur TCP/IP, RDMA permet aux appareils connectés de lire et d'écrire directement la mémoire de chacun, en contournant certaines liaisons de traitement réseau du système d'exploitation et du processeur, réduisant ainsi la copie de données, réduisant les délais de communication et améliorant l'efficacité de la transmission. Le RDMA était auparavant principalement utilisé dans les serveurs et les centres de données hautes performances, mais Microsoft l'introduit cette fois sur les PC Windows grand public.
Microsoft affirme que RDMA sur USB4 est implémenté à l'aide de l'interface NetworkDirect existante et d'un nouveau fournisseur de logiciels RDMA. Les appareils compatibles communiquent directement via USB4 ou des connexions Thunderbolt prises en charge, éliminant ainsi le besoin d'une carte réseau RDMA dédiée ou d'un commutateur réseau. Les tests montrent une latence aller-retour d'environ 28 à 50 microsecondes lors de la transmission de petits messages, soit environ quatre fois inférieure à la communication Ethernet sur USB4 traditionnelle basée sur UDP. Cette faible latence est maintenue avec les connexions à 40 Gbit/s et à 80 Gbit/s, bien que cette dernière ait deux fois la bande passante nominale.

Dans la démonstration réelle, Microsoft a collaboré avec AMD pour connecter trois mini PC équipés d'un processeur Ryzen AI Max+ 395, d'une carte graphique Radeon 8060S et de 128 Go de mémoire unifiée via un réseau USB4 40 Gbit/s entièrement interconnecté. Trois appareils ont exécuté avec succès le modèle expert hybride Qwen3-235B-A22B avec 235 milliards de paramètres, atteignant une vitesse d'inférence d'environ 18,5 jetons par seconde avec une quantification de 4 bits. Les tests indépendants d'AMD montrent que la vitesse de décodage peut atteindre 21,98 jetons par seconde et que la vitesse de traitement de texte rapide peut atteindre 117,98 jetons par seconde.


Intel a également réalisé une démonstration similaire en utilisant trois et quatre PC équipés de processeurs Core Ultra Series 3, de 64 Go de mémoire et de connexions Thunderbolt 4 exécutant le modèle GPT-OSS-120B. Avec une longueur de contexte de 1 000 jetons, la vitesse est d'environ 49,4 jetons par seconde avec trois appareils, passant à 54,2 jetons par seconde avec quatre appareils. Il convient de noter que ce modèle de 120 milliards de paramètres ne peut pas être entièrement chargé sur un seul PC doté de 64 Go de mémoire, la collaboration multi-machines devient donc la clé de l'exécution du modèle.
Microsoft a souligné que le RDMA sur USB4 en est encore au stade expérimental et présente des exigences élevées en matière de configuration matérielle et logicielle. Les PC participants doivent disposer d'une connexion USB4 gérée par Windows, de préférence à 40 Gbit/s ou plus. Microsoft recommande également une topologie entièrement maillée, dans laquelle chaque PC est directement connecté à tous les autres appareils, plutôt qu'une connexion en série, ce qui peut réduire considérablement les performances.

De plus, les applications doivent explicitement prendre en charge l'exécution distribuée via un framework conforme. Microsoft a ouvert le fournisseur NetworkDirect et publié une implémentation modifiée de llama.cpp démontrant la technologie. RDMA sur USB4 devrait être lancé avec une future version « Future Platforms » de Windows Insider Experimental Channel, mais Microsoft n'a pas encore annoncé d'heure de sortie précise.
Pendant la phase de prévisualisation pour les développeurs, cette fonctionnalité est désactivée par défaut et doit être activée via la configuration du registre et la signature de test ; l'activation de la signature de test peut également nécessiter la désactivation temporaire du démarrage sécurisé. Microsoft recommande donc aux utilisateurs de tester sur du matériel de développement dédié plutôt que sur les ordinateurs qu'ils utilisent quotidiennement.
Bien que le calendrier officiel d'une adoption généralisée soit incertain, si cette technologie finit par se concrétiser, elle pourrait rendre plus courante l'inférence puissante de l'IA locale. Les développeurs n’auront peut-être plus besoin d’acheter des serveurs d’IA dédiés coûteux, mais pourront combiner les ressources mémoire et GPU de plusieurs PC existants pour exécuter des modèles d’IA locaux à plus grande échelle.
Commentaires