YouTuber DaveLee a démontré comment le nouveau MacStudio d'Apple équipé d'une puce M3Ultra peut exécuter efficacement une énorme version du modèle DeepSeekR1AI localement, à condition que l'utilisateur équipe la machine d'un maximum de 512 Go de mémoire.
Selon les tests de Lee, le modèle d'IA de 671 milliards de paramètres peut être exécuté directement sur les postes de travail haut de gamme d'Apple, mais il nécessite une grande quantité de ressources mémoire, consomme 404 Go d'espace de stockage et nécessite l'allocation manuelle de 448 Go de mémoire virtuelle via des commandes de terminal.
L'architecture de mémoire unifiée de M3Ultra est essentielle pour atteindre ces performances, permettant au système de traiter efficacement la version quantifiée 4 bits de DeepSeekR1. La quantification réduit légèrement la précision, mais elle conserve tous les paramètres et fournit environ 17 à 18 traits par seconde, ce qui est suffisant pour de nombreuses applications pratiques.
Le plus impressionnant est que MacStudio atteint ces performances tout en consommant moins de 200 watts d'énergie. Atteindre des performances comparables sur du matériel PC traditionnel nécessiterait plusieurs GPU et consommerait environ dix fois plus d’énergie.
La possibilité d'exécuter localement de tels modèles d'IA avancés offre des avantages en matière de confidentialité pour les applications sensibles telles que l'analyse des données de santé, où l'envoi d'informations aux services cloud soulève des problèmes de sécurité.
Ce genre de performances n'est cependant pas bon marché : Mac Studio commence à environ 10 000 $ avec M3 Ultra et 512 Go de mémoire. Si les performances de M3UltraMacStudio sont maximisées, le prix de la puce Apple M3Ultra équipée d'un stockage SSD de 16 To et d'un processeur à 32 cœurs, d'un GPU à 80 cœurs et d'un moteur neuronal à 32 cœurs atteindra 14 099 $.
Apple affirme que M3 Ultra est la puce Mac la plus rapide jamais commercialisée, grâce à la stratégie de l'entreprise consistant à fusionner deux puces M3 Max à l'aide de la technologie "UltraFusion". Cela rend la puce deux fois supérieure aux spécifications du M3Max.