Résumé :
Dans un quartier calme de Bellevue, dans l'État de Washington, le sous-sol de la maison moderne de Gary Fleck est décoré comme un espace de loisirs pour hommes entièrement fonctionnel : un canapé confortable est placé parmi le moniteur grand écran et le projecteur numérique, et il y a aussi un machine à filer et à ramer. Mais le véritable point fort de cette salle est un hôte sur mesure qui ressemble à un modèle géant assemblé, avec sept cartes graphiques Nvidia hautes performances accrochées au rack.
Les passionnés de technologie assemblent un hôte IA hautes performances à la maison, et ce qui suit est un problème épineux de dissipation de la chaleur
Flake a précédemment travaillé chez Microsoft et est également le fondateur de plusieurs start-up. Il a construit la machine pour former des modèles d'IA personnalisés basés sur des téraoctets de données d'électroencéphalogramme, qui enregistrent les signaux électriques dans le cerveau, dans le cadre d'une startup qu'il ne poursuit plus.
Pour entraîner le modèle d'IA, il aurait pu louer une puissance de calcul GPU de qualité industrielle dans le centre de données auprès d'un fournisseur de services cloud. Mais il a ajouté qu'il était beaucoup plus rentable de l'installer soi-même avec des composants à prix réduit. Le coût total de l'ensemble de l'équipement est inférieur à 6 000 $, ce qui est bien inférieur au paiement d'un abonnement mensuel à Amazon Cloud ou Microsoft Cloud.
Même si vous incluez le coût des modifications électriques et d'un nouveau système CVC (un total de 1 à 20 000 USD) pour dissiper la chaleur dans le sous-sol et compenser l'énorme chaleur générée par l'hôte IA, il est toujours rentable de l'installer vous-même. "Je veux avoir la puissance de calcul entre mes propres mains", a déclaré Flake, qui prévoit de réutiliser la machine dans les mois à venir pour démarrer de nouveaux projets. "Je ne veux pas louer la puissance de calcul des autres."
L'exécution de charges de travail d'IA localement dans les greniers, les sous-sols et les bureaux à domicile est devenue un phénomène inattendu dans cette vague d'engouement pour l'IA. Les grandes sociétés d’IA forment et exécutent de grands modèles dans de grands centres de données distants remplis de dizaines de milliers de GPU pour répondre à la demande de puissance de calcul massive.
Équipement GPU chez Gary Fleck
Dans le même temps, il y a une
vague d'IA locale
est en train d'émerger. Un grand nombre de petits développeurs et de passionnés de matériel informatique choisissent d'exécuter l'IA sur leurs appareils domestiques en raison du coût, de la confidentialité et de la facilité d'utilisation. Certains développeurs qui croient au concept de liberté pensent que l’IA locale peut éviter les futures restrictions gouvernementales et leur retirer l’autorisation d’utiliser la technologie de l’IA. Les plateformes d'agents locaux telles qu'OpenClaw peuvent appeler directement des applications natives et des fichiers locaux pour effectuer des tâches complexes, ce qui a également contribué à cette tendance.Parfois, les appareils IA domestiques sont simplement des fonctionnalités intéressantes pour la maison. Le mois dernier, Toby Lütke, PDG de Shopify, est devenu viral sur les plateformes sociales après avoir montré trois ensembles d'armoires de serveurs verticales chez lui. Les armoires étaient enveloppées de bandes lumineuses LED roses. L'équipement comprend un hôte Dell équipé de la carte graphique haut de gamme de Nvidia, que le constructeur qualifie de « superordinateur de bureau ultime ». Luedtke a également intelligemment résolu le problème de la dissipation thermique des équipements.
L'essor des consoles d'IA domestiques constitue un avantage inattendu pour les fabricants de matériel. Mac mini et Mac Studio sont très populaires parmi les développeurs de smartphones et leurs ventes augmentent ; Dell a également déclaré que le marché des passionnés d’IA domestique connaît une croissance explosive.
Mark Hammons, ingénieur senior distingué chez Dell, a déclaré : "C'est la tendance du moment. Après l'avènement d'OpenClaw cette année, la demande de matériel associé est montée en flèche."
Placer des hôtes performants chez soi n'a rien de nouveau, et des communautés de passionnés de « homelab » ont déjà prospéré sur des plateformes telles que Discord et Reddit. Au début du 21e siècle, les audiophiles construisaient des serveurs chez eux, montaient d'énormes disques durs et stockaient de la musique et des vidéos MP3 téléchargées. Plus tard, le boom du minage de cryptomonnaies a stimulé la demande de GPU hautes performances destinés à un usage domestique.
Hitten Shah était à l'époque un joueur de crypto-monnaie. En 2020, il a installé huit GPU sur le rack du serveur chez lui pour exploiter Ethereum. Aujourd'hui, Shah, PDG de la start-up de logiciels Crazy Egg, s'est tourné vers le développement de l'IA et a considérablement étendu la puissance de calcul de son domicile de Redwood Shores, en Californie, à un total de 18 appareils, dont 14 Mac mini et Mac Studio.
Shah a déclaré que la puissance de calcul locale lui permet de contrôler les performances du logiciel d'optimisation de sites Web qu'il a développé. Il est normal que les grands modèles cloud connaissent des temps d'arrêt et des retards fréquents. "Chaque fois qu'un grand modèle est mis à jour dans le cloud, le système sera instable pendant plusieurs jours et des pannes se produiront fréquemment."
Mais le prix à payer est que le confort de vie est considérablement réduit. Tout l'équipement informatique est placé dans son bureau à domicile et la chaleur dissipée par les machines fait souvent grimper la température intérieure jusqu'à 85 degrés Fahrenheit (environ 29,4 degrés Celsius). Souvent, il ne peut rester dans la pièce qu’en short. "Je devrais installer un climatiseur", a déclaré Shah.
De nombreux passionnés locaux d'IA sont devenus des célébrités sur Internet dans le secteur. Un YouTuber basé à Austin qui a demandé l'anonymat et ne s'appelle que Digital Spaceport. Il a construit ce qu'il appelle un « centre de données domestique » dans son garage. Le matériel comprend cinq cartes graphiques AMD, ainsi qu'un grand nombre de périphériques réseau et de stockage. Actuellement, il utilise le grand modèle open source national Tongyi Qianwen Qwen-3.8-27B sur cette machine pour éditer et analyser ses propres vidéos YouTube.
Un autre consultant technique polonais et YouTuber, également anonyme, utilise l'ID de chaîne 0xSero. Au fur et à mesure qu'il achetait de plus en plus de matériel, il a dû déplacer l'hôte IA dans sa maison. Quatre cartes graphiques NVIDIA 6000 étaient initialement placées dans son bureau à domicile, mais elles faisaient beaucoup de bruit, généraient une chaleur extrêmement élevée et asséchaient l'air de la pièce. Il pensait que c'était la cause de sa maladie l'année dernière. L'ensemble a donc été déplacé au grenier.
0xSero a été le premier à utiliser des modèles d'IA cloud. Le tournant intervient fin 2024 : le prix de l’outil de programmation d’IA Cursor augmente. "C'est à ce moment-là que j'ai décidé de développer l'IA locale."
Il insiste sur un point de vue : la propriété et le contrôle des systèmes d'IA devraient être entre les mains des utilisateurs. À l’avenir, il pourrait y avoir un contrôle gouvernemental et des restrictions sur les droits d’accès à l’IA. "J'aime vraiment l'IA et je veux continuer à avoir le droit de l'utiliser."
Commentaires