Ultraman : installer de la mémoire sur un PC est trop inutile et il est préférable de la laisser au centre de données IA

Résumé :

"Du point de vue de l'allocation globale des ressources, laisser chacun stocker la rare DRAM dans son propre ordinateur et la laisser inutilisée la plupart du temps est un arrangement "assez terrible".

C'est tout.

Dans une interview accordée jeudi à la chaîne YouTube Cheeky Pint, le PDG d'OpenAI, Sam Altman, a bu de la bière et a parlé dans une atmosphère détendue du raisonnement local des grands modèles d'IA et du problème étendu de la mémoire insuffisante dans les ordinateurs personnels, qui est devenu par inadvertance un succès.

Nous savons que l'augmentation actuelle des prix des mémoires provoquée par la vague mondiale de l'IA a fait monter en flèche les prix des PC et des téléphones portables, ce qui est déjà inabordable pour les consommateurs individuels. Dans le même temps, il faudra un certain temps aux principaux fabricants de mémoires pour accroître leur capacité de production. Alors que les sociétés d’IA de pointe consomment la majeure partie de la mémoire, elles ont commencé à se demander si la mémoire des ordinateurs personnels est pleinement utilisée.

Altman a évoqué l'hypothèse selon laquelle les gens seraient capables d'exécuter une intelligence artificielle locale sur leurs propres ordinateurs, qui pourraient être des ordinateurs qu'ils possèdent déjà ou qu'ils souhaitent assembler en raison de l'essor de la technologie d'IA à grand modèle. Il pensait que c'était une très mauvaise idée.

« Du point de vue de l'allocation globale des ressources, il est en fait très mauvais de laisser tout le monde laisser inutilisée la mémoire DRAM limitée mondiale dans son propre ordinateur avec un taux d'utilisation de seulement 5 % »

L'activité principale d'OpenAI repose aujourd'hui sur un modèle source fermé fonctionnant dans des centres de données à grande échelle, et sa défense de son modèle économique a suscité un débat au sein de la communauté de l'IA.

Cela a également suscité l'inquiétude de nombreuses personnes : à l'avenir, il pourrait être plus difficile pour nous de posséder notre propre matériel ou nos propres logiciels, et nous ne pouvons envisager que de louer des agents et des ordinateurs intelligents dans le cloud.

Bien que les PC ordinaires, les téléphones mobiles et les cartes accélératrices d'IA utilisent des mémoires différentes, leur production sera en concurrence pour une certaine capacité de production de plaquettes en amont. Altman discutait de l'allocation globale des ressources DRAM. Lorsqu'il s'agit de savoir qui est qualifié pour décider où la capacité de mémoire est utilisée, la plupart du temps, c'est naturellement l'utilisateur qui passe la commande la plus importante.

Une partie de l'argumentation d'Altman repose sur l'hypothèse selon laquelle la construction des centres de données ne ralentira pas. En outre, il a émis l’hypothèse que la mémoire utilisée 24 heures sur 24 et 7 jours sur 7 dans un centre de données IA serait plus précieuse que la mémoire utilisée pour les feuilles de calcul, la navigation Web, les jeux et même l’IA locale occasionnelle.

En fait, cette interview a été très longue. Altman a également parlé de la vulnérabilité PHP qui a déclenché une panique mondiale au cours des deux dernières semaines, du sandboxing des modèles de formation et de la recherche sur l'IA dans le domaine des mathématiques.

Regardez ce qu'il a principalement dit :

L'IA déclenche une vague de vulnérabilités

Concernant les énormes vulnérabilités de PHP, le jugement d'Altman est le suivant : la capacité des grands modèles à découvrir les vulnérabilités continue de s'améliorer rapidement et la surface du code sur Internet est extrêmement énorme. Lorsque les gens commenceront à utiliser systématiquement l’IA pour scanner tous les codes, « nous nous retrouverons dans un monde où les vulnérabilités graves seront bien plus importantes que prévu ». Il estime que les correctifs à eux seuls ne suffisent pas, que l'architecture doit être reconstruite et que les routeurs, les systèmes d'exploitation et les couches d'application doivent tous être repensés pour un monde où « les vulnérabilités deviendront de plus en plus intelligentes ». Il y a deux ans, « réécrire l'ensemble de la pile technologique » semblait être un discours insensé, mais aujourd'hui, certaines startups souhaitent construire une nouvelle pile.

Il a fait une autocritique rare dans l'industrie : "Je ne pense pas que nous ayons fait du bon travail en expliquant aux gens pourquoi tous les risques potentiels de cette technologie en valent la peine." Il a déclaré que le discours de l'industrie de l'IA est un mauvais argument de vente, promettant de guérir le cancer et de réduire les coûts tout en décrivant un avenir marqué par le chômage, la perte de contrôle et la nécessité d'une réglementation stricte. Il a réitéré l'insistance d'OpenAI sur le déploiement itératif et le surplus de capacités, au motif que "les habitants de quelques kilomètres carrés de San Francisco ne peuvent pas prendre toutes les décisions".

Quand on lui a demandé s'il pouvait construire une « prison à sécurité maximale » pour le modèle, Ultraman a donné une réponse pessimiste : le bac à sable n'est efficace que dans une certaine mesure, et la surveillance (y compris l'examen de la chaîne de pensée et la surveillance de l'activation) peut aller plus loin, mais en fin de compte, elle doit être hautement fiable et alignée.

Il a demandé rhétoriquement : face à un modèle qui est un million de fois plus intelligent que le chercheur en sécurité le plus intelligent et qui peut découvrir de nouvelles sciences que les humains ne comprennent pas encore, oserez-vous vraiment faire confiance à ce bac à sable ?

Il a clairement indiqué qu'il détestait le mot « essaims d'agents » parce que les essaims rappellent les sauterelles, insistant pour les appeler équipes d'agents (équipes d'agents), et estime que la nature des freins et contrepoids mutuels entre les équipes correspond au mécanisme permettant d'atteindre la robustesse grâce au pluralisme et constitue une direction sûre et digne d'avancement.

Explosion intellectuelle et prix de la découverte scientifique

Altman a tracé une courbe : à l'ère GPT-4, il était difficile d'investir efficacement 1 $ en puissance de calcul sur un seul problème ; la chaîne de pensée permet au modèle de « réfléchir sérieusement », mais nous pouvons désormais paralléliser l'ensemble de l'équipe d'agents des dizaines de milliers de fois. L’écart d’utilisation entre les utilisateurs ordinaires et les utilisateurs les plus avancés ne cesse de se creuser.

Concernant la manière dont la puissance de calcul est allouée au sein d'OpenAI, il a déclaré que les employés bénéficient d'une grande liberté, mais qu'une consommation élevée de jetons n'est jamais récompensée. "C'est en fait un peu embarrassant d'être haut dans le classement symbolique, et ce n'est certainement pas une raison pour une promotion." Il a utilisé comme exemple la preuve de l'équation de Navier-Stokes : une seule preuve coûtait environ 10 millions de dollars et était « hors de contrôle pendant une semaine » parce que personne ne savait rien de la loi d'expansion de l'équipe d'agents à l'époque. Mais il s’attend à ce que le projet soit refait au centième du coût d’ici un an, en utilisant des modèles et des méthodes plus intelligents.

Il a également montré des émotions rares : la situation à cette époque était vraiment incroyable. Le week-end où un nouveau modèle a été lancé en interne, tout le monde a jeté tous les problèmes les plus difficiles sur ce modèle, et il a pu les résoudre un par un. Les gens ne s’attendaient pas du tout à ce que le modèle fasse cela. Tout le monde a constaté que les problèmes de recherche scientifique les plus difficiles dans la carrière universitaire de nombreuses personnes étaient résolus un par un par ce modèle et couvraient de nombreux domaines différents. La scène était tout simplement incroyable.

"Je suis resté presque éveillé toute la nuit pendant deux nuits parce que j'étais tellement excité que je ne pouvais pas dormir du tout. La plupart des résultats que nous avons publiés plus tard étaient en fait les problèmes que nous avions résolus à ce moment-là. "

Ultraman se sentait extrêmement excité et heureux à ce moment-là, mais en même temps, il ressentait également une tristesse inattendue, une mélancolie et le sentiment qu'« une époque se termine ». Non seulement c'est de la nostalgie, mais il y a aussi une sorte d'empathie pour les scientifiques humains qui « apprennent la vérité le matin et meurent le soir ». Il insiste sur le fait que les humains méritent des connaissances de base, mais que l’industrie doit une solution aux praticiens de ces domaines.

Bien qu'il soit trop tôt pour parler de super intelligence, Ultraman estime que des milliards de petits surhumains valent mieux qu'un billion de QI :

"Je préférerais intuitivement qu'un billion d'IA dotées d'une intelligence légèrement surhumaine rejoignent la société plutôt qu'une seule IA dotée d'un billion de QI rejoigne la société."

"Intuitivement, je préférerais qu'un billion d'IA dotées d'une intelligence légèrement surhumaine rejoignent la société plutôt qu'un billion d'IA dotées d'un QI."

Son argument est que la robustesse d'une société vient des freins et contrepoids et de la coopération d'un grand nombre de membres. Le monde « à cerveau unique » n’a pas ce genre de résilience. Mais il a souligné que cela ne se produira pas automatiquement et qu’il faudra le promouvoir de manière proactive.

La régulation du marché ne fonctionnera plus à l’ère de l’IA ?

Concernant la pénurie mondiale de mémoire, Altman a présenté la structure d'OpenAI : des puces auto-développées (pour améliorer les performances intelligentes par watt), des centres de données auto-construits, des projets de robots et un concept plus audacieux de "centres de données auto-réplicatifs" qui utilisent des robots contrôlés par l'IA pour faire fonctionner des usines de plaquettes, construire des turbines et des panneaux solaires et construire des centres de données. "Nous avons cela sous contrôle", a-t-il déclaré.

Parlant des raisons pour lesquelles « l'autorégulation du marché » n'a pas été réalisée depuis longtemps, il estime que les progrès actuels sont très mauvais et donne la logique comportementale des fabricants de mémoires : cette industrie a longtemps été une âpre affaire d'investissement de 20 milliards de dollars américains et de gains de 1,9 milliard de dépenses d'investissement. Au cours de l’histoire, de nombreux géants ont failli faire faillite en raison de la construction excessive d’usines. Aujourd'hui, chaque entreprise peut gagner environ 100 milliards de dollars de flux de trésorerie disponibles par an, mais les souvenirs douloureux les ont rendues extrêmement prudentes dans l'expansion de leur production. À partir de là, il affirme que « la main invisible est désormais hors d’action ».

Il a distingué deux types de capacités dans l'industrie des puces : la lithographie "une seule entreprise sur la planète semble savoir comment le faire", mais la conception de puces (le fichier qui est finalement envoyé à l'usine de fabrication) est déjà un excellent endroit pour l'IA.

Parlant du véritable niveau d'auto-amélioration récursive (RSI), Altman a déclaré que le modèle actuel peut accomplir des tâches telles que "trouver une amélioration de 5 % de l'efficacité informatique", mais personne ne sait comment laisser l'IA découvrir de nouvelles architectures au niveau du transformateur. Ce qui manque, c'est un modèle plus intelligent. Il a même prédit que la société devra peut-être accepter de limiter le QI d’un seul modèle pendant un certain temps. "S'il n'y a pas de progrès suffisants à l'avenir, ils proviendront de cette décision et non de la capacité de l'IA à faire de la recherche."

Il a montré sa croyance en la déflation :

Le coût total de possession actuel sur cinq ans de chaque GW de puissance de calcul d'IA de pointe est d'environ 70 milliards de dollars américains. L'idéal serait de pouvoir le réduire à 20 milliards. Dans le même temps, les performances du modèle doivent être améliorées encore 10 fois chaque année. La voie à suivre pour y parvenir est de rendre l’énergie moins chère et de comprimer les bénéfices bruts accumulés entre « du sable aux jetons de production ».

En ce qui concerne l’anxiété budgétaire symbolique des entreprises, il estime que le problème le plus courant actuellement est que l’IA n’est pas suffisamment utilisée, plutôt que trop.

Comment valoriser l'intelligence personnelle ?

En ce qui concerne les récents produits intelligents personnels (tels que Muse), le jugement actuel d'Ultraman est que "le moment Macintosh n'est pas encore arrivé". Les gens aiment ces produits, mais pas au point de « ne peuvent pas imaginer la vie sans eux ». Le gagnant ressemblera au produit actuel, mais « il fonctionnera simplement », fiable et capable de gérer des tâches plus complexes. Le jeu du chat et de la souris dans l’utilisation de l’ordinateur, estime-t-il, finira par converger vers le point où « vous avez le droit de laisser l’IA faire fonctionner votre propre ordinateur en votre nom ».

En ce qui concerne la méthode de commercialisation des agents intelligents, Altman estime que les entreprises s'en tiennent aux pop-ups d'IA et au HTML dans leurs produits et craignent de perdre leurs relations clients, mais les consommateurs veulent laisser l'IA faire tout pour eux dans leur application de chat principale. Il pense que les véritables fossés proviennent des réseaux de marque, de sélection et de distribution, et non du HTML. Il a révélé de manière proactive qu'il choisirait Amazon Pay 10 fois sur 10, même si le prix est plus élevé. Il a fait l'éloge du réseau de distribution d'Amazon et a admis que la plate-forme de coopération au sein de ChatGPT n'était pas assez bonne. Il a également qualifié tous les formulaires Web de « faux travail » et a comparé la situation actuelle à l’ère de l’App Store.

C'est précisément pour cette raison que lors de la conception des tarifs, OpenAI a presque imité la tarification d'AWS basée sur les tâches et a complètement abandonné la facturation par jetons. Mais elle s'est heurtée à une forte opposition de la part des clients : « J'ai besoin de savoir ce que je paie ». Même si c'est plus, cela doit être en unités compréhensibles telles que des jetons.