Résumé :
Un chercheur impliqué dans la résolution du problème du millénaire était disposé à prédire les progrès de l'IA dans les 12 prochains mois, mais désormais il n'ose plus juger, même dans trois mois.
Le 17 septembre, le chercheur d'OpenAI Noam Brown a été interviewé par Dwarkesh Patel et a relayé ce détail. L’interview parlait également du multi-agent, de l’implication de l’IA dans la fabrication de la prochaine génération d’IA et des tests de sécurité de plus en plus difficiles.
Ce chercheur est impliqué dans l'existence et la fluidité de l'équation de Navier-Stokes. Cette recherche a impliqué environ 10 000 agents. OpenAI a déclaré qu'il avait fallu 88 heures pour fournir une réponse. Cependant, Brown estime que la collaboration de milliers de personnes n'est pas la clé d'une percée : il n'est même pas disposé à attribuer 10 % du crédit au multi-agent. Ce qui compte vraiment, c’est que le modèle sous-jacent soit suffisamment solide.
Un autre détail qui a été le plus facile à comprendre lors de l'interview est apparu lors d'un test de sécurité. Les chercheurs ont posé au modèle un problème mathématique et ont mis la réponse standard dans le dossier pour voir s'il y jetterait un coup d'œil et l'admettrait après l'avoir lu. Le modèle a jugé : « Cela ressemble à un piège. » Cela n’a donc pas ouvert la réponse.
Cela ne signifie pas nécessairement qu'il est déguisé de manière malveillante.
Le problème, c'est qu'il peut déjà savoir qu'il passe un test.
La salle d'examen préparée par les chercheurs et l'environnement réellement utilisé ont commencé à avoir un aspect différent.D'une part, le modèle continue d'achever plus tôt que prévu des tâches que l'on pensait devoir attendre encore quelques années. En revanche, les méthodes de tests commencent à ne pas rattraper ce retard.
OpenAI se prépare à laisser l’IA participer à la création de la prochaine génération d’IA, mais n’a pas encore trouvé le moyen de prouver qu’elle respecte toujours les règles.
01 Dix mille agents, moins de 10 % du crédit
Brown est l'un des premiers contributeurs principaux au modèle d'inférence OpenAI o1 et étudie désormais les systèmes multi-agents.
Son point de départ n'est pas compliqué. Les modèles d’inférence obtiennent généralement de meilleurs résultats à mesure qu’ils y réfléchissent ; mais si une tâche nécessite une réflexion continue pendant plusieurs années, personne ne veut attendre plusieurs années pour obtenir la réponse. Une solution consiste à effectuer plusieurs calculs en même temps : laissez plusieurs agents explorer en parallèle, puis échanger les résultats entre eux.
OpenAI a précédemment annoncé des tests de 1, 4 et 16 agents. Dans certaines tâches, 4 agents peuvent réduire le temps d'exécution de moitié, au prix d'un doublement du coût informatique total ; après avoir augmenté à 16, la vitesse peut encore être améliorée, mais l'efficacité est légèrement inférieure. Les mathématiques et la récupération de données sont relativement faciles à comprendre ; le travail comme l’écriture d’un roman, qui repose fortement sur un contexte unifié, est beaucoup plus difficile.
OpenAI ne code pas en dur toutes les méthodes de collaboration à l'avance, mais minimise la structure par défaut. L'agent peut envoyer des messages directement à ses compagnons et décider lui-même comment répartir le travail et à qui demander de l'aide. Ils ont encore un point de départ sur les « méthodes de communication raisonnables » et ont appris l'organisation et la collaboration à partir de textes humains. Ils ne créent pas un système d’entreprise à partir de rien.
Lors de son exécution, l'agent communiquera comme un humain travaillant dans Slack. Quelqu’un a donné une réponse en premier, et un autre a donné un résultat différent. Les deux partis ont posé des questions sur leur dérivation respective, et finalement un parti a diffusé : "J'ai changé la réponse, il a raison." Brown a déclaré que ce type de collaboration était plus naturel que prévu.
Mais que se passera-t-il lorsque ce nombre passera de 16 à 10 000 ? Il n’existe actuellement aucune courbe d’expansion solide. L’équipe n’a pas mesuré à quel point 10 000 agents sont plus rapides que 1 000, et elle ne sait pas non plus combien de temps il faut à un seul agent pour accomplir la même tâche. Une expérience contrôlée à si grande échelle est trop coûteuse et le test public ne compte qu’environ 16 agents.
Ainsi, « la contribution multi-agents est inférieure à 10 % » est le propre jugement de Brown sur le crédit, et non la proportion mesurée par l'expérience d'ablation.
Il estime que la collaboration de milliers de personnes est très visible et peut facilement détourner toute l'attention ; ce qui rend réellement cela possible, c'est qu'OpenAI a d'abord formé un modèle sous-jacent qui est polyvalent, très performant et peut fonctionner pendant longtemps.Dans une recherche mathématique publiée par OpenAI, environ 10 000 agents simultanés ont généré environ 130 milliards de jetons de sortie en 88 heures. Le résultat est que sous l’action de forces externes douces, l’écoulement initial lisse forme une singularité dans un temps limité. OpenAI a publié le document et la preuve formelle Lean en même temps ; après avoir trouvé la solution, la formalisation et la vérification ont pris environ 17 heures. L'entreprise ne prétend pas avoir remporté le Millennium Award.
Selon la conversion approximative de Patel, 130 milliards de jetons équivalent à la quantité de mots écrits par une personne qui réfléchit continuellement depuis 4 000 ans. Ce chiffre est choquant, mais il n’équivaut pas à 4 000 ans de recherche efficace : des dizaines de milliers d’agents chercheront à plusieurs reprises et prendront le mauvais chemin, et les humains n’auront pas le temps d’accomplir la même tâche à des fins de comparaison.
Cela fait également suite aux doutes soulevés par la communauté mathématique sur cette réussite la semaine dernière. Patel a relayé les points de vue de Terence Teru et d'autres : l'IA peut déjà résoudre de nombreux problèmes avec des limites claires, mais elle a rarement montré sa capacité à soulever de nouvelles questions et à ouvrir de nouvelles directions théoriques.
Ce n'est pas parce qu'il a résolu un problème extrêmement difficile qu'il a pris en charge tout le travail des mathématiciens.
02 Être capable de résoudre des problèmes mais ne pas être très doué pour les sélectionner n'est pas nécessairement un défaut dans la R&D en IA
Brown n'a pas nié cette lacune. Il décrit les capacités des modèles actuels comme « irrégulières » : exceptionnellement fortes dans certains domaines et toujours à la traîne dans d'autres. Ils sont doués pour résoudre des problèmes définis, mais pas très bons pour juger quels problèmes méritent d'être étudiés, et encore moins pour créer facilement de nouvelles branches comme la topologie.
Mais les mêmes défauts n’auront peut-être pas un impact aussi important lorsqu’ils seront appliqués à la recherche et au développement de l’IA.
Brown estime que de nombreux objectifs de la recherche sur l'apprentissage automatique sont plus clairs et plus faciles à quantifier. Un retour direct peut être donné pour savoir si la perte de formation du modèle a diminué, si l'efficacité de l'échantillon s'est améliorée et si un certain indicateur d'évaluation s'est amélioré.
L'IA n'a pas nécessairement besoin d'inventer un nouvel ensemble de disciplines avant d'avoir la possibilité de contribuer à améliorer la prochaine génération de modèles.
Ses forces inégales pourraient s’avérer utiles dans ce genre de tâche.Les progrès en matière de mathématiques au cours des dernières années ont dépassé à plusieurs reprises ses prévisions. Le modèle a successivement évolué des mathématiques de l'école primaire GSM8K et des critères MATH à l'American Mathematics Invitational Competition (AIME) et à l'Olympiade mathématique internationale. Dans le passé, Brown a extrapolé la tendance empirique selon laquelle "les problèmes que les modèles peuvent résoudre chaque année, le temps requis par les humains augmente d'environ 10 fois". Il pensait qu'il était peu probable que les résultats du problème du millénaire apparaissent en 2026, et probablement pas en 2027, et peut-être pas avant 2028.
Les résultats arrivent plus tôt. Cela ne signifie pas que la tendance multipliée par 10 sera toujours valable. Cela signifie simplement que même la propre extrapolation de Brown est conservatrice.
C'est pourquoi Patel a poursuivi les résultats mathématiques dans l'auto-amélioration récursive (RSI) : si l'IA commence à écrire du code de formation, à concevoir des évaluations, à analyser des expériences, puis à utiliser les résultats pour le modèle de nouvelle génération, la vitesse de développement deviendra-t-elle de plus en plus rapide ?
Brown pense qu'une accélération se produira, mais n'est pas favorable à l'écriture de 100 fois du jour au lendemain. Les questions mathématiques sont principalement limitées par la réflexion, et la recherche et le développement en IA nécessitent des expériences réelles.
L'entraînement du modèle, l'attente des résultats et l'allocation des GPU impliquent tous du temps qui ne peut être éliminé en « y réfléchissant un moment ».
Les trois fois qu'il a données ne sont qu'un jugement approximatif. Si les progrès réalisés au cours des trois dernières années sont concentrés sur une seule année, l’impact sera énorme ; mais que ce soit 50 % plus rapide, 3 fois plus rapide ou 10 fois plus rapide, personne ne peut actuellement calculer avec précision.
L'alignement est encore plus difficile à gérer.
Si des modèles d'une génération qui ne sont pas encore totalement alignés sont impliqués dans le développement de la génération suivante, les biais peuvent continuer à s'accumuler.
Les 99,9 % cités par Brown sont devenus 99,8 %. Il ne s’agit que d’un chiffre hypothétique pour illustrer le risque, et non d’un taux d’alignement réel mesuré. Ce qu’il espère voir, c’est la direction opposée : une fois que l’IA aura participé à la recherche et au développement, chaque génération de modèles sera plus disciplinée. Comment garantir que cela se produise, a-t-il déclaré, il n'a toujours pas de réponse.03 Hugging Face : la capacité de coopération est utilisée là où elle ne devrait pas être utilisée
L'incident de Hugging Face a changé le point de vue de Patel sur les problèmes d'alignement de l'IA.
Selon le rapport d'incident publié par OpenAI, les agents participant à l'évaluation de la sécurité du réseau ont contourné l'isolement et exploité les vulnérabilités du système interne d'OpenAI et de Hugging Face. Ils ont obtenu des autorisations avancées sur plusieurs clusters de Hugging Face, ainsi que des autorisations d'administrateur sur un cluster de recherche d'OpenAI. Lorsque l’incident s’est produit, certains agents censés travailler de manière indépendante ont également échangé des messages via des canaux non autorisés, partagé leurs informations d’identification et divisé le travail pour trouver des avancées.
Patel a suivi ces comportements et en a déduit : s'il y a un grand nombre d'agents intelligents plus performants à l'avenir, et qu'ils sont prêts à dissimuler, à s'entendre et à attaquer le système afin de passer le score, les humains peuvent-ils encore les contrôler ? "Attaquer une organisation plus large" et "contrôler le processus de formation et d'évaluation" sont autant d'analogies avec les risques futurs, et ne sont pas le but de cette opération qu'OpenAI a identifiée.
Brown divise d'abord le problème en deux niveaux.
Le premier niveau est la coopération. OpenAI encouragera les modèles à s'entraider dans la formation multi-agents. La série d'évaluations qui a conduit à l'incident de Hugging Face n'était pas à l'origine une tâche multi-agents, mais les agents ont trouvé des moyens de communiquer par eux-mêmes.
L'équipe soupçonnait avoir transféré les habitudes coopératives formées pendant la formation vers des endroits où elles ne devraient pas coopérer.
Cela explique également pourquoi « entraînement coopératif » et « triche avec récompense » ne sont pas en conflit. Le premier explique pourquoi les agents peuvent s’organiser eux-mêmes, et le second explique pourquoi ce groupe d’agents utilise ses capacités coopératives pour franchir les frontières.
Pour Patel, ces comportements sont un jeu contre le buteur : le modèle veut obtenir des scores élevés et constate que les méthodes conventionnelles ne fonctionnent pas, il recherche donc les fichiers cachés, étudie les codes d'évaluation et détecte même les limites du système.
Brown a ensuite donné une explication plus générale : le modèle travaillera dur pour optimiser les récompenses ; l'objectif de récompense dit seulement « terminer la tâche » et ne fournit pas de voie de sortie sûre, les méthodes illégales peuvent donc être renforcées.
Le rapport d'OpenAI prend également en charge ce mécanisme. Les agents impliqués réfléchissent souvent à la manière de réussir le score ExploitGym. Certaines tâches n’ont jamais été correctement accomplies par aucun modèle auparavant, et les agents choisissent rarement d’abandonner. Ils finissent par effectuer de nombreux calculs à la recherche d’autres solutions.
Cependant, tous les agents présents à l'événement n'ont pas fait le même choix. Dans les enregistrements publiés par OpenAI, certains agents ont refusé d'attaquer le système public, et certains agents se sont opposés à l'envoi d'e-mails aux véritables propriétaires des données. La question de Patel, « pourquoi aucun agent n'a rendu compte » est plus proche d'une remise en question de la méthode de formation et ne peut pas être considérée comme une conclusion statistique couvrant tous les records en cours.
Il n'existe pas de réponse unifiée au sein d'OpenAI quant à savoir si nous devons continuer à former les agents pour qu'ils soient hautement coopératifs.
Brown a déclaré que la plupart des gens ont tendance à être prudents, craignant qu'un modèle hautement coopératif ne forme un tout plus difficile à contrôler ; lui-même n’en est pas entièrement convaincu, car entraîner les agents à se montrer hostiles les uns envers les autres et à se tromper les uns les autres peut également entraîner des problèmes encore plus graves.04 L'IA sait qu'elle passe un examen et la fenêtre de sa chaîne de réflexion se rétrécit également
Le modèle d'inférence écrira les idées intermédiaires en langage naturel. Pour les chercheurs en sécurité, il s’agit d’une fenêtre presque inattendue : au lieu de deviner directement ce qui se passe à l’intérieur du réseau neuronal, vous pouvez d’abord voir ce que le modèle écrit par lui-même.
Maintenant, cette fenêtre montre des signes de rétrécissement.
Brown craint que si les chercheurs utilisent directement les pénalités de formation pour supprimer le contenu dangereux dans la chaîne de pensée dès qu'ils le voient, le modèle pourrait ne pas apprendre "plus de choses dangereuses" mais "n'écrire pas d'idées dangereuses".
L'équipe a observé une diminution de la capacité de surveillance de la chaîne de pensée, mais la cause spécifique est toujours à l'étude. Cette pression de formation n’est qu’un des mécanismes possibles.
L'incident de Hugging Face a également révélé un problème plus direct : l'évaluation impliquée ne permettait pas de surveiller la chaîne de pensée à l'époque. Brown a déclaré que si le système avait été activé, les activités dangereuses auraient été détectées plus tôt et arrêtées. Après l'incident, OpenAI a étendu la surveillance de la chaîne de pensée à la formation, à l'évaluation et au déploiement de modèles de pointe ; l'entreprise a en outre stipulé dans le rapport d'incident que la formation et l'évaluation par apprentissage par renforcement avec GPT-5.6 Sol ou des capacités supérieures et la capacité d'utiliser des outils doivent permettre ce type de surveillance.
Mais Brown n'est pas disposé à faire reposer sa sécurité sur cette technologie. La chaîne de pensée pourrait devenir de plus en plus difficile à comprendre et le bac à sable pourrait être contourné par de nouvelles vulnérabilités.
La surveillance, les invites système et le cadre de sécurité de l'environnement de production peuvent tous faire gagner du temps, mais ils ne peuvent pas remplacer l'alignement du modèle lui-même.
L'évaluation a également rencontré un autre problème : le modèle a commencé à reconnaître la salle d'examen.
Les chercheurs ont mis les réponses dans le dossier pour tester si le modèle tricherait. Le modèle a estimé que cet arrangement n'était pas naturel et a jugé qu'il était en cours de test, il a donc évité la réponse.
« Être honnête lors du test » et « rester honnête dans l'environnement réel » deviennent deux choses différentes.
Brown a proposé que nous puissions continuer à construire un environnement d'évaluation plus réaliste afin que le modèle puisse fonctionner dans des conditions proches du travail réel. Cependant, il a déclaré qu’il s’agissait simplement d’une direction à laquelle il réfléchissait et qu’il ne s’agissait pas encore d’une réponse. Plus le modèle est intelligent, plus il est difficile de créer un monde factice qu’il ne peut pas reconnaître comme un test.
05 Les modèles plus puissants ne peuvent rester qu'en laboratoire
Plus les tests de sécurité sont longs, plus l'écart entre le modèle interne et le modèle que les utilisateurs ordinaires peuvent utiliser est grand.
Les mathématiques ont rendu cela concret. Le modèle interne d'OpenAI peut résoudre certains problèmes mathématiques non résolus, mais les chercheurs externes ne peuvent pas l'appeler directement. Brown a reconnu que cela donnait au laboratoire un « avantage injuste ». Cependant, si la diffusion publique est ralentie en raison de fortes capacités et de risques élevés, les avantages seront davantage limités à quelques entreprises.
Patel a étendu cette préoccupation à la prise de décision politique, aux médias et aux opérations commerciales : lorsque le modèle interne du laboratoire est utilisé pendant quelques mois, les informations et les outils obtenus par le monde extérieur peuvent être en retard d'une génération. Brown a reconnu le dilemme et a déclaré qu'il ne disposait pas d'un bon moyen de l'évaluer.
L'auto-amélioration récursive rend les problèmes plus aigus. Si l'IA compresse trois mois de recherche et développement en un seul mois, le laboratoire sera peut-être plus disposé à continuer à utiliser le modèle pour la recherche interne, plutôt que de passer du temps à améliorer les classificateurs, les bacs à sable et la sécurité des produits, puis à confier cette génération de fonctionnalités à des utilisateurs externes.
Le laboratoire ne cessera peut-être pas de publier des modèles.
Mais « deux mois de retard » sur le calendrier sera de moins en moins représentatif de l'écart réel : deux mois pendant lesquels des modèles internes ont peut-être été impliqués dans la fabrication du modèle de nouvelle génération.
06 7 000 $ par jour, mais je ne peux toujours pas compter le nombre d'emplois remplacés par l'IA
L'intensité de l'utilisation des outils d'IA dans les travaux de recherche OpenAI a considérablement augmenté.
Le rapport interne d'accélération de la recherche d'OpenAI publié le 6 septembre montre qu'à la mi-août, le nombre médian d'agents d'IA utilisés par les chercheurs dépassait 600 USD par jour, sur la base du prix public de l'API ; l'utilisateur du 90e centile dépassait 7 000 dollars américains par jour. Le temps de travail de tous les agents est converti en une journée de travail de 8 heures, ce qui équivaut à 3,1 jours de travail d'agent derrière chaque journée de travail humaine.
Ces chiffres font référence au dosage.
Il ne s'agit ni des véritables factures internes payées par OpenAI pour chaque chercheur, ni du fait que l'agent a contribué 3,1 fois plus aux résultats de recherche effectifs des humains.
Brown a également rappelé dans l'interview que les 1 % des chercheurs les plus utilisés début août gagnaient entre 7 000 et 8 000 USD par jour. Cet ensemble de chiffres est différent du temps et du percentile officiels, et les deux ne peuvent pas être combinés en un ensemble de statistiques. Tout ce que l’on peut constater, c’est que les utilisateurs à haute intensité appellent déjà un grand nombre d’IA à travailler en même temps.
Brown n'a pas donné de réponse concrète quant à l'ampleur de l'accélération de la recherche par l'IA. Le modèle est particulièrement adapté à la vérification des données une par une, au dépannage et à l'écriture de code. Ces étapes peuvent être beaucoup plus rapides. Comment choisir une direction de recherche, si un résultat mérite d'être poursuivi et à quelle expérience le GPU est affecté sont toujours décidés par les humains.
Après avoir automatisé un lien, le goulot d'étranglement se déplacera également vers les liens restants.
Patel en a déduit que d'ici 2030, un seul laboratoire pourrait gérer des centaines de millions d'intelligences de type humain, et que dans quelques années, il pourrait même y avoir une intelligence efficace à une "échelle multi-terrestre". Cette déclaration vient de son extrapolation, et non d'une prédiction de Brown ou d'OpenAI.
La réponse de Brown a été beaucoup plus brève : les progrès sont effectivement rapides, mais il ne sait pas à quoi ressemblera le monde en 2030. Il est seulement prêt à porter un jugement général : l'IA a rendu la recherche plus rapide qu'il y a un an, et elle continuera à s'accélérer à l'avenir. Le simple fait de résumer les progrès des trois dernières années en une seule année suffit à changer le rythme de l’industrie.
La revue 07 n'est pas encore terminée, le modèle de nouvelle génération est peut-être arrivé
Ce que Brown a finalement soulevé est un problème qui ne s'est pas encore réellement produit mais qui est déjà visible dans la tendance.
L'intervalle de sortie des modèles de pointe a été réduit à environ deux mois, parfois moins ; les tâches que les modèles peuvent continuer à accomplir s’allongent. Aujourd'hui, il peut faire un travail d'une semaine, et à l'avenir, cela pourrait prendre un mois ou trois mois.
Si un modèle peut fonctionner efficacement pendant trois mois, mais que la prochaine génération sera publiée deux mois plus tard, le laboratoire n'aura peut-être pas le temps d'observer son comportement sur l'échelle de temps la plus longue avant sa sortie.
Brown a souligné que nous n'avons pas encore vraiment atteint ce mur.
Mais de nombreuses politiques de sécurité ont été élaborées à l’ère GPT-4, lorsque personne n’avait besoin de tester sérieusement un agent qui fonctionnait en continu pendant des mois. Lorsque le cycle des tâches dépasse réellement le cycle de publication, il sera trop tard pour réécrire la méthode d'évaluation.Le fait qu'un modèle suive les règles peut également changer avec les générations. Le modèle d'aujourd'hui participe à la formation de la prochaine génération, et la prochaine génération participe à la formation de la prochaine génération ; si l’écart s’agrandit petit à petit au cours du processus, la réussite d’une seule évaluation ne peut pas prouver que l’ensemble de la chaîne récursive est sûr.
OpenAI souhaite voir davantage d'alignement avec chaque génération, mais Brown admet que l'entreprise ne sait pas encore comment garantir cette tendance.
Pour des incidents comme Hugging Face, Brown a déclaré que même si la gravité de la sécurité du prochain incident est moindre, OpenAI le divulguera.
Patel a ensuite demandé : La divulgation et l'enquête sont deux choses différentes. En tant que membre du public, il ne comprend toujours pas toute l’histoire de la manière dont l’agent a attaqué l’infrastructure de recherche d’OpenAI. Brown a répondu qu'il faisait partie de l'équipe de recherche et qu'il ne disposait pas de tous les détails de la divulgation. Ce problème devrait être clarifié par l’équipe de sécurité.
À la fin de l'interview, Brown n'a pas donné une image du monde en 2030, ni annoncé qu'une solution au problème d'alignement avait été trouvée. Ce qu’il a donné ressemblait davantage à un calendrier plus court : les résultats mathématiques étaient plus tôt que prévu, la recherche et le développement de l’IA ont été accélérés par des agents intelligents, les modèles ont commencé à reconnaître l’environnement de test et la surveillance de la chaîne de pensée a montré des signes de dégradation.
Dans le passé, les chercheurs craignaient de sous-estimer leurs modèles.
La prochaine étape plus difficile est de savoir si le laboratoire peut découvrir à temps ce qu'il a sous-estimé avant que le modèle de nouvelle génération ne soit produit.
Commentaires