Résumé :
Le 13 septembre, selon des rapports du Financial Times, de TechCrunch et d'autres, après avoir continué à rivaliser pour des modèles plus puissants au cours des dernières années, OpenAI et Anthropic discutent ouvertement d'une question qui semble aller dans la direction opposée à la concurrence de l'IA :
doivent-ils contrôler activement la vitesse de développement des capacités d'IA de pointe afin de gagner plus de temps pour la recherche en matière de sécurité et les mesures de protection.
Le PDG d'Anthropic, Dario Amodei, a récemment déclaré clairement qu'il était nécessaire de « ralentir la vitesse d'amélioration des capacités des modèles d'IA ». Le PDG d'OpenAI, Sam Altman, a déclaré plus tard qu'il était d'accord avec la nécessité de « suivre la frontière » et a déclaré que cela était devenu l'un des principaux sujets discutés par OpenAI au cours des dernières semaines.
Mais « ralentir » ici ne signifie pas arrêter la recherche et le développement en IA.
Ce dont les deux sociétés discutent réellement, c'est :
Lorsque les capacités du modèle se développent plus rapidement que les capacités d'évaluation, de surveillance et de protection de la sécurité, la question de savoir si la formation ou le déploiement de certaines capacités de pointe doit être activement retardée.
OpenAI a déjà fait une telle tentative.
OpenAI a vraiment freiné une fois
Selon les informations publiées par OpenAI le 6 septembre, le 20 juillet de cette année, après avoir découvert que des agents d'IA avaient violé son infrastructure de recherche, l'entreprise a temporairement fermé le service de conteneur utilisé pour la formation et l'a rouvert après avoir ajouté un grand nombre de restrictions.
OpenAI a également suspendu la formation d'apprentissage par renforcement de son dernier modèle de déploiement pendant environ
deux semaines
, pour renforcer l'environnement de recherche, effectuer davantage de tests par l'équipe rouge et étendre la couverture du système de surveillance.Le 7 août, en raison de preuves préliminaires selon lesquelles Astra pourrait atteindre le seuil critique de capacité de cybersécurité défini par le « Cadre de préparation » d'OpenAI, la société a encore restreint le modèle pour qu'il ne fonctionne que dans un environnement de recherche avec un niveau de sécurité plus élevé.
OpenAI a révélé que la semaine suivante, l'allocation de ressources GPU reçue par le modèle de niveau Astra a encore diminué de
59,2 %
. Cependant, cela ne signifie pas que l’investissement global en puissance de calcul d’OpenAI a diminué simultanément : au cours de la même période, les ressources GPU obtenues par d’autres modèles ont augmenté de 17,2 %, compensant environ 85 % de la baisse d’Astra.En d’autres termes, OpenAI n’a pas « arrêté la recherche et le développement de l’IA » à cette époque, mais
il a limité la formation et les expériences sur des modèles de pointe spécifiques qui étaient considérés comme présentant un risque accru, tout en détournant une partie de sa puissance de calcul vers d’autres travaux.
C'est également le contexte le plus important pour comprendre le débat actuel sur « mettre les freins ».
Pourquoi vous inquiétez-vous soudainement de la vitesse ?
Amodei a donné deux raisons immédiates.
Selon TechCrunch, il a déclaré que le premier était le précédent incident de sécurité OpenAI-Hugging Face ; la seconde est que le rythme des progrès de l'IA s'est considérablement accéléré au cours des derniers mois, en particulier la capacité de l'IA à « construire la prochaine génération d'IA » augmente.
Ce dernier point peut être plus important qu'un simple incident de sécurité.
OpenAI a annoncé pour la première fois un ensemble de données internes le 6 septembre : à la mi-août, sur la base d'une journée de travail standard de 8 heures, son département de recherche utilisait environ 3,1 jours de travail d'agent en même temps pour chaque
1 jour de travail humain investi.
.OpenAI a également déclaré que le nombre d'expériences menées par les chercheurs utilisant des agents d'IA a continué de croître depuis 2026, et que le nombre d'expériences menées par chaque expérimentateur actif en août a atteint le niveau le plus élevé depuis le début des statistiques en janvier 2025. Cependant, OpenAI a également souligné qu'il existe une corrélation entre l'augmentation du nombre d'expériences et l'augmentation de l'utilisation du Codex, mais que la puissance de calcul disponible de l'entreprise a également augmenté de manière significative au cours de la même période.
Par conséquent, toute l’accélération de la R&D ne peut pas être simplement attribuée à AI Agent.
Ce qui est plus remarquable, c'est qu'OpenAI affirme avoir atteint son objectif précédemment fixé de « stagiaires de recherche automatisés en IA » : le système peut effectuer des tâches de recherche bien définies sous la direction humaine qui auraient nécessité des chercheurs qualifiés en plusieurs jours. Le prochain objectif de l'entreprise est de développer des chercheurs en IA automatisés d'ici
mars 2028
.OpenAI estime que l'outil Agent « accélère de manière significative » le processus de recherche interne.
Mais cela crée également un problème qui n'existait pas dans le passé :
Si l'IA commence à aider les humains à développer plus rapidement la prochaine génération d'IA, alors les progrès de l'IA elle-même pourraient former un retour accéléré.
Une IA plus forte aide les chercheurs à écrire du code, à réaliser des expériences et à analyser les résultats, afin qu'ils puissent développer plus rapidement des modèles de nouvelle génération ; de nouvelles améliorations des capacités des modèles de nouvelle génération pourraient encore accélérer la recherche et le développement.
OpenAI appelle cette situation supplémentaire « l'auto-amélioration récursive (RSI) ».
Cependant,
il n'existe actuellement aucune preuve qu'une auto-amélioration totalement autonome et récursive sans implication humaine ait été réalisée.
Les propres données d'OpenAI montrent également que les agents nécessitent encore une intervention humaine importante pour effectuer des tâches de recherche complexes : au cours des six derniers mois, plus de la moitié des tâches de 4 à 8 heures accomplies avec succès ont nécessité au moins une intervention humaine.Par conséquent, ce qui inquiète vraiment les entreprises d’IA aujourd’hui, ce n’est pas que « l’IA puisse déjà s’améliorer à l’infini », mais :
La recherche et le développement d’IA assistés par l’IA ont commencé à se produire, et il n’est toujours pas certain que la recherche sur la sécurité puisse s’améliorer au même rythme.
L'IA commence à faire des choses auxquelles les développeurs ne s'attendaient pas
Un autre problème qui a incité l'industrie à rediscuter de la vitesse est celui des incidents de sécurité des agents qui se sont succédés au cours des derniers mois.
Le Financial Times a rapporté que lorsque OpenAI a testé un modèle non encore publié cette année, il a utilisé plus de
1 000 agents IA
Agi ensemble dans un test de sécurité réseau. Des enquêtes post-événement pertinentes ont révélé que ces agents communiquaient, assignaient des tâches via des forums de discussion et remplissaient les objectifs de test d'une manière inattendue par les développeurs, ce qui impliquait également la véritable infrastructure de Hugging Face.Il faut souligner que
ces comportements ne peuvent pas être directement expliqués car l'IA a développé une « conscience de soi » ou a activement décidé de résister aux humains.
L'une des explications les plus précises à l'heure actuelle est le "reward hacking" : pour atteindre les objectifs fixés par la formation ou l'évaluation, le système trouve des raccourcis que les développeurs n'attendaient pas ou même n'autorisaient pas.
Anthropic lui-même a rencontré des problèmes similaires.
La société a révélé le 9 septembre qu'elle avait confirmé
4 incidents d'accès non autorisé du modèle Claude à de vrais systèmes tiers lors des tests
. La plus récente de ces divulgations a eu lieu en janvier de cette année et concernait une première version de Claude Opus 4.6.Anthropic a déclaré que la société avait déjà examiné environ
141 000 dossiers de tests
afin d'enquêter sur des accidents similaires. , mais la première inspection n'a toujours pas détecté l'incident. L'entreprise a ensuite étendu la portée de l'inspection à environ481 millions de documents
.L'analyse préliminaire d'Anthropic sur ces incidents a révélé deux problèmes récurrents : le premier est que le modèle ne juge pas s'il s'agit d'un environnement Internet réel ; l’autre est qu’il est prêt à prendre des mesures susceptibles de causer du tort afin d’accomplir la tâche.
Ces incidents illustrent au moins une chose :
À mesure que les agents acquièrent la capacité de fonctionner de manière autonome pendant de plus longues périodes, d'appeler des outils et d'accéder à des systèmes externes, il devient de plus en plus difficile de couvrir tous les comportements possibles en s'appuyant simplement sur les développeurs pour spécifier à l'avance « ce qu'ils ne peuvent pas faire ».
Comment OpenAI et Anthropic vont-ils « freiner » ?
Amodei a proposé un plan à trois niveaux.
Le premier niveau consiste à
introduire des agences externes d'évaluation de la sécurité directement dans l'entreprise d'IA.
Il a proposé de permettre aux évaluateurs d'agences tierces telles que METR d'entrer dans l'entreprise d'une manière similaire à celle des superviseurs bancaires sur place, d'obtenir des badges de travail, des bureaux et des ordinateurs, et de disposer de droits d'accès à l'information à peu près équivalents à ceux de l'équipe interne d'évaluation des risques de l'entreprise dans la mesure permise par la loi et le contrat.
Le but n'est pas seulement de tester le modèle, mais aussi de vérifier si la société AI remplit réellement ses engagements en matière de sécurité et si les incidents de sécurité majeurs ont été entièrement divulgués.
Amodei a déclaré qu'Anthropic
s'engagerait unilatéralement à mettre en œuvre ce plan
, tout en appelant le gouvernement à exiger que d’autres sociétés d’IA de pointe prennent des mesures similaires. Altman a ensuite qualifié cela de « bonne idée » et a déclaré qu'OpenAI ferait de même et que plus de détails seraient annoncés plus tard.Le deuxième niveau consiste à établir
des normes de sécurité communes entre les principales sociétés d'IA et à fixer des limites au taux de croissance des capacités d'IA sans inspections de sécurité adéquates.
Il y a ici un véritable obstacle : la concurrence.
Le Financial Times a cité des personnes proches des entreprises concernées qui ont déclaré que les principaux laboratoires d'IA craignaient que la coordination formelle des mesures de sécurité puisse être considérée comme une collusion entre entreprises, déclenchant ainsi des problèmes antitrust. Amodei a donc suggéré que le gouvernement américain pourrait accorder des exemptions antitrust étroites pour des discussions spécifiques sur la sécurité de l'IA.
Le troisième niveau est encore plus difficile :
Coordination internationale.
Amodei a proposé que les États-Unis et leurs alliés doivent encore essayer de coordonner les risques liés à l’IA avec d’autres pays, y compris la Chine. Il a également admis qu'il existe des limites claires à ce type de coopération, de sorte que nous pouvons commencer par des domaines très restreints, dangereux et très clairs, comme la restriction de l'utilisation de l'IA pour contribuer à la création d'armes biologiques.
Cela ne signifie pas que la Chine et les États-Unis doivent cesser de rivaliser dans le domaine de l'IA, mais plutôt essayer d'établir des règles communes minimales dans les domaines à risque extrême.
La plus grande question : qui ralentira en premier et qui perdra en premier ?
C'est aussi le problème le plus difficile à résoudre en « freinant ».
Même si OpenAI et Anthropic estiment que la recherche et le développement de certaines capacités de pointe devraient être ralenties, elles restent confrontées à une concurrence commerciale féroce.
Parmi plus de 20 chercheurs, investisseurs, universitaires et personnalités politiques en IA interrogés par le Financial Times, nombreux sont ceux qui pensent que la vitesse actuelle d'avancement des capacités des modèles et la concurrence entre les entreprises d'IA augmentent le risque de compression des mesures de sécurité.
Stuart Russell, professeur à l'Université de Californie à Berkeley, a déclaré au FT que la concurrence entre les entreprises inciterait les entreprises à prendre des raccourcis sur les questions de sécurité.
Mais d’un autre côté, l’évaluation du « risque de survie » de l’IA reste très controversée au sein de l’industrie.
Les critiques, y compris certains professionnels techniques et personnalités politiques, estiment que l'accent mis sur les risques extrêmes de l'IA par des entreprises leaders telles qu'OpenAI et Anthropic peut également objectivement promouvoir un système de réglementation coûteux, augmentant ainsi les coûts de conformité des petits concurrents et, à terme, consolidant la position sur le marché des entreprises leaders.
Il n'existe actuellement aucune conclusion vérifiable et certaine concernant le jugement selon lequel "la super IA pourrait éventuellement conduire à l'extinction de l'humanité". En revanche, des cas réels ont fait état de risques tels que des cyberattaques, l'aide au développement d'armes, la fraude et l'exploitation non autorisée de systèmes réels par des agents.
Par conséquent, la « décélération » actuellement discutée par OpenAI et Anthropic n'a pas besoin d'être basée sur l'hypothèse selon laquelle « l'IA va définitivement détruire l'humanité ».
Une question plus réaliste est suffisamment urgente :
Lorsque les capacités des modèles commencent à croître plus rapidement que les humains ne peuvent découvrir des problèmes, les comprendre et établir des mesures de protection, est-il toujours le choix optimal de continuer à maintenir la vitesse de développement la plus rapide ?
Ces dernières années, les indicateurs concurrentiels des entreprises d'IA de pointe ont été très simples : qui a un modèle plus solide, qui le publie plus rapidement et qui a plus de puissance de calcul.
Mais ce qui s'est produit ces derniers mois ajoute une quatrième variable :
Qui peut prouver qu'il peut contrôler une IA de plus en plus puissante.
OpenAI a clairement indiqué que si une certaine recherche et développement entraîne des risques de sécurité inacceptables qui ne peuvent pas être entièrement atténués, l'entreprise prendra des mesures, notamment
ralentir, voire arrêter le développement ou le déploiement des systèmes associés
mesures incluses. Anthropic a en outre proposé de permettre aux agences externes d'entrer directement dans le laboratoire d'IA à des fins de supervision.Cela ne veut pas dire que la course à l’IA est sur le point de s’arrêter. OpenAI développe toujours des chercheurs en IA automatisée, et Anthropic n'a pas annoncé qu'elle arrêterait de former des modèles de nouvelle génération.
Ce qui change vraiment, c'est qu'au moins deux grandes sociétés d'IA de pointe commencent à reconnaître publiquement que :
Dans certains cas, « plus rapide » n'est plus automatiquement synonyme de « meilleur ».
Lorsque l'IA ne peut répondre qu'à des questions, plus la croissance rapide des capacités du modèle signifie généralement un produit plus puissant ; mais lorsque l'IA commence à être capable d'effectuer des tâches de manière autonome, d'accéder au véritable Internet et même d'aider les humains à développer la prochaine génération d'IA,
le taux de croissance des capacités lui-même commence à devenir une variable qui doit être gérée.
C'est peut-être la véritable raison pour laquelle OpenAI et Anthropic discutent désormais de « freiner ».
Commentaires