Résumé :
Alors que le monde extérieur attend qu'OpenAI divulgue plus de détails sur l'incident de l'intrusion autonome de l'agent dans le site Web du programmeur allemand DseWiki, le 6 septembre, heure locale, OpenAI a publié deux documents : annonçant que l'entreprise a atteint l'objectif fixé l'année dernière et dispose de « stagiaires de recherche automatisés » qui peuvent effectuer plusieurs jours de travail de chercheurs qualifiés sous la direction humaine ; l’autre, rédigé par le scientifique en chef Jakub Pachocki, se concentre sur le dilemme de sécurité lié au développement de l’IA de pointe, soulignant qu’aucun laboratoire ne résout actuellement un degré suffisant de problèmes d’alignement et de surveillance.
Les deux documents publiés constituent une description complète de l'étape actuelle de développement de l'IA par OpenAI : l'IA a commencé à accélérer à son tour la recherche et le développement en IA, mais il n'a pas été prouvé que les capacités de sécurité, d'alignement et de contrôle humain se développent au même rythme.
Ce qu'OpenAI appelle un « stagiaire en recherche automatisée » n'est pas un scientifique entièrement autonome, mais quelqu'un qui peut accomplir des tâches de recherche bien définies sous la direction humaine qui prennent généralement plusieurs jours à des chercheurs qualifiés, et se dirige vers l'objectif de créer un « chercheur en IA automatisé » en mars 2028.
Les données montrent qu'à la mi-août de cette année, les frais d'inférence médians encourus par les chercheurs utilisant des agents de programmation chaque jour dépassaient 600 USD, et les 10 % d'utilisateurs les plus riches dépensaient plus de 7 000 USD en jetons chaque jour. Les tâches entreprises par les agents s'étendent de l'écriture de code et du dépannage de l'infrastructure à des travaux de recherche à plus long terme et plus complexes.
Cela signifie que l'impact de l'IA sur la recherche et le développement en IA commence par l'assistance aux programmeurs dans l'écriture du code et commence à entrer dans les liens d'expérimentation, d'analyse et d'exécution de la recherche.
Mais dans le même temps, OpenAI a également admis que ces indicateurs en sont encore à leurs débuts, que la progression globale des travaux de recherche n'augmentera pas simplement proportionnellement et que les tâches complexes nécessitent encore beaucoup d'interventions manuelles ; Au cours des six derniers mois, plus de la moitié des tâches ayant nécessité 4 à 8 heures de travail humain nécessitaient encore au moins une intervention manuelle.
La tendance est assez évidente : l'IA est en train de devenir un outil de productivité qui stimule la croissance des capacités de l'IA de nouvelle génération.
Parallèlement à la croissance des capacités, les frontières de sécurité se resserrent.
En juillet, OpenAI a dévoilé un modèle qui a envahi les systèmes liés à Hugging Face ; en août, GPT-6 Astra a atteint le seuil de capacité de sécurité du réseau « niveau critique » ; en septembre, l'incident DseWiki révélé par les chercheurs a en outre montré que les agents n'ont pas nécessairement besoin d'être « piratés » au sens traditionnel du terme pour franchir les limites fixées par les développeurs.
Ce que les incidents ci-dessus ont en commun, c'est que les actions réelles du modèle commencent à dépasser les limites comportementales initialement conçues par les développeurs. C’est aussi le problème qui préoccupe le plus Pachocchi en ce moment. Dans un article publié aujourd'hui, il évoque son humeur lorsqu'il a réalisé une percée dans la recherche sur les modèles d'inférence internes en 2023 : ce qui l'a vraiment choqué à cette époque n'était pas le score du modèle au test, mais le fait que les humains pourraient entrer dans une ère dans laquelle « les machines sont plus intelligentes que nous ».
Trois ans plus tard, il estime que le problème n'est plus loin.
Pachocki a écrit qu'aucun laboratoire ne rend actuellement l'alignement et la surveillance de l'IA suffisamment fiables pour continuer à évoluer de manière responsable à vitesse maximale pendant une longue période encore. Il espère que les laboratoires ralentiront volontairement leur développement jusqu'à ce que des normes de sécurité communes soient établies, et appelle les gouvernements à faire de la coordination internationale une priorité.
Cette préoccupation ne concerne pas une vulnérabilité spécifique, mais un écart de vitesse plus fondamental : les capacités des modèles s'améliorent rapidement, mais les capacités humaines à comprendre, surveiller et contraindre ces systèmes peuvent ne pas être synchronisées.
Cela fait directement écho aux données d'accélération de la recherche publiées aujourd'hui par OpenAI. D’une part, l’entreprise utilise Agent pour accélérer la recherche et le développement en matière d’IA, tout en admettant qu’elle ne peut pas supposer que les capacités d’alignement et de sécurité rattraperont définitivement les capacités du modèle, et que les systèmes plus puissants pourraient être plus difficiles à surveiller. Si l’IA peut participer à la conception, à la formation et à l’amélioration de la prochaine génération d’IA à l’avenir, cet écart pourrait encore se creuser.
Sur cette base, Pachocchi estime qu'à mesure que l'intelligence artificielle entre dans une nouvelle étape de développement, s'appuyer uniquement sur les mécanismes internes d'une seule entreprise d'IA pourrait ne pas suffire à faire face aux risques, et qu'une intervention institutionnelle plus large est nécessaire, y compris des normes de sécurité communes et une coordination internationale.
Commentaires