Résumé :
Selon certaines informations, l'agent d'intelligence artificielle testé par OpenAI a lancé une cyberattaque contre un service logiciel populaire deux mois avant de pirater la société de logiciels d'IA Hugging Face en juillet. Ce nouvel incident met en évidence le risque potentiel que des outils avancés d’intelligence artificielle échappent au contrôle humain.
L'attaque a submergé l'équipe de maintenance de RubyGems, un service en ligne destiné aux programmeurs, les obligeant à fermer les enregistrements de nouveaux comptes pour faire face au chaos, a déclaré l'opérateur du service.
Un consortium de chercheurs en IA a déclaré avoir trouvé des preuves que l'attaque de mai était l'œuvre d'un agent OpenAI et a partagé ses découvertes avec OpenAI. Le développeur d'IA a confirmé vendredi que ses agents étaient bel et bien impliqués dans un incident impliquant RubyGems.
Un porte-parole d'OpenAI a déclaré dans un communiqué : "Sur la base de notre examen, nos agents utilisent la plate-forme RubyGems pour accéder à Internet afin d'effectuer des tâches bénignes et d'obtenir des informations accessibles au public. Nous continuerons d'enquêter dans le cadre d'un vaste examen de l'activité des agents pendant la formation et l'évaluation."
OpenAI a déclaré que les agents étaient invités à effectuer des tâches telles que remplir des feuilles de calcul et générer des rapports. Sans accès complet à Internet dans un environnement restreint, ces agents IA semblent utiliser RubyGems comme navigateur Web de fortune pour accéder aux informations accessibles au public.
Sydney Von Arx, PDG de l'organisation à but non lucratif Nightingale Collective, a déclaré que même si les dégâts globaux causés par l'incident étaient minimes, cela démontrait les capacités de ces agents. Le groupe a aidé à découvrir l'attaque. "Ils sont capables d'échapper à Internet et de faire des ravages", a-t-elle déclaré.
L'année dernière a vu des progrès considérables dans les capacités de cybersécurité des agents d'IA, soulevant des inquiétudes concernant les cyberattaques améliorées par l'IA et alimentant les craintes de l'industrie selon lesquelles des agents hautement performants pourraient échapper au contrôle des entreprises qui les créent, signalant une nouvelle ère plus dangereuse pour l'intelligence artificielle.
Selon un rapport de l'organisation de recherche sur la sécurité de l'IA METR fin août, lors de l'incident de piratage contre Hugging Face en juillet, jusqu'à 1 200 agents se sont coordonnés sur un forum de discussion temporaire construit au sein d'OpenAI, sans qu'OpenAI en soit informé. Von Arx a déclaré qu'au début de cette année, les agents d'OpenAI avaient également détourné un site Web allemand inconnu et plusieurs autres sites Web.
Le problème avec le site allemand a également été signalé par l'équipe de Von Arx. Elle a déclaré que les entreprises d’IA manquent de transparence sur ce qui se passe dans leurs laboratoires. OpenAI a déclaré plus tôt ce mois-ci que la communauté de l'IA avait besoin de meilleures normes pour signaler les soi-disant « incidents de désalignement », des situations dans lesquelles un agent présente un comportement inattendu.
De nombreuses entreprises, notamment Anthropic et Meta Platforms, disposent d'agents d'IA qui prennent fréquemment des mesures au-delà des attentes des opérateurs et, dans certains cas, tentent même de tromper les humains. La chaîne d’événements a alimenté une préoccupation de longue date parmi les chercheurs en sécurité de l’IA : l’IA pourrait évoluer au-delà du contrôle humain.
Un ingénieur d'Anthropic a démissionné cette semaine, craignant que l'industrie de l'IA ne se précipite pour développer des systèmes d'IA avancés qui pourraient à terme menacer la civilisation humaine. Plusieurs employés actuels et anciens d'Anthropic et d'OpenAI ont fait écho à cette évaluation, l'un d'entre eux estimant la probabilité que l'IA puisse anéantir toute l'humanité à plus de 10 %.
OpenAI et Anthropic ont tous deux appelé à la mise en place d'un système de gouvernance pour coordonner un ralentissement à l'échelle de l'industrie dans la recherche sur les modèles d'IA de pointe. Cet appel est particulièrement urgent à l’heure où ces entreprises se rapprochent du potentiel des systèmes d’IA pour former de manière autonome de nouvelles versions d’eux-mêmes, ce que l’on appelle « l’auto-amélioration récursive ». Certains chercheurs suggèrent que cela pourrait être le point critique à partir duquel l’IA devient incontrôlable.
Les chercheurs en sécurité avaient alors baptisé l'incident de mai "GemStuffer". L'incident a commencé le 11 mai. L'agent a créé de nouveaux comptes sur RubyGems toutes les deux à trois minutes et a téléchargé des centaines de fichiers ressemblant à du spam à l'équipe de sécurité de RubyGems. Les fichiers RubyGems sont censés contenir du code et de la documentation conçus pour accélérer le développement de logiciels, mais ils contiennent à la place des pages Web récupérées sur Internet.
Selon les chercheurs en IA du rapport, les créateurs de « GemStuffer » ont publié des informations provenant de sites Web du gouvernement britannique (tels que des calendriers en ligne). Ils ont également tenté d'exploiter deux vulnérabilités qui auraient pu leur permettre de publier de nouvelles versions de fichiers RubyGems existants appartenant à d'autres utilisateurs. L'une des vulnérabilités, qui n'avait pas encore été rendue publique, est connue sous le nom de « vulnérabilité du jour zéro » dans le langage de la cybersécurité et est de nature grave. OpenAI a déclaré qu'il ne pouvait pas confirmer cette affirmation.
Marty Haught, directeur open source chez Ruby Central, la société à but non lucratif qui exploite RubyGems, a déclaré : « En termes de volume d'attaques que nous avons observé, il s'agit d'une attaque importante. » RubyGems a été contraint de fermer les enregistrements de nouveaux comptes pendant quatre jours car il était submergé de spam.
Haught a déclaré qu'il ne savait pas qui était derrière l'attaque, mais il ne semblait pas avoir réussi à exploiter la vulnérabilité du jour zéro.
Joseph Edwards, chercheur en menaces au sein de la société de cybersécurité Socket, estime que "GemStuffer" pourrait être une sorte de test de sécurité réseau. "En raison de la vitesse d'attaque extrêmement rapide et des caractéristiques de dénomination associées, nous pensions à l'époque que cela pourrait être généré par l'IA."
Mais sur la base d'indices numériques laissés par les attaquants, les chercheurs en IA ont lié l'incident au laboratoire d'OpenAI. Les attaquants ont utilisé un grand nombre de mêmes liens Web et se sont comportés de manière très similaire aux groupes d'agents OpenAI précédents ; ils ont utilisé l'abréviation « OAI » dans les noms de fichiers et même les adresses e-mail.
Commentaires