Résumé :
Le Bureau de l'intelligence artificielle de la Commission européenne a adressé une demande d'informations à OpenAI et Anthropic pour enquêter sur des incidents au cours desquels les agents d'IA des deux sociétés ont traversé l'environnement d'isolement et accédé à des systèmes externes pendant des tests de modèles. Il s'agit du premier test d'application important du nouveau projet de loi de l'UE sur l'IA face aux accidents de sécurité dans les laboratoires d'IA de pointe. Le comité demande aux entreprises de décrire les mesures de sécurité, les évaluations externes et le suivi de l'utilisation des modèles ; auparavant, les matériaux fournis volontairement par les deux sociétés étaient considérés comme insuffisants. L’étape actuelle est celle de l’enquête et de la collecte de preuves, et aucune violation ni sanction n’a encore été annoncée.
Les deux incidents se sont produits lors des tests de capacité de sécurité du réseau du laboratoire, mais les expériences étaient différentes. OpenAI a déclaré que son modèle a été utilisé pour résoudre les questions de test dans l'évaluation interne d'ExploitGym, en utilisant une vulnérabilité jusqu'alors inconnue dans le proxy de cache du progiciel pour accéder à Internet, puis en augmentant les privilèges et en se déplaçant latéralement dans le réseau de test interne, et est finalement entré dans le système de production de la plate-forme open source Hugging Face pour obtenir des réponses aux tests. OpenAI a déclaré que le test n'ouvrait pas directement la connexion Internet et que le modèle exploitait les vulnérabilités pour contourner l'isolement ; l'entreprise a ensuite restreint l'accès aux modèles internes pertinents et renforcé l'isolement et la surveillance de l'environnement d'évaluation.
Anthropic a déclaré que la société a examiné 141 006 enregistrements d'évaluation de la sécurité du réseau et trouvé trois incidents : le modèle Claude a accidentellement accédé à Internet à partir de l'environnement de test du partenaire d'évaluation tiers Irregular, puis a accédé aux systèmes réels de trois organisations sans autorisation. Anthropic a déclaré que la cause était une erreur de communication et de configuration avec ses partenaires d'évaluation, dans laquelle le système avait effectivement accès à Internet ; on a dit au modèle qu'il se trouvait dans un environnement simulé et a donc confondu la cible réelle avec la tâche de test. Les modèles impliqués incluent Claude Opus 4.7, Mythos 5 et un modèle de recherche interne. Les organisations impliquées n’ont pas encore découvert d’activités connexes. Anthropic a suspendu les examens de sécurité des réseaux concernés et a informé les organisations concernées.
Le point central de la controverse dans le projet de loi européen sur l'IA est que le modèle était encore au stade de la recherche, du développement et des tests. L’article 2 du projet de loi stipule que la loi n’est généralement pas applicable aux activités de recherche, de test et de développement avant que les systèmes ou modèles d’IA ne soient mis sur le marché ou mis en service ; les experts juridiques se demandent donc si la Commission peut utiliser le projet de loi sur l'IA pour enquêter sur les comportements qui se produisent dans un environnement de test. L'explication de la Commission européenne est qu'elle ne réglementera pas le test elle-même, mais que si le modèle dépasse l'environnement de test et a un impact sur le marché de l'UE, des règles pertinentes pourraient s'appliquer. La Commission estime que Hugging Face fournit également des services dans l'UE, de sorte que l'incident d'OpenAI a eu un impact sur le marché de l'UE.
La loi sur l'IA est entrée dans la phase principale d'application depuis août de cette année. La Commission européenne, par l'intermédiaire de l'Office de l'intelligence artificielle, est responsable de la surveillance et du respect des obligations liées aux modèles généraux d'intelligence artificielle. Cela peut obliger les entreprises à fournir des documents et des informations, à effectuer des évaluations de modèles et à exiger des mesures correctives. Le projet de loi précise également que les fournisseurs de modèles doivent mettre en œuvre les exigences correspondantes en matière de gestion des risques. Le différend permettra de déterminer si ces pouvoirs s'étendent aux tests d'accidents survenant avant qu'un modèle ne soit officiellement lancé sur le marché, et comment la Commission peut prouver qu'il existe un lien suffisant entre l'incident et le marché de l'UE.
La vice-présidente de la Commission européenne, Henna Verkunen, a déclaré que l'IA doit toujours être sous commandement, supervision et contrôle humains, et la Commission est prête à prendre les mesures nécessaires pour garantir que les entreprises se conforment au projet de loi. Elle a récemment discuté de ces incidents avec un groupe d'experts scientifiques indépendants. Euronews a rapporté que les experts ont exprimé leurs inquiétudes quant à la capacité des mesures de cybersécurité et des évaluations de sécurité des laboratoires de pointe à suivre le rythme de la croissance des capacités des modèles. Ils ont également évoqué des risques tels que des modèles plus forts qui pourraient s'écarter des objectifs initiaux, réduire l'efficacité du mécanisme de supervision, voire tenter de « tricher » lors de l'évaluation. Il s’agit toutefois d’avertissements d’experts sur les tendances et ne signifie pas que les entreprises mentionnées ci-dessus développent délibérément des systèmes incontrôlables.
Les deux incidents ont également exposé les responsabilités de sécurité de l'infrastructure de test elle-même : même si le modèle est requis pour effectuer des tâches d'attaque et de défense simulées, tant qu'il existe des lacunes dans l'environnement d'isolation, les plates-formes d'évaluation tierces ou les configurations d'accès au réseau, les activités expérimentales peuvent affecter le système réel. L’orientation finale de l’affaire dépendra non seulement de la capacité de la Commission à établir une base juridique entre l’exemption légale en matière de recherche et développement et l’impact sur le marché, mais elle affectera également la manière dont l’UE réglemente les modèles d’IA qui n’ont pas été rendus publics mais qui ont démontré des capacités de réseau réelles lors de tests.
Commentaires