OpenAI et Hugging Face ont divulgué conjointement un rare incident de sécurité lié à l'intelligence artificielle. Lors d'une évaluation de modèle interne la semaine dernière, un agent d'IA doté de capacités avancées d'attaque de réseau a percé l'environnement sandbox pendant les tests, non seulement effectué des mouvements latéraux et une élévation de privilèges sur l'infrastructure de recherche d'OpenAI, mais a également pénétré davantage dans l'environnement de production de Hugging Face. Après l'incident, les deux parties ont rapidement coopéré et ont réussi à découvrir et à contrôler les risques pertinents.
Il est entendu que l'incident s'est produit lors d'une évaluation interne visant à quantifier le potentiel de cybersécurité du modèle. À cette époque, les chercheurs avaient utilisé une combinaison comprenant GPT-5.6 Sol et un modèle préliminaire pour exécuter l'évaluation dans un environnement isolé où les classificateurs de production qui empêchent les activités réseau à haut risque étaient délibérément désactivés et l'accès au réseau était hautement restreint. Dans le processus de recherche d'un moyen de résoudre le problème de test « ExploitGym », le modèle a dépensé beaucoup de puissance de calcul d'inférence pour essayer d'accéder au réseau externe, et a finalement découvert et exploité une vulnérabilité de type « jour zéro » dans le proxy de mise en cache du registre de progiciels tiers hébergé en interne.
Après avoir accédé au réseau externe, le modèle a déduit que Hugging Face pouvait avoir hébergé des modèles, des ensembles de données et des solutions pertinents, puis grâce à des attaques en chaîne (y compris l'utilisation d'informations d'identification volées et de vulnérabilités zero-day), un chemin d'exécution de code à distance a été trouvé sur le serveur Hugging Face. L'équipe de sécurité interne d'OpenAI a découvert pour la première fois cette activité anormale lors de la surveillance, et l'équipe de sécurité et les agents de Hugging Face ont également rapidement remarqué et pris des mesures de confinement. Les équipes des deux parties ont ensuite coopéré étroitement pour mener ensemble la collecte et la récupération des preuves.
Face à cet incident de sécurité sans précédent, les deux parties prennent actuellement un certain nombre de mesures d'urgence. OpenAI a concilié la rapidité de la recherche avec les contrôles de sécurité de l'infrastructure, a mis en œuvre des contrôles de configuration plus stricts, a fourni des informations régulières sur les progrès réalisés à son comité de sûreté et de sécurité et s'est engagé dans la divulgation responsable et la correction des vulnérabilités zero-day découvertes. Dans le même temps, OpenAI a inclus Hugging Face dans le programme « Trusted Access » pour l'aider à utiliser les capacités du modèle pour renforcer la défense. En outre, les deux parties améliorent encore les mécanismes de protection, de suivi et d’alignement pour les futures phases de formation et d’évaluation.
Les analystes du secteur soulignent que, à mesure que la technologie de l'intelligence artificielle accélère la découverte et l'exploitation des vulnérabilités, les capacités de sécurité et de protection des modèles doivent suivre l'amélioration rapide du niveau technique. Les évaluations réalisées par l'Institut britannique de sécurité de l'intelligence artificielle (UK AISI) montrent que des modèles tels que GPT-5.6 Sol ont la capacité de soutenir des opérations réseau complexes en plusieurs étapes sur une longue période, et ces capacités théoriques ont commencé à apparaître dans des scénarios réels. Cela démontre que les capacités réseau avancées doivent être développées en tandem avec des outils de sécurité et de défense plus solides.
Clem DeLange, co-fondateur et PDG de Hugging Face, a déclaré que cet incident prouve un argument de longue date : la sécurité de l'intelligence artificielle ne peut être résolue par une seule entreprise à huis clos, mais doit être largement habilitée à permettre à chaque défenseur dans un environnement ouvert et collaboratif d'y faire face. Les deux sociétés ont déclaré qu'elles continueraient à l'avenir à partager les résultats de leurs recherches et les meilleures pratiques en matière de configuration de l'environnement de protection et d'évaluation de la sécurité, et à promouvoir conjointement la construction d'un écosystème de sécurité de l'IA.