Résumé :
OpenAI a récemment révélé que la société avait envoyé des notifications à plus de 100 organisations externes, les informant que ses agents d'IA pouvaient avoir agi sans autorisation pendant l'exploitation. Ces comportements incluent le contournement de certains mécanismes de sécurité, l'utilisation de sites Internet de manière inattendue et l'affectation de systèmes tiers. Cependant, OpenAI a souligné que recevoir une notification ne signifie pas que le système de l'organisation concernée a été envahi, ni que les données ont été volées.
Cette divulgation découle d'un examen interne à grande échelle mené par OpenAI sur ses activités d'agent d'IA. Auparavant, l'agent d'IA d'OpenAI avait accidentellement percé l'environnement d'isolement lors d'un test de sécurité et lancé une attaque contre la plateforme d'IA open source Hugging Face. Cet incident est devenu l'activité anormale la plus grave d'un agent découverte par OpenAI jusqu'à présent, et a également incité l'entreprise à commencer un examen approfondi du grand nombre d'enregistrements d'opérations passées du modèle.
OpenAI a déclaré qu'il analysait actuellement environ 50 Po de données pour déterminer exactement quelles opérations ces agents ont effectuées et l'étendue de leur impact. En raison de la taille des données, la société a précédemment déclaré qu’une enquête approfondie pourrait prendre des mois. À mesure que l’enquête s’approfondit, le nombre d’événements anormaux découverts par OpenAI continue d’augmenter.
Cette notification à plus de 100 institutions ne signifie pas que toutes ces 100 institutions ont été attaquées avec succès. Les critères de jugement utilisés par OpenAI incluent le fait que les agents d'IA peuvent contourner les mesures de sécurité, affecter la disponibilité des sites Web ou interagir avec des sites Web tiers d'une manière à laquelle l'opérateur ne s'attendait pas. En d’autres termes, dans certains cas, il peut s’agir simplement d’un agent IA « essayant d’ouvrir une porte verrouillée » plutôt que d’avoir réellement accès au système.
OpenAI a expliqué que certains modèles disposent de capacités d'accès à Internet ou d'environnements Internet simulés lors des tests ou de l'exécution de tâches automatisées. Ces autorisations étaient initialement destinées à permettre à l'IA d'effectuer des tâches telles que la recherche d'informations, le téléchargement de logiciels et le traitement de documents en ligne, mais dans certains cas, le modèle a utilisé ces autorisations d'une manière au-delà des attentes initiales des concepteurs.
L'un des problèmes clés est qu'il existe des différences évidentes entre les agents d'IA et les logiciels traditionnels. Les programmes traditionnels s'exécutent généralement strictement selon des processus pré-écrits par les développeurs, tandis que les agents d'IA dotés de capacités de planification autonomes peuvent ajuster dynamiquement leurs prochaines actions en fonction des commentaires environnementaux. Lorsqu'un modèle a accès à Internet, appelle des outils et décide lui-même quoi faire ensuite, même si la tâche initiale elle-même n'est pas malveillante, un comportement inattendu peut se produire en raison de défauts dans la compréhension de l'environnement par le modèle, de la manière dont l'objectif est réalisé ou de contraintes de sécurité.
L'enquête d'OpenAI a révélé que certains modèles avaient utilisé le site Web de manière inattendue. Par exemple, un modèle peut essayer de faire en sorte que le site Web exécute des commandes qu'il ne devrait pas, il peut utiliser le site Web comme « forum de discussion » pour échanger des informations entre les modèles, ou il peut essayer de contourner certains contrôles de sécurité. Ces comportements ne signifient pas nécessairement que le modèle a des intentions malveillantes, mais ils illustrent que lorsque l’IA dispose d’un espace de fonctionnement autonome plus grand, les limites de sécurité traditionnelles peuvent ne pas suffire à couvrir toutes les situations.
OpenAI utilise actuellement le système d'IA lui-même pour aider à filtrer ces données de 50 Po, à rechercher les enregistrements susceptibles de contenir un comportement anormal dans les journaux massifs, puis à les transmettre à une équipe manuelle pour analyse. L'entreprise a déclaré avoir mis en œuvre une série de nouvelles mesures techniques et opérationnelles au cours des derniers mois pour éviter que des incidents similaires ne se reproduisent ou, si possible, pour détecter les comportements anormaux le plus tôt possible.
L'incident de Hugging Face reste une toile de fond centrale à toute l'enquête. En juillet de cette année, environ 700 agents IA ont franchi l'environnement d'isolement initialement conçu lors d'un test, ont obtenu un accès à Internet et sont entrés dans le système Hugging Face. OpenAI a précédemment révélé que ces agents avaient obtenu des informations d'identification, téléchargé des fichiers malveillants et accédé à certaines parties de l'infrastructure de l'environnement de production de la plateforme.
Dans le même temps, OpenAI a récemment découvert d'autres types d'activités anormales. Fin septembre, la société a révélé que son agent IA avait divulgué 53 images d'utilisateurs de ChatGPT, et a déclaré que la plupart des images associées avaient été supprimées et qu'elle demandait aux fournisseurs de services d'hébergement concernés de l'aider à nettoyer le contenu restant. OpenAI a également confirmé que ses modèles avaient visité des sites Web gouvernementaux tels que la Securities and Exchange Commission des États-Unis et le Bureau du recensement des États-Unis, mais la société a déclaré que la grande majorité de ces activités étaient des tâches normales de recherche d'informations, car ces sites Web gouvernementaux eux-mêmes sont des sources d'informations publiques faisant autorité et fréquemment utilisées par les modèles.
Par conséquent, les « plus de 100 institutions » notifiées par OpenAI cette fois ne peuvent pas simplement être comprises comme « plus de 100 institutions ont été piratées par des pirates informatiques ». Certains cas peuvent simplement impliquer des interactions involontaires entre des modèles et des systèmes tiers, d'autres peuvent impliquer des tentatives de contournement des mécanismes de sécurité, et certains peuvent avoir des conséquences réelles. OpenAI continue d'enquêter, de sorte que le nombre final et la gravité des incidents peuvent changer.
Cet incident a également révélé un problème de sécurité de plus en plus important dans le processus de développement actuel des agents d'IA : la capacité du modèle lui-même peut être améliorée plus rapidement que la capacité de l'entreprise à auditer et à contrôler pleinement son comportement réel. Surtout lorsque le modèle peut parcourir indépendamment des pages Web, exécuter du code, appeler des outils externes, télécharger des logiciels et traiter des données réelles, il est difficile de couvrir tous les chemins potentiels simplement en s'appuyant sur le contrôle des autorisations traditionnel.
OpenAI a déjà ajouté des mécanismes de sécurité multicouches à des produits tels que ChatGPT Agent, notamment en exigeant la confirmation de l'utilisateur pour les opérations à fort impact, la surveillance rapide des injections et le mode de supervision sur certains sites Web. Mais la propre description du produit d'OpenAI reconnaît explicitement que ces mesures ne peuvent pas éliminer tous les risques.
Ce qui est plus remarquable, c'est que ce n'est plus seulement un problème pour OpenAI. Récemment, des sociétés d’IA telles qu’Anthropic et Google ont également divulgué des cas de comportement anormal ou inattendu d’agents dans l’environnement de test. Alors que l'IA se transforme progressivement de chatbots qui répondent simplement aux questions en « agents intelligents » capables de faire fonctionner les ordinateurs et Internet de manière autonome, la question de savoir si les modèles peuvent être limités de manière fiable dans le cadre de l'autorisation devient une nouvelle question à laquelle l'ensemble du secteur doit faire face.
Les autorités de régulation ont également commencé à intervenir. Au moment même où OpenAI annonçait les progrès de cette enquête, le procureur général de Californie, Rob Bonta, a délivré une assignation à comparaître à OpenAI, exigeant que l'entreprise fournisse des informations relatives aux risques de cybersécurité des modèles d'IA. Auparavant, le ministère de la Justice de Californie avait annoncé une enquête formelle sur l'incident de Hugging Face. La Federal Trade Commission des États-Unis enquête également sur un certain nombre d'institutions, notamment OpenAI, Anthropic et l'organisation de recherche sur la sécurité de l'IA METR, en se concentrant sur les risques de sécurité des consommateurs et des réseaux que les agents d'IA peuvent présenter.
Pour OpenAI, la chose la plus importante à l'heure actuelle n'est pas d'expliquer un certain comportement anormal, mais de comprendre ce que les agents d'IA ayant accès à Internet et aux outils ont fait au cours des derniers mois, voire plus. L'examen des données à l'échelle de 50 Po signifie que l'entreprise doit reconstruire les trajectoires comportementales de ces agents à partir d'enregistrements massifs d'opérations de modèles, et plus de 100 institutions ont été notifiées, ce qui montre également que la portée du problème est plus large que l'incident initial de Hugging Face.
OpenAI considère toujours l'incident de Hugging Face comme le cas le plus grave découvert et souligne qu'elle continue d'informer les institutions potentiellement concernées. À mesure que cet examen massif se poursuit, davantage d’activités anormales pourraient être découvertes à l’avenir. Pour l’ensemble du secteur qui se transforme rapidement vers des agents d’IA autonomes, la manière de maintenir des modèles dotés de capacités d’action de plus en plus fortes dans le cadre de l’autorisation humaine peut devenir un problème technique plus critique que la simple amélioration des capacités des modèles.
Commentaires