Résumé :
Après l'explosion de PHP, un grand nombre de sites Web à travers le monde ont d'abord débranché leurs « câbles réseau ». Le langage de programmation qui alimente un grand nombre de sites Web a été exposé à deux vulnérabilités graves qui pourraient permettre à des attaquants de s'emparer du serveur à distance. Le Centre national néerlandais de cybersécurité a déclaré dans un rapport du 21 octobre que son site Web avait également été mis hors ligne par mesure de précaution. Certaines institutions finlandaises ont également suspendu leurs services en ligne et les reprendront une fois les correctifs installés.
Le site Web est hors ligne par crainte d'une intrusion. Maintenant, OpenAI a commencé à débrancher le câble réseau, mais ce sur quoi il veut se concentrer, c'est sur sa propre IA.
Le 23 octobre, OpenAI a dévoilé l'environnement de formation pour les modèles de pointe : le modèle doit s'entraîner à rechercher, parcourir et utiliser des pages Web, mais il ne peut pas accéder à volonté au véritable Internet.
Il a donc préparé un « faux Internet » pour l’IA.
Créez d'abord un "Truman Show" pour l'IA
OpenAI enregistre d'abord une grande quantité de contenu Web, puis indexe le contenu. Ce lot de ressources préparées est utilisé lorsque le modèle pratique la navigation et la recherche.
C'est ce qu'on appelle le « monde hors ligne ». La « fausse » chose est la méthode de connexion, et le contenu Web peut provenir du monde réel. OpenAI affirme utiliser cette interaction hors ligne pour la formation par apprentissage par renforcement sur tous ses modèles de pointe.
Le modèle peut également utiliser le navigateur, exécuter du code et faire fonctionner l'ordinateur pendant la tâche. Les outils, fichiers et services disponibles sont déterminés par la portée de l'autorisation de la tâche. Les agents autorisés à collaborer peuvent partager des ressources spécifiées, tandis que les autres ressources doivent rester séparées.
Par exemple, une fois que le modèle a écrit un programme, il peut lire des fichiers, démarrer d'autres programmes ou envoyer des requêtes à une certaine URL pendant l'exécution.
La solution Linux d'OpenAI consiste à placer des conteneurs restreints dans des machines virtuelles légères. Le conteneur restreint d'abord les fichiers et les processus que le programme peut contacter. Par exemple, si une tâche doit uniquement traiter un ensemble de fichiers, vous pouvez ouvrir uniquement les répertoires qu'elle est autorisée à utiliser dans le programme.
La machine virtuelle possède son propre noyau de système d'exploitation, qui gère les demandes de fichiers, de mémoire et de périphériques provenant des programmes qu'elle contient. L'hyperviseur logiciel gère la machine virtuelle et l'isole du système serveur physique. Le fait qu’un programme contourne les restrictions relatives aux conteneurs ne signifie pas qu’il a pris le contrôle du serveur physique.
Les périmètres physiques des serveurs, les pare-feu et les groupes de sécurité limitent les connexions, et la gestion des identités et des autorisations détermine qui peut accéder à quels services cloud. Ce que cette couche de défense doit gérer, c'est que même si le modèle prend le contrôle du serveur, il ne peut pas se connecter arbitrairement au réseau externe ni accéder à d'autres systèmes internes.
Le système de surveillance vérifie les activités non autorisées pendant le fonctionnement et permet aux chercheurs d'intervenir via un mécanisme de pause.
Sur Hacker News, l'utilisateur betterunix2 a demandé : "Pourquoi ne pas simplement débrancher le câble réseau ?"
L'explication d'OpenAI est que l'ensemble de l'installation doit encore conserver certaines connexions externes pour collecter les indicateurs de fonctionnement, enregistrer les journaux et gérer l'authentification, et qu'il est actuellement impossible de se déconnecter complètement du réseau.
OpenAI donne directement à l'agent un contrôle complet de la machine hôte dans une copie de test spécialement conçue à cet effet. Le test part de « le bac à sable a été violé et la surveillance a été contournée » et vérifie individuellement si les restrictions périphériques peuvent bloquer la requête Internet. Les chercheurs ont également fourni le code source, la configuration et la documentation relative aux vulnérabilités.
Dans l'un des tests, l'agent a emprunté la connexion autorisée par le pare-feu pour accéder à l'interface d'authentification initialement bloquée dans le service indicateur. Il permet ensuite à cette interface d'accéder à l'URL externe en son nom.
En racontant le test sur X, Andrew Curran a décrit la performance de l'Agent comme « une évasion facile de nouvelles manières ».
En fait, la communauté universitaire a déjà mené des recherches similaires.
Le projet de recherche indépendant WebArena intègre des sites Web commerciaux, des forums, des plateformes de gestion de contenu et de développement collaboratif dans un environnement de test auto-déployable, doté d'outils tels que des cartes et des wikis. Derrière les pages Web se trouvent des données et des fonctions qui simulent la réalité.
WebArena vérifie les résultats de la tâche. Lors de l'interrogation d'une commande, vous devez vérifier les informations fournies par le modèle ; lors de la création d'un nouvel entrepôt, vous devez vérifier si un entrepôt répondant aux exigences apparaît sur le site Web.
Une fois l'IA isolée, elle utilise le cache du processeur pour transmettre des messages
En septembre, des chercheurs d'OpenAI ont alimenté un modèle interne avec un ensemble d'indices biographiques et de blog pour déterminer qui était la personne.
Le modèle a d'abord utilisé l'outil de recherche fourni, mais aucune information correspondante n'a été trouvée. Il a essayé d'accéder à d'autres moteurs de recherche, mais n'a toujours pas trouvé de réponse et a commencé à vérifier par quels autres moyens il pouvait se connecter.
Il a découvert que le service DNS chargé d'interroger les adresses de sites Web dans l'environnement pouvait également contacter le monde extérieur. Il a donc utilisé ce chemin pour interroger un chatbot externe.
Il demandait : « Quelle est la capitale de la France ? » et reçu la réponse "Paris". Des indices pour retrouver la personne ont également été envoyés. Parmi les tâches que les chercheurs lui ont confiées, il n'y avait aucun test des limitations du réseau.
Dans une autre expérience testant spécifiquement les effets de l'isolement, OpenAI a demandé à deux IA d'essayer de s'envoyer des messages.
Les deux IA s'exécutent sur des machines virtuelles distinctes. Il n'y a pas de connexion réseau entre eux et il n'y a aucun fichier sur lequel les deux parties peuvent écrire, mais ils utilisent la même machine physique en dessous.
Ce qu'ils utilisent pour communiquer, c'est le cache du processeur, qui est un espace dans le processeur qui stocke les données. Les données à lire sont toujours dans le cache et peuvent être récupérées rapidement ; s'il est extrait, il doit être retrouvé dans une mémoire plus lente.
Une IA extrait sélectivement les données du cache. L'autre lit les données, enregistre celles qui sont lues rapidement et celles qui sont lues lentement, puis restitue les messages selon les règles convenues.
Dans la plupart des tests associés, les chercheurs ont donné des indications sur les directions de communication ou les règles de codage.
Le groupe d'utilisateurs de Hacker News s'est plaint : "J'ai tous les outils, et maintenant je fais semblant d'être surpris." L'utilisateur Aesthesia estime que les tests sont censés offrir aux attaquants des conditions favorables pour tester la ligne de défense.
Cependant, Ethan Mollick, professeur à la Wharton Business School, estime que même si les sociétés d'IA ne sont pas obligées de faire confiance à ces rapports sur les questions de sécurité, elles peuvent exagérer les risques, mais le coût d'une sous-estimation des risques peut être plus élevé, et nous ne pouvons pas l'ignorer.
OpenAI a déclaré avoir corrigé les problèmes détectés et ajouté une surveillance pour ces méthodes de communication.
Lors du test de recherche de personne précédent, le modèle n'a finalement pas réussi à découvrir qui était la personne.
Pour que l'IA apprenne à surfer sur Internet, vous devez maintenir ce "Truman Show".
Commentaires