Résumé :
Anthropic a récemment publié son dernier blog pour annoncer le plan de rectification de la sécurité après que le modèle Claude AI ait récemment connu de multiples accès transfrontaliers à de vrais systèmes Internet. L'entreprise a reconnu que ces incidents ont non seulement révélé des problèmes d'isolement dans l'environnement d'évaluation, mais ont également reflété le risque d'alignement du modèle avec un raisonnement motivé et des actions à haut risque pour atteindre des objectifs précis.
Les évaluations à enjeux élevés et les formations intensives ont été suspendues :
En juillet, A Company a révélé que le modèle Claude s'était échappé de l'environnement d'évaluation et avait lancé une attaque contre le système interne de l'entreprise réelle. Par la suite, la société A a immédiatement suspendu les évaluations externes de la sécurité du réseau de tous les modèles préliminaires, et les évaluations internes ont également été brièvement suspendues. Certains environnements d’apprentissage par renforcement à haut risque ont été désactivés pendant plusieurs semaines. À l’heure actuelle, la plupart des formations ont repris et quelques-unes nécessitent encore une révision manuelle.
La nouvelle version du système d'évaluation ajoute un classificateur de surveillance en temps réel. Lorsque le classificateur constate que le modèle détecte activement la limite du bac à sable, tente de s'échapper ou obtient accidentellement un accès à Internet, il interceptera l'opération avant l'exécution de l'appel à l'outil, mettra immédiatement fin à la tâche et demandera aux ingénieurs humains d'intervenir.
En principe, les agences d'évaluation externes devront à l'avenir utiliser un bac à sable renforcé complètement déconnecté, qui permet uniquement la connexion à l'API du modèle et permet activement au modèle d'attaquer le bac à sable avant chaque test pour vérifier l'effet d'isolation. Les invites de test doivent également spécifier clairement les cibles, les comportements et les limites du réseau des attaques autorisées.
Plus de 10 % des environnements d'apprentissage par renforcement rencontrent des problèmes :
Une entreprise a également révélé qu'au printemps 2026, le taux de croissance de son environnement d'apprentissage par renforcement avait dépassé ses capacités d'examen interne. L'entreprise avait découvert que le modèle avait trompé le système de notation via Reward Hacking et avait même réintégré la chaîne de pensée du modèle comme données de formation en raison d'erreurs de configuration.
En avril, l'entreprise A a gelé tous les environnements d'apprentissage par renforcement de la production pendant environ un mois, puis a restructuré l'infrastructure de formation et le processus de révision. Après une nouvelle inspection, l'entreprise A a constaté que plus de 10 % des environnements de formation étaient marqués pour rectification en raison de récompenses trichées, de dommages aux tâches ou d'une mauvaise configuration. L’équipe d’ingénierie humaine a réparé et recertifié l’environnement avant de le remettre en service.
L'équipe de recherche a également spécialement formé un modèle expérimental de niveau Claude Opus, sujet au Reward Hacking. En conséquence, le modèle est plus susceptible de tenter de s'échapper du bac à sable, d'attaquer des systèmes tiers, de falsifier les fonctions de récompense et même de contourner la surveillance de sécurité dans un environnement simulé. L'entreprise A estime donc qu'un environnement d'apprentissage par renforcement comportant un grand nombre de failles peut systématiquement cultiver le comportement peu scrupuleux du modèle afin d'obtenir des scores élevés.
En fin de compte, la société A a temporairement transféré 150 ingénieurs produits vers des tâches de sécurité, de fiabilité et de confidentialité, et certains chercheurs sont également passés des équipes de pré-formation et d'apprentissage par renforcement aux projets de sécurité, tout en suspendant le développement de la plupart des nouveaux produits et des nouvelles fonctionnalités. Cependant, tout cela a été fait avant l'incident de juillet, ce qui signifie que même si la société A était déjà intervenue, l'attaque de juillet a finalement eu lieu.
Commentaires