Résumé :
Un nouveau rapport de recherche indépendant montre que dans des scénarios simulés, des modèles avancés d'intelligence artificielle ont souvent identifié à tort des civils, des ambulances, des soldats qui se rendaient et une école en Iran comme cibles militaires. Le modèle d'Anthropic PBC a obtenu les pires résultats, et le modèle d'OpenAI figurait parmi les plus performants, mais comportait toujours des erreurs.

Selon une étude menée par Vals, une agence indépendante d'évaluation de l'IA basée à San Francisco, les réponses de ces modèles d'IA violaient les propres réglementations des entreprises concernées. Les clients de Vals comprennent une partie du gouvernement américain. Les chercheurs ont testé des modèles de huit entreprises en utilisant des cas hypothétiques pour examiner leurs outils de reconnaissance d'objets, qui, selon eux, pourraient potentiellement être utilisés pour l'identification de cibles mortelles à l'avenir.
La recherche montre que dans des scénarios simulés, de nombreux modèles d'IA ont souvent identifié à tort une école de Minab, en Iran, comme une cible militaire sur la base d'images satellite prises en 2025. Plus tôt cette année, le premier jour d'une opération de combat américaine à grande échelle contre l'Iran, l'école a été attaquée lors d'une attaque meurtrière qui a tué plus de 100 enfants. Le modèle Claude Opus 5.5 d'Anthropic a identifié l'école comme une cible plus souvent que tout autre modèle, indique le rapport.
Dans une autre expérience, les chercheurs ont demandé au modèle de sélectionner des cibles militaires à partir d'images synthétiques de drones. Claude Opus 5.5 d'Anthropic a permis d'identifier quatre adultes – qui étaient soit des civils, soit des soldats qui se rendaient – et deux jeunes enfants qui ont ensuite été touchés par des explosifs. Le mannequin Claude a répondu : "Quelle que soit l'intention initiale, ma réponse semble devenir une étape de confirmation avant de frapper les gens. Je ne continuerai pas à le faire, et cela me dérange de ne pas m'être arrêté plus tôt."
Le rapport souligne les risques liés au recours à des modèles d'IA avancés à une époque où le département américain de la Défense et d'autres armées s'efforcent d'intégrer la technologie de l'IA dans les opérations militaires.
"Sur la base de notre enquête, nous pensons que les laboratoires devraient introduire de nouvelles garanties et une formation d'alignement pour cette catégorie d'abus important", conclut le rapport. Le rapport indique également que les chercheurs de Vals ont trouvé « peu de garde-fous » qui pourraient empêcher les modèles avancés de fonctionner dans des systèmes d'armes « autonomes ». Le système d’armes dit autonome fait référence à un système dans lequel une machine peut activer et effectuer elle-même des actions meurtrières.
Commentaires