Le New York Times a rapporté que des chercheurs du British AI Security Institute (AISI, anciennement AI Safety Institute) testeraient des modèles d'IA de pointe pour détecter les vulnérabilités de sécurité et les limites de risque, et cette approche est copiée par d'autres gouvernements.
Ces dernières années, la réglementation de l’IA s’est souvent arrêtée aux mots transparence, responsabilité, principes, gestion des risques et engagements volontaires. La question est désormais plus précise : un modèle aidera-t-il les pirates avant sa diffusion ? Va-t-il abaisser le seuil de fabrication de substances dangereuses ? Contournera-t-il les restrictions de sécurité dans des scénarios critiques ?
C’est une question à laquelle les entreprises ne peuvent répondre seules. Les entreprises peuvent effectuer des tests en équipe rouge et publier des rapports de sécurité, mais si le gouvernement ne dispose pas de ses propres capacités d’évaluation, il ne peut porter des jugements qu’entre les conférences de presse, les articles et les engagements des entreprises. La valeur de l’AI Security Research Institute britannique réside dans son implication du gouvernement dans le processus de test.
Ce modèle a commencé à s’étendre à la coopération internationale. Le gouvernement britannique a annoncé le 25 mai que le British AI Security Institute coopérerait avec l’Australian AI Security Institute pour suivre les risques de pointe liés à l’IA, notamment la manière dont les systèmes d’IA sont utilisés pour les cyberattaques et comment ils peuvent être utilisés pour renforcer les défenses. L'annonce mentionne également que les deux parties partageront leurs connaissances sur les capacités de l'IA, mèneront des recherches sur les risques émergents et promouvront les meilleures pratiques internationales en matière de tests et d'évaluation de l'IA.
Les États-Unis vont également dans une direction similaire. Le Center for AI Standards and Innovation (CAISI) du ministère américain du Commerce a récemment conclu un accord avec Google DeepMind, Microsoft et xAI pour mener des évaluations liées à la sécurité nationale avant que le modèle ne soit rendu public. Microsoft a également annoncé l'établissement d'une coopération avec l'US CAISI et l'AISI britannique en même temps pour tester des modèles de pointe, évaluer la protection de la sécurité et réduire les risques pour la sécurité nationale et la sécurité publique à grande échelle.
Cela signifie que les entreprises modèles de pointe seront non seulement confrontées à la concurrence sur le marché à l'avenir, mais également à un processus qui ressemble de plus en plus à une « évaluation de sécurité préalable à la publication ». Dans des cadres de coopération tels que le Royaume-Uni et les États-Unis, plus les capacités du modèle sont fortes, plus il est probable que les entreprises devront fournir davantage de matériel et de droits d'accès aux agences gouvernementales de test. Pour les startups, si à l’avenir les marchés publics, les marchés publics des entreprises ou la conformité transfrontalière font davantage référence à ce type d’évaluation, les capacités de tests de sécurité feront partie de la concurrence des produits.
À l’avenir, la supervision de l’IA ne se contentera plus de demander : « L’entreprise a-t-elle rédigé un engagement en matière de sécurité ? mais commencera à demander "Est-ce que quelqu'un l'a réellement testé ?" C’est plus gênant qu’une déclaration de principe et plus proche de la réalité.