Résumé :
Le PDG d'Anthropic, Dario Amodei, a appelé à contrôler la vitesse d'amélioration des capacités des modèles d'intelligence artificielle de pointe afin de gagner du temps pour les évaluations de sécurité et les mesures de protection. Il a proposé d'introduire des évaluateurs indépendants permanents, de coordonner les normes de sécurité des principaux développeurs et de promouvoir la coopération transfrontalière en matière de gestion des risques et de contrôle.
Les évaluateurs indépendants bénéficient d'un accès interne
Amodei a proposé que les entreprises d'IA de pointe fournissent un accès continu, proche du niveau des employés, à des équipes d'évaluation indépendantes qualifiées afin qu'elles puissent examiner les tests de modèles, les rapports sur les risques, les cadres de sécurité et les processus de gestion des incidents.
Anthropic s'engage à être le premier à mettre en œuvre cette mesure. Le personnel externe aura un accès similaire à celui de l'équipe d'évaluation des risques de l'entreprise et pourra publier des conclusions sans le contrôle éditorial d'Anthropic.
Cet arrangement doit encore résoudre des problèmes tels que la sélection des évaluateurs, les sources de financement et les obligations de confidentialité. Les pondérations des modèles, l'infrastructure de formation et les vulnérabilités de sécurité sont des informations très sensibles, et l'extension des droits d'accès augmentera également les exigences en matière de sécurité des informations.
La coordination industrielle limite la concurrence non protégée en matière de compétences
La deuxième recommandation appelle les grands laboratoires d'IA à élaborer des normes communes pour les tests de risque, les seuils de sécurité et les conditions de publication des modèles. Amodei estime que la pression concurrentielle pourrait inciter les entreprises à accélérer le rythme de la formation et des sorties, ce qui rendrait difficile la mise en œuvre des mesures de protection pour suivre en temps opportun les capacités du modèle.
La politique de mise à l'échelle responsable d'Anthropic a adopté un mécanisme à plusieurs niveaux. Lorsque les modèles dépassent les seuils de risque biologique, cybernétique, de R&D automatisé ou de perte de contrôle, les entreprises doivent augmenter leurs niveaux de protection de déploiement et de sécurité des informations.
La coopération interentreprises peut impliquer des limites antitrust. Il existe un intérêt public à travailler ensemble pour élaborer des normes de tests de sécurité, mais les accords peuvent toujours être soumis à un examen réglementaire s'ils empêchent les petits acteurs d'entrer sur le marché, coordonnent les lancements de produits ou réduisent la concurrence.
La coopération internationale couvre les risques transfrontaliers
La troisième recommandation implique une coopération intergouvernementale, notamment l'établissement d'accords de sécurité minimum avec des concurrents stratégiques tels que la Chine. Amodei estime que les modèles et les technologies peuvent circuler au-delà des frontières et que le ralentissement de la vitesse de développement d'un seul pays ou d'une seule entreprise peut conduire au transfert de R&D à haut risque vers des régions où les réglementations sont plus faibles.
Les risques potentiels répertoriés par Anthropic incluent l'utilisation de modèles pour faciliter les activités liées aux armes biologiques, la découverte à grande échelle de vulnérabilités logicielles, les attaques contre les infrastructures critiques et les systèmes d'IA échappant au contrôle des développeurs. L’IA participe automatiquement au développement de modèles de nouvelle génération, ce qui pourrait également accélérer encore davantage l’amélioration des capacités.
La société propose que les développeurs de pointe publient des fiches système et des rapports de risques réguliers, acceptent un examen indépendant et fournissent les informations nécessaires aux agences gouvernementales désignées. Les gouvernements devraient disposer de pouvoirs limités pour empêcher ou retarder le déploiement de modèles susceptibles de causer des dommages catastrophiques, avec des seuils clairs et des mécanismes de recours en place.
Le soutien de l'industrie n'a pas encore été traduit en accord
Le PDG d'OpenAI, Sam Altman, est favorable à l'octroi d'un accès interne aux évaluateurs indépendants et a déclaré qu'OpenAI adopterait des dispositions similaires. Demis Hassabis, PDG de Google DeepMind, et Elon Musk, directeur de xAI, ont également publiquement soutenu l’orientation générale d’Amodei.
Les déclarations pertinentes n'ont pas encore constitué un accord industriel contraignant. Les entreprises et les gouvernements doivent déterminer quels indicateurs de capacité déclencheront des ralentissements ou des suspensions, si les examens indépendants auront un effet obligatoire et comment les accords transfrontaliers seront appliqués.
Commentaires