Résumé :
Anthropic a donné à des évaluateurs externes un accès quasi-interne au niveau des employés pour évaluer les risques de son grand modèle. Cette décision répond à la promesse de l'entreprise de renforcer davantage les mécanismes de protection de la sécurité en réponse aux préoccupations externes selon lesquelles la technologie de l'IA pourrait devenir catastrophiquement incontrôlable.
METR, une organisation à but non lucratif, a coopéré avec de grands laboratoires d'IA tels qu'OpenAI, Anthropic, Google et Meta. Désormais, l'équipe de METR est stationnée dans le bureau du développeur Claude et a accès à son équipement matériel et à ses systèmes internes.
Le monde extérieur est de plus en plus préoccupé par les risques que des systèmes d'IA plus performants peuvent faire peser sur l'économie, la sécurité des réseaux et même sur l'humanité tout entière. Laisser des agences d’évaluation tierces assumer de plus grandes responsabilités est l’une des principales mesures de mise en œuvre proposées par les grands laboratoires d’IA.
En septembre de cette année, le PDG d'Anthropic, Dario Amodei, a proposé un plan visant à envoyer des auditeurs externes au laboratoire principal d'IA, un projet rarement soutenu par deux rivaux majeurs, Sam Altman (OpenAI) et Elon Musk (SpaceX).
L'annonce de jeudi est la première étape dans la mise en œuvre de ces engagements. Altman a déclaré que la proposition d'Amoday était réalisable, mais OpenAI n'a pas encore prévu d'introduire des évaluateurs externes.
Anthropic a déclaré jeudi : "À mesure que les capacités des modèles continuent d'augmenter, nous avons besoin d'une meilleure protection de la sécurité et d'évaluations des risques plus difficiles. Nous espérons que nos décisions pourront accepter la supervision publique, mais toutes les informations liées au travail de sécurité ne peuvent pas être divulguées au monde extérieur."
Les critiques du projet d'Anthropic visant à introduire des évaluateurs externes estiment que ce mécanisme pourrait créer des conflits d'intérêts et utilisent les maux passés du secteur comptable comme exemple pour préconiser l'introduction d'une surveillance gouvernementale plus stricte.
Anthropic a fait valoir que la divulgation de toutes les informations pourrait être utilisée par des acteurs ou des concurrents malveillants ; il ajoute également que le modèle de travail de ce groupe d'évaluateurs est similaire à celui de la supervision bancaire : les agences de régulation envoient des évaluateurs permanents travailler au sein des grandes banques.
La société a déclaré : "Si les opérations risquées d'une banque menacent les intérêts publics, les tiers doivent être en mesure de détecter à l'avance les dangers cachés."
Anthropic est également sous pression pour assurer aux investisseurs que les problèmes liés à la sécurité n'affecteront pas son introduction en bourse prévue cette année, la société étant estimée à plus de 2 000 milliards de dollars. Cette semaine, les documents de présentation aux investisseurs de la société ont consacré beaucoup d’espace à l’introduction de ses mesures de contrôle de sécurité.
METR a déjà participé à l'enquête sur l'intrusion incontrôlable du modèle OpenAI dans Hugging Face, a examiné des milliers de journaux et a équipé des ordinateurs portables d'entreprise pour effectuer le travail.
Actuellement, Anthropic a accepté six membres du personnel de METR, leur fournissant du matériel d'entreprise et un espace de bureau, et leur donnant accès à des outils et systèmes internes à peu près au même niveau que l'équipe interne d'évaluation des risques de l'entreprise.
Le laboratoire d'IA a déclaré qu'il encourage les employés à partager des informations avec les évaluateurs comme ils le feraient avec des collègues du service interne des risques.
Anthropic ne paiera pas de frais au METR pour cette coopération. L'institution de recherche n'accepte pas les dons des entreprises d'IA et de leurs employés. Les fonds proviennent de dons de particuliers, d’organisations de protection sociale et d’agences gouvernementales telles que le British Artificial Intelligence Safety Institute.
Les évaluateurs diffuseront le rapport d'analyse au monde extérieur, et Anthropic n'a pas le droit de s'opposer à la publication du rapport. Mais les entreprises peuvent demander aux évaluateurs de supprimer certaines catégories d’informations, telles que les données des clients, le contenu protégé par le secret professionnel de l’avocat et les détails sur l’architecture du modèle.
Anthropic continue également de coopérer avec Accenture. Les deux parties ont annoncé le mois dernier qu'elles sont devenues partenaires en matière de tests de sécurité, chacune s'engageant à investir au moins 1 milliard de dollars pour construire un nouveau système de protection de la sécurité. Il existe également un organisme de test tiers, SecureBio, qui examine spécifiquement les risques liés aux armes chimiques et biologiques.
Anthropic a déclaré : "Nous envoyons volontairement des évaluateurs externes et pensons que toutes les entreprises de pointe en matière d'IA devraient adopter la même approche."
Commentaires