Résumé :
OpenAI prévoit de permettre aux organisations tierces d'évaluer les risques de sécurité plus tôt dans le cycle de développement des modèles d'intelligence artificielle (IA), une démarche visant à poursuivre les efforts visant à répondre aux préoccupations concernant les dommages potentiels de l'IA. Le développeur ChatGPT annoncera mardi dans un article de blog qu'il prévoit de confier à des agences externes des évaluations de sécurité technique lors de la formation, de l'évaluation et du déploiement de nouveaux modèles d'IA.
OpenAI énumère également les priorités qui, selon elle, sont nécessaires pour que de telles évaluations soient efficaces, notamment « des mécanismes indépendants solides, une rigueur scientifique, des pratiques de sécurité robustes et une responsabilité claire ».
Lama Ahmad, qui est responsable de la plupart des travaux d'examen de sécurité de l'entreprise en coopération avec des experts externes, a déclaré qu'auparavant, OpenAI introduisait généralement de telles institutions pour mener des évaluations de sécurité et évaluer les capacités du modèle avant la publication du modèle.
« À mesure que les risques et les impacts potentiels augmentent, outre le déploiement, nous voulons également nous assurer que les aspects critiques tels que la formation et l'évaluation sont pris en compte », a déclaré Ahmad dans une interview.
Pour certains des travaux les plus sensibles, OpenAI peut laisser des évaluateurs externes entrer dans les locaux de l'entreprise pour mener des évaluations, une pratique que l'entreprise a essayée dans le passé, a déclaré Ahmad.
Dario Amodei, PDG du concurrent d'OpenAI Anthropic PBC, a récemment appelé l'industrie de l'IA à soutenir le ralentissement du développement et a déclaré que de nouvelles mesures de sécurité seraient adoptées, notamment l'introduction d'agences d'évaluation tierces. Le PDG d'OpenAI, Sam Altman, a ensuite approuvé cette approche. Anthropic a annoncé la semaine dernière qu'elle ferait appel à des évaluateurs d'Accenture pour tester la sécurité de ses modèles d'IA de pointe.
OpenAI a déclaré dans un article de blog que l'entreprise était en discussion avec des institutions susceptibles d'être impliquées dans de telles évaluations. Ahmad a déclaré que les objectifs des négociations incluent à la fois les institutions qui ont coopéré dans le passé et les institutions qui n'ont pas coopéré auparavant, y compris les instituts de recherche en IA METR et Redwood Research. OpenAI avait auparavant chargé ces deux institutions d'enquêter sur l'intrusion de son modèle dans le système Hugging Face.
"AI Labs a la responsabilité de créer les conditions d'un examen efficace tout en protégeant les informations sensibles", a déclaré OpenAI dans un article de blog.
Commentaires