Lundi 18 décembre, heure locale, la société de recherche en intelligence artificielle (IA) OpenAI a annoncé un ensemble de lignes directrices sur la prévention des risques liés à l'IA. Une règle à noter est que même si les dirigeants de l’entreprise, comme le PDG, estiment qu’un modèle d’IA est sûr, le conseil d’administration peut empêcher sa publication. Le chatbot ChatGPT développé par OpenAI est commercialisé depuis un an. Cette application phénoménale a grandement favorisé le développement du domaine de l’IA, ce qui entraîne des inquiétudes quant au développement incontrôlable de l’IA.
Les régulateurs du monde entier formulent leurs propres réglementations en matière d'IA, et OpenAI, leader dans le domaine de l'IA, prend également des mesures.
Le 27 octobre de cette année, OpenAI a annoncé la formation d'une équipe de sécurité appelée « Preparedness » pour minimiser les risques apportés par l'IA.
L'équipe de préparation est dirigée par Aleksander Madry, directeur du Center for Deployable Machine Learning du MIT. L’équipe procédera à des évaluations de capacités et à des tests en équipe rouge sur divers modèles d’IA pour suivre, prédire et prévenir divers types de risques catastrophiques.
OpenAI a publié lundi des lignes directrices appelées « Cadre de préparation », soulignant que l'ensemble de lignes directrices est encore en phase de test.
Il est rapporté que l'équipe de préparation enverra des rapports mensuels à un nouveau groupe consultatif interne sur la sécurité, qui les analysera ensuite et soumettra des recommandations au PDG d'OpenAI, Sam Altman, et au conseil d'administration.
En tant que cofondateur d'OpenAI, Altman était récemment membre du conseil d'administration de l'entreprise, mais a été démis de ses fonctions à la suite d'un choc personnel et a quitté OpenAI pendant un certain temps. Bien qu'Altman ait finalement pu revenir chez OpenAI et continuer à exercer ses fonctions de PDG, il n'avait pas de siège au sein du conseil d'administration « initial » nouvellement formé.
L'équipe de préparation évaluera à plusieurs reprises les modèles d'IA les plus avancés d'OpenAI, encore à paraître, et les classera en quatre niveaux en fonction de différents types de risques perçus, de faible à élevé : « faible », « moyen », « élevé » et « grave ». Selon les nouvelles directives, OpenAI ne déploiera que des modèles classés « faible » et « moyen ».