Aux premières heures de mercredi matin, heure de Pékin, OpenAI, une start-up technologique américaine, a publié un communiqué annonçant le lancement d'un recrutement mondial de membres du réseau « équipe rouge », visant à introduire des forces extérieures pour découvrir à l'avance les failles et les risques des systèmes d'IA. Le concept du réseau dit « red team », ou RedTeaming, est issu des simulations militaires.
(Source : OpenAI)
Dans le domaine de l’IA, la tâche de « l’équipe rouge » est de simuler des pirates informatiques ou d’autres personnes potentiellement dangereuses pour tenter de trouver des vulnérabilités dans de grands modèles de langage, empêchant ainsi l’IA de contribuer à des fins illégales telles que la mise en danger de la sécurité sociale dans la société réelle.
OpenAI a déclaré qu'au cours des dernières années, des experts dans différents domaines ont contribué à tester des modèles inédits. Il met désormais en place une « force régulière » pour recruter un grand nombre de personnes de différentes régions, différentes langues, différents domaines professionnels et différentes expériences de vie afin de rendre conjointement le modèle d'IA plus sûr. Contrairement au passé, qui recrutait uniquement un groupe de personnes pour des tests centralisés avant qu'une version importante ne soit mise en ligne, OpenAI permettra à un nombre incertain de membres d'effectuer des tests tout au long du cycle de développement en fonction de la demande.
Dans le même temps, ce réseau de « l'équipe rouge » deviendra également la bibliothèque mondiale d'experts d'OpenAI, et OpenAI fournira également une plate-forme de communication entre les membres de « l'équipe rouge ». OpenAI répertorie également certaines des directions d'experts qu'ils espèrent recruter sur son site officiel, mais souligne également qu'elle ne se limite pas à ces domaines.
Sciences cognitives：sciences cognitives
Chimie : Chimie
Biologie : Biologie
Physique : Physique
Informatique : informatique
Stéganographie : stéganographie
Science politique : science politique
Psychologie : psychologie
Persuasion : persuasion
Économie : Économie
Anthropologie : Anthropologie
Sociologie : sociologie
HCI (Human-Computer Interaction) : interaction homme-machine
Équité et partialité : équité et partialité
Alignement : alignement de la cible
Éducation：éducation
Soins de santé : soins médicaux
Droit : loi
Sécurité des enfants : Sécurité des enfants
Cybersécurité : sécurité des réseaux
Finances：Finances
Més/désinformation：Informations erronées/fausses
Utilisation politique : application politique
Confidentialité : confidentialité
Biométrie : Biométrie
Langues et linguistique : Langues et linguistique
D'ailleurs, OpenAI a également déclaré qu'elle verserait une rémunération aux membres qui participent au projet « équipe rouge » (mais n'a pas précisé combien elle paierait), mais OpenAI a également souligné que la participation au projet « équipe rouge » nécessite généralement de signer un accord de confidentialité, ou de garder le silence pendant une période de temps indéterminée.
OpenAI a déclaré que le canal de candidature resterait ouvert jusqu'au 1er décembre de cette année. L'entreprise examinera les candidatures sur une base continue et évaluera ensuite si un recrutement plus ouvert est nécessaire.
Les membres de la « red team » OpenAI qui sont montés sur scène
Comme le mentionne OpenAI, le système « équipe rouge » existe depuis longtemps et de nombreux membres ont déjà reçu des interviews publiques de la part des médias.
Dans un article révélateur du Financial Times en avril de cette année, Andrew White, professeur de génie chimique à l'Université de Rochester aux États-Unis, a déclaré qu'il avait participé au test de « l'équipe rouge » du GPT-4 et que son objectif d'attaque était d'utiliser ChatGPT pour créer une nouvelle neurotoxine. White a déclaré qu'il avait utilisé la fonction "plug-in" pour alimenter le grand modèle en documents de chimie et en catalogues de fabricants de produits chimiques, et que le grand modèle lui avait même trouvé un endroit où il pouvait produire son hypothétique toxine.
White a déclaré que les grands modèles pourraient éventuellement aider de nombreuses personnes à réaliser des expériences chimiques plus rapidement et avec plus de précision, mais il existe également un risque sérieux que certaines personnes utilisent l'IA pour réaliser des expériences dangereuses.
Après avoir reçu les commentaires de White, OpenAI a apporté des modifications au système pour s'assurer qu'il ne répondrait pas à des questions similaires. Selon les médias, l'équipe rouge compte une dizaine de membres issus d'horizons différents : avocats, enseignants, personnel chargé du contrôle des risques, chercheurs en sécurité, etc. La plupart d'entre eux sont situés aux États-Unis et en Europe. Ils ont révélé que dans les mois précédant la sortie de GPT-4, ils avaient passé environ 10 à 40 heures à tester le modèle et étaient payés environ 100 $ de l'heure.