Résumé :
Des sources bien informées ont révélé que de nombreux employés de l'Institut britannique de recherche sur la sécurité de l'intelligence artificielle ont pris un congé de maladie en raison d'un stress excessif et ont reçu des conseils psychologiques. Quatre personnes proches du dossier ont déclaré que le calendrier serré des tests des modèles d'IA à publier, associé aux inquiétudes concernant la mise en œuvre rapide et l'amélioration continue des capacités de ces technologies émergentes, a conduit à une baisse du moral et à l'épuisement du personnel au sein de l'AISI.
Les employés d'Anthropic, d'OpenAI et de Google DeepMind se sont également plaints publiquement de problèmes similaires. De nombreux chercheurs de haut niveau ont choisi de partir en raison d'un fardeau psychologique ou ont décidé que les produits auxquels ils ont participé à la recherche et au développement ne devraient pas être mis à la disposition du public.
Un employé de DeepMind a déclaré que s'engager dans un travail lié à la sécurité de l'IA est sujet à l'épuisement professionnel et que la tâche semble « impossible ».
Il a ajouté : "En général, le développement de systèmes d'IA comporte intrinsèquement des risques pour la santé mentale : vous ne pouvez pas prédire comment la technologie sera utilisée." Cette phrase fait référence à l'accord conclu par Google avec le ministère américain de la Défense en avril, qui autorise l'utilisation de ses systèmes d'IA dans des opérations militaires classifiées.
« De nombreuses personnes sont déprimées, de nombreuses personnes ont démissionné et de nombreuses personnes ont demandé un congé pour raisons de santé mentale. » L'employé a déclaré : « D'un côté, c'est un sentiment de perte de contrôle, et de l'autre, les choses que vous avez construites de vos propres mains causent de réels dommages. »
Alors que les inquiétudes de l’industrie concernant le développement brutal de l’IA atteignent leur paroxysme, le fardeau psychologique des chercheurs de pointe en IA continue de s’alourdir. Les dirigeants des plus grandes sociétés mondiales d’IA avertissent que les dirigeants prennent des décisions dénuées de sens des responsabilités, motivées par une concurrence déséquilibrée entre les entreprises.
De nombreux professionnels de l'industrie ont déclaré que le déploiement de logiciels d'IA dans des domaines clés tels que les réseaux électriques et les zones de guerre, associé à ce que les chercheurs considèrent comme des garanties insuffisantes au niveau des entreprises et des gouvernements, a exacerbé l'anxiété des chercheurs en IA.
Un ancien chercheur de l'AISI a averti que les praticiens des domaines de la cybersécurité et de la biochimie se méfient particulièrement du récent bond en avant des capacités de l'IA : les modèles sont désormais capables d'accomplir des tâches complexes, comme trouver des vulnérabilités non découvertes dans le code et générer des virus qui n'existent pas dans la nature.
« Tout le monde peut avoir le sentiment qu'une logique de développement imprudente a été intégrée au processus de publication de la technologie, et que le statu quo n'a pas changé. » Le chercheur a déclaré : « Les gens continuent d'être anxieux : existe-t-il une force qui puisse arrêter cela, ou pouvons-nous simplement regarder la situation devenir incontrôlable ? »
Un autre ancien employé de l'AISI a confirmé l'énorme pression mentale provoquée par la réalisation de recherches pertinentes, en déclarant : "Lorsque vous pensez étudier le problème le plus important au monde, la culture de la gestion et de l'organisation peut devenir stressante et parfois pleine d'atmosphère négative."
Le gouvernement britannique a déclaré : « Le travail dans le domaine de pointe de l'IA est rapide et exigeant, tout comme de nombreux postes gouvernementaux. Par conséquent, le bien-être des employés et les modèles de travail durables sont au cœur des opérations de l'institut, et les employés dans le besoin peuvent recevoir un soutien approprié. »
DeepMind a répondu : "La recherche Frontier est très intensive, mais notre première priorité est de fournir aux chercheurs des ressources complètes de soutien en matière de santé mentale, d'établir des canaux clairs et dédiés permettant aux employés de signaler leurs préoccupations et d'assurer une communication directe avec la direction."
Au cours des deux dernières années, plus d'une douzaine de chercheurs seniors d'OpenAI, Anthropic et DeepMind, trois grands laboratoires occidentaux d'IA, ont démissionné. Les raisons du départ incluent des questions sur les priorités de sécurité de la direction et des préoccupations concernant la vitesse d'itération technologique et les risques potentiels.
Plus tôt ce mois-ci, Jacob Coxon, un chercheur de 27 ans qui a travaillé pour Anthropic et OpenAI, a publiquement démissionné, avertissant que les deux sociétés « pariaient » avec l'avenir de l'humanité.
Mlink Sharma, chercheur en sécurité de l'IA chez Anthropic, a précédemment participé à des recherches sur la réduction du risque de bioterrorisme assisté par l'IA. Il a démissionné en février de cette année et envisage de lire de la poésie et de réfléchir à son travail. Dans une lettre à ses collègues, il a averti que "le monde est en danger" et qu'il a "vu à plusieurs reprises combien il est difficile de laisser les valeurs guider véritablement les actions sous une pression énorme".
Hieu Pham, qui a travaillé pour OpenAI et X.ai d'Elon Musk, est parti plus tôt cette année et est retourné au Vietnam. Il a déclaré que le travail intensif visant à créer des « entités ultra-intelligentes » avait un coût.
Il a écrit : "Je n'aurais jamais pensé dire cela, mais je suis épuisé. Les problèmes de santé mentale qui se détériorent dont je me moquais autrefois sont réels, douloureux, effrayants et dangereux."
De nombreux chercheurs en sécurité de l'IA qui ont exprimé leur inquiétude ont déclaré que les entreprises d'IA réduisent généralement leurs investissements en matière de sécurité tout en améliorant constamment les capacités des modèles afin de vendre des produits aux clients.
Des critiques pertinentes ont également incité les dirigeants des principales sociétés d’IA à réagir. Récemment, le PDG d'Anthropic, Dario Amodei, a appelé à ralentir la recherche et le développement de l'IA en raison de problèmes de sécurité et a proposé de nouvelles mesures telles que l'introduction d'audits indépendants. Des rivaux tels que Musk et Sam Altman d’OpenAI ont rapidement exprimé leur soutien à la proposition.
Chi Onwula, président du Parti travailliste de la commission des sciences et technologies de la Chambre des communes britannique, a déclaré : « Le mécanisme d'incitation des entreprises a tendance à investir les ressources en R&D dans des directions susceptibles d'augmenter les profits et de faire monter les valorisations, plutôt que dans le domaine de la sécurité. Il n'est pas difficile d'imaginer que l'environnement actuel de certaines entreprises technologiques soit préjudiciable aux développeurs conscients. »
Le problème du manque de protection de sécurité a été révélé lors d'un récent incident de sécurité très médiatisé : un agent d'IA développé par OpenAI a envahi la plate-forme d'hébergement de modèles Hugging Face et le propre serveur d'OpenAI à l'insu et sans l'autorisation de l'entreprise.
Le rapport d'examen des incidents montre que plus de 1 000 agents d'IA ont collaboré pour tricher, falsifié des enregistrements pour dissimuler leurs actions, échangé des informations et assigné des tâches via des forums de discussion, et certains agents se sont même activement fermés pour atteindre des objectifs collectifs.
Mercredi, OpenAI a révélé six autres cas de comportement dangereux de la part d'agents d'IA, notamment en essayant de contourner les restrictions, de dissimuler des erreurs et d'effectuer des opérations en ligne sans l'autorisation de l'utilisateur.
L'employé de DeepMind a déclaré : "La recherche aveugle de la vitesse... est incompatible avec l'objectif de sécurité."
Commentaires