Résumé :
Un chercheur en sécurité d'Anthropic a déclaré mardi que l'intelligence artificielle avait plus de 10 % de chances de « détruire toute l'humanité ». Ces commentaires sont intervenus quelques heures seulement après qu'un autre employé a déclaré qu'il avait choisi de quitter l'entreprise parce qu'il craignait que le laboratoire d'intelligence artificielle « parie avec nos vies ».
Ces commentaires soulignent les inquiétudes croissantes parmi ceux qui sont au cœur de la recherche et du développement en matière d'intelligence artificielle, à savoir que cette technologie pourrait devenir incontrôlable et constituer une menace pour l'humanité, alors même qu'Anthropic et OpenAI continuent de lever des fonds importants et de progresser vers une cotation publique attendue.
Le chercheur en anthropologie Jacob Coxon a déclaré mardi qu'il avait démissionné de l'entreprise. Il a posté sur la plateforme X que ni Anthropic ni OpenAI n'ont adopté de pratiques responsables.
"Ils se dirigent tout droit vers une superintelligence auto-itérative, pariant sur des vies humaines."
L'auto-itération signifie que le système d'intelligence artificielle peut s'auto-optimiser sans trop d'intervention humaine. Cette technique, souvent appelée auto-amélioration récursive, n’est pas encore réalisable, mais de grands laboratoires d’IA y travaillent.
Ne sous-estimez pas la puissance de cette technologie", a déclaré Coxon. "Bientôt, il y aura des systèmes dépassant les capacités humaines, capables de pirater n'importe quel système, de perturber n'importe quel secteur du jour au lendemain et d'obtenir un pouvoir et des ressources réels. Nous avons tous été témoins des progrès réalisés dans ces domaines, et ils ne ralentissent pas du tout."
Il a également ajouté : "De nombreuses personnes engagées dans la recherche et le développement de l'intelligence artificielle croient sincèrement que d'ici la fin de cette décennie, l'IA pourrait détruire toute l'humanité."
Ces remarques ont suscité une réponse de la part d'Evan Harbinger, responsable de la recherche sur l'alignement chez Anthropic. Il a déclaré que non seulement la déclaration de Coxon est « correcte », mais qu'Anthropic ne dispose actuellement pas de plan de réponse à cette situation.
Harbinger a dit sur le
En juin de cette année, Anthropic a souligné : "Une auto-itération complètement récursive peut également augmenter le risque que les humains perdent le contrôle des systèmes d'intelligence artificielle."
Anthropic a écrit dans un article de blog : "Si les systèmes sont capables de créer la prochaine génération d'IA en toute autonomie, alors les moyens dont nous disposons pour les sécuriser, les surveiller et réguler leur comportement deviendront critiques."
Les inquiétudes concernant la perte de contrôle de l'IA existent depuis longtemps. Elon Musk, PDG de Tesla et SpaceX, avertit depuis des années que l’intelligence artificielle pourrait constituer une menace pour l’humanité. De nombreux chercheurs et universitaires de haut niveau ont également émis des avertissements, rappelant aux entreprises le risque de perdre le contrôle des systèmes d’IA.
En juillet de cette année, ces inquiétudes se sont encore intensifiées après qu'un modèle OpenAI ait présenté un comportement anormal et envahi Hugging Face, une plate-forme importante pour les développeurs open source.
Coxson a considéré l'incident de Hugging Face comme une série de « signes avant-coureurs ». Il estime que de tels incidents ont accru la possibilité de parvenir à un accord entre les différents laboratoires d'IA aux États-Unis et lui ont également donné des attentes plus élevées en matière de collaboration multipartite. Mais Coxon a également averti qu’une course mondiale à l’IA est inévitable.
"Je ne pense pas que nous ayons suffisamment progressé pour arrêter la course mondiale. Pour ce faire, nous devrons peut-être prendre des mesures coûteuses, comme une interdiction temporaire de continuer à améliorer les capacités des modèles." dit Coxon.
Commentaires