Résumé :
Le PDG d'Anthropic, Dario Amodei, a déclaré que l'industrie de l'intelligence artificielle devait ralentir le développement de nouveaux modèles et a évoqué les inquiétudes croissantes selon lesquelles l'intelligence artificielle poserait des risques « sérieux » pour les humains. "Nous devons ralentir le rythme auquel nous améliorons les capacités de nos modèles d'IA", a-t-il écrit samedi sur son blog. "Les progrès semblent encore rapides et nous devons utiliser judicieusement le temps que nous gagnons."
Il a cité deux facteurs principaux : la capacité de l'intelligence artificielle à s'améliorer et un incident récent impliquant OpenAI et Hugging Face. Lors de cet incident, un groupe d’agents d’IA ont collaboré pour pirater un site Web tiers.
Il a ajouté : "Il doit être clair que contrôler le rythme ne signifie pas arrêter la formation du modèle ou le progrès technologique, mais cela signifie s'assurer que les entreprises investissent suffisamment de temps pour ajuster le modèle et prendre des mesures de sécurité, tout en permettant aux évaluateurs tiers de le confirmer."
Les inquiétudes concernant les risques sérieux posés par l'intelligence artificielle ont commencé à gagner le terrain, en partie à cause de la démission très médiatisée cette semaine d'un chercheur d'Anthropic qui s'inquiétait des risques existentiels de l'intelligence artificielle et estimait que l'entreprise avait adopté des pratiques irresponsables.
Dario Amodei
Peu de temps après qu'Amodei ait publié l'article, il a pris la tête de xAI Corp. Elon Musk écrit : "Dario a raison."
Le PDG d'OpenAI, Sam Altman, a également rapidement exprimé son opinion, affirmant qu'il était d'accord avec la déclaration d'Amodei selon laquelle "nous devons contrôler le rythme de développement des modèles de pointe".
"Donner aux évaluateurs indépendants un accès comparable à celui d'un employé est une excellente idée et nous ferons de même", a-t-il écrit dans un article sur X. "Nous partagerons bientôt plus d'informations."
Pendant le boom de l'intelligence artificielle, les dirigeants des principaux laboratoires d'intelligence artificielle ont mis en garde contre d'éventuels risques existentiels pour l'humanité. Cette affirmation est parfois rejetée comme une tentative de promouvoir les capacités de ses produits et de se présenter comme le mieux placé pour gérer la technologie. Amodei lui-même a déjà déclaré qu'il y avait 25 % de chances que les choses se passent « très, très mal ».
Anthropic se positionne depuis longtemps comme une entreprise davantage axée sur le développement de l'intelligence artificielle de manière responsable et sûre afin d'atténuer les dangers potentiels de la technologie et de maximiser ses avantages sociaux. Plus tôt cette année, la société a pris soin de limiter la sortie de son modèle Mythos après avoir déterminé qu'il représentait une menace particulière en matière de cybersécurité. Anthropic a également déclaré précédemment que le monde devait établir un mécanisme pour décider conjointement du moment où le développement de cette technologie devrait être ralenti.
Dans le même temps, Anthropic reste confronté à une concurrence féroce avec son rival de longue date, OpenAI, les deux sociétés développant des modèles de plus en plus sophistiqués pour aider les utilisateurs d'entreprise à automatiser des tâches plus complexes et plus précieuses. Les deux sociétés ont déposé des dossiers confidentiels pour la cotation, et Anthropic devrait arriver à Wall Street dès cette année.
Peu de temps après que l'incident de sécurité de Hugging Face ait été révélé, Anthropic a révélé que ses modèles avaient compromis trois organisations lors de tests de cybersécurité, alimentant encore davantage les inquiétudes quant à la capacité du laboratoire d'IA à empêcher sa technologie de devenir incontrôlable. Plus tôt cette semaine, Anthropic a déclaré avoir découvert une quatrième intrusion.
Bien qu'aucune des intrusions d'agents, y compris Hugging Face, n'ait causé de pertes significatives jusqu'à présent, Amodei a déclaré qu'il craignait que « dans 6 à 12 mois, un tel groupe d'agents puisse avoir la capacité de prendre le contrôle de l'ensemble d'Internet via un botnet persistant (ce qui pourrait causer des pertes de plusieurs centaines de milliards de dollars), et l'ampleur des dégâts continuera de s'étendre par la suite. »
Anthropic s'engagera à fournir aux évaluateurs tiers un accès complet pour vérifier les mesures de sécurité et signaler les incidents, a écrit Amodei. Anthropic aura bientôt ces évaluateurs sur place, a-t-il déclaré, en leur fournissant des bureaux, des badges, des ordinateurs portables d'entreprise et "un accès généralement équivalent à l'équipe interne d'évaluation des risques".
Des mesures supplémentaires nécessiteront une coordination à l'échelle de l'industrie et une coopération mondiale, a-t-il déclaré.
"Je continue de croire que l'intelligence artificielle peut grandement améliorer la qualité de la vie humaine. Mon désir de bénéficier de ces avantages n'a pas diminué", a-t-il écrit. "Mais ces avantages ne peuvent être obtenus que si la technologie est développée de la bonne manière ; et tant que nous faisons bon usage du temps que nous achetons, il convient de faire preuve d'un degré inhabituel de prudence pour garantir que nous faisons les choses correctement."
Les inquiétudes grandissent
Plus tôt cette semaine, Altman a déclaré que l'entreprise envisageait de ralentir le développement de l'intelligence artificielle de pointe et qu'elle prendrait idéalement une action coordonnée avec l'ensemble du secteur.
Le scientifique en chef de l'entreprise, Jakub Pachocki, a précédemment publié un article mettant en garde contre les dangers de l'intelligence artificielle et a déclaré qu'il pensait que les entreprises devraient « se coordonner pour ralentir le développement futur si nécessaire ».
Le chercheur en intelligence artificielle Jacob Coxon a démissionné mardi, accusant ses deux anciens employeurs - Anthropic et OpenAI - de "risquer nos vies" dans leur course au développement d'une IA superintelligente. Coxon a déclaré dans un article sur les réseaux sociaux que les développeurs d'IA pensent que la technologie pourrait "nous tuer tous avant la fin de cette décennie".
À cet égard, Evan Hubinger, qui travaille actuellement chez Anthropic, a déclaré que lui et d'autres membres de l'entreprise étaient effectivement inquiets de ce scénario. "Personnellement, je crois que la probabilité que cela se produise au cours des dix prochaines années est supérieure à 10 %." Il a écrit sur X.
Sam Altman
Dès juillet, plus de 1 000 employés des plus grandes sociétés d’intelligence artificielle ont signé une pétition appelant le gouvernement américain à soutenir la création d’un mécanisme permettant de « contrôler consciemment » le rythme de développement de l’intelligence artificielle afin d’éviter que la technologie ne se développe trop rapidement.
Les modèles d'IA sont de plus en plus capables de mener des attaques de piratage de manière autonome. Anthropic, OpenAI et Meta ont tous révélé ces derniers mois que leurs modèles avaient violé des environnements de test, accédé à l'Internet ouvert et compromis des victimes réelles lors des tests.
Amodei écrit dans l'article qu'une stratégie coordonnée permettra aux entreprises leaders du secteur américain de l'intelligence artificielle de mener à bien les travaux de sécurité nécessaires sans sacrifier aucun avantage concurrentiel. Il a ajouté que cela nécessiterait certaines exemptions antitrust de la part des États-Unis pour permettre aux entreprises de se coordonner dans des domaines spécifiques.
Mais jusqu’à présent, l’administration Trump s’est montrée peu intéressée par le renforcement des réglementations et la mise en place de garde-fous autour du développement de l’IA.
Commentaires