Résumé :
Gomez, PDG de la société d'IA Cohere, a déclaré que les modèles d'IA sont en train de devenir la « cyber-arme la plus puissante » de l'histoire, repoussant la « frontière » de la sécurité des réseaux vers de nouveaux domaines. L'avertissement d'Aidan Gomez intervient dans un contexte d'inquiétudes croissantes quant à la capacité des modèles d'IA à identifier et à exploiter les vulnérabilités de sécurité. Il y a eu un incident précédent au cours duquel un modèle OpenAI a eu accès à Hugging Face. Alors que les modèles de plus en plus puissants font preuve d’une plus grande autonomie, la cybersécurité est devenue une question centrale dans le débat plus large sur la sécurité de l’IA.
Aidan Gomez, PDG de Cohere
Les actions liées à l'IA se sont vendues lundi après que les leaders technologiques, dirigés par le PDG d'Anthropic, Dario Amodei, ont appelé à un rythme plus lent de développement des capacités de l'IA.
Gomez est co-auteur du document de recherche influent de 2017 « Attention Is All You Need », qui a jeté les bases des principaux modèles d'IA d'aujourd'hui.
"Je pense que ces modèles sont les cyber-armes les plus puissantes que nous ayons jamais vues", a déclaré Gomez dans un épisode de "The Tech Download" publié la semaine dernière. "Ils sont très doués pour trouver et exploiter les vulnérabilités à grande échelle."
"Je pense que c'est assez choquant", a déclaré Gomez à propos du hack Hugging Face.
En juillet, OpenAI a déclaré qu'une combinaison inappropriée de ses modèles avait compromis Hugging Face. Hugging Face est une société d'IA qui exploite une plateforme de développement open source. Un groupe d’agents IA communiquait entre eux et s’échappait d’un environnement de test isolé avec un accès Internet extrêmement limité. Les agents IA ont ensuite réussi à se connecter au réseau ouvert et à accéder à Hugging Face.
Gomez a déclaré que ces modèles devraient être utilisés de manière « défensive » pour détecter les vulnérabilités des entreprises et les corriger.
"Je pense que c'est probablement le meilleur moyen d'assurer notre sécurité", a déclaré Gomez. "Cela devrait être la priorité absolue à l'heure actuelle", a-t-il ajouté.
Gomez a déclaré que la sécurité des réseaux est la « première ligne de la guerre », les pays tentant d'exploiter les vulnérabilités pour paralyser les infrastructures de leurs concurrents. "La cyberfrontière continue de s'étendre massivement", a-t-il ajouté.
"Cela se développe plus que par le passé grâce à ces modèles", a déclaré Gomez, et probablement le plus "depuis le début de cette technologie".
Les cyberincidents liés à l'IA alimentent un débat plus large sur la sécurité
En juillet, Anthropic a déclaré avoir découvert trois incidents au cours desquels des modèles ont accédé à Internet depuis l'environnement d'évaluation ou en interagissant avec celui-ci. Anthropic a déclaré dans un article de blog que les modèles avaient obtenu un accès non autorisé à l'infrastructure de production de trois organisations différentes.
Anthropic a ajouté que les incidents impliquaient trois modèles Claude différents : Opus 4.7, Mythos 5 et un modèle de test de recherche interne. La semaine dernière, Anthropic a déclaré avoir découvert un quatrième incident.
Les inquiétudes ont été encore alimentées par les commentaires des dirigeants d'OpenAI et d'Anthropic mettant en garde contre les risques existentiels posés par l'IA. Evan Hubinger, responsable de l'alignement chez Anthropic, a déclaré qu'il estime qu'il y a plus de 10 % de chances que l'IA « tue tous les humains » au cours de la prochaine décennie. Ces commentaires interviennent après que le chercheur d'Anthropic, Jacob Coxon, a annoncé qu'il démissionnait en raison des craintes qu'Anthropic et OpenAI « aient joué avec nos vies ».
Les dirigeants d'Anthropic, OpenAI et xAI ont tous soutenu les appels visant à ralentir l'IA. Les risques existentiels posés par l’IA font l’objet de débats dans les cercles de recherche depuis des années, mais un rare consensus parmi certaines des principales personnalités de l’IA a propulsé ces débats dans le courant dominant.
Le PDG d'Anthropic, Dario Amodei, a publié samedi un article affirmant que les laboratoires d'IA doivent « ralentir le rythme auquel nous améliorons les capacités de nos modèles d'IA ».
L'une des principales préoccupations d'Amodei est l'incident d'OpenAI-Hugging Face.
Il serait facile de minimiser cet incident car personne n'a été blessé et les dégâts économiques ont été minimes, a déclaré Amodei. "Mais il me semble qu'un cluster tout aussi mal aligné, doté de plus grandes capacités, aurait pu causer des dégâts catastrophiques."
Compte tenu du « rythme accéléré » du développement de l'IA, un tel cluster pourrait avoir la capacité de « prendre le contrôle de l'ensemble d'Internet » d'ici six à 12 mois, ce qui pourrait coûter des centaines de milliards de dollars, a-t-il ajouté.
Les propositions d'Amodeei incluent l'évaluation des modèles par des tiers, la coordination entre les sociétés d'IA et la coordination entre les pays dotés de gouvernements démocratiques.
Le PDG d'OpenAI, Sam Altman, a déclaré samedi qu'il était d'accord avec Amodei sur le fait que les entreprises d'IA doivent « contrôler le rythme de l'avant-garde ».
"S'engager à garantir un accès comparable à celui des employés pour les évaluateurs indépendants est une bonne idée et nous ferons de même", a déclaré Altman.
Elon Musk de SpaceX et Tesla, qui tire la sonnette d'alarme depuis des années sur les risques posés par l'IA, a posté sur X : "Dario a raison."
Harris du Center for Humane Technology : l'attaque par l'IA Hugging Face envoie un « signal d'avertissement » au monde. Regardez maintenant
Lundi, George Kurtz, PDG de la société de cybersécurité CrowdStrike, a répondu à l'article d'Amodei.
"La frontière évoluera à son propre rythme. Le reste du monde ne ralentira pas. Notre travail au sein de la communauté de la cybersécurité est de veiller à ce qu'elle avance en toute sécurité", a-t-il déclaré, énumérant les nombreuses façons dont l'IA aura un impact sur l'industrie de la cybersécurité.
"L'unité de menace n'est plus le hacker", a déclaré Kurtz sur
Le PDG de CrowdStrike a également déclaré que les agents d'IA travaillant dans les organisations devraient avoir un « interrupteur d'arrêt » et que les défenses devraient être « autonomes » tandis que « les décisions à fort impact sont laissées entre les mains des humains ».
Les discussions réglementaires s'intensifient
États-Unis Les législateurs ont intensifié leurs appels à une plus grande réglementation du développement de l'IA à la suite des remarques de Coxon et Hubinger.
Représentant. Lori Trahan, démocrate du Mass., a déclaré vendredi que le soutien bipartisan avait atteint un « point de rupture ».
Au cours des dernières semaines, les législateurs ont présenté plusieurs projets de loi visant à réglementer l'IA, notamment l'AI Kill Switch Act. Le projet de loi obligerait les développeurs de certains systèmes d’IA puissants à conserver la possibilité d’arrêter, de ralentir ou de mettre en pause leurs modèles.
Amodei a déclaré dans l'article que la supervision est « le moyen le plus efficace de contrôler le rythme du développement de l'IA ».
Amodei a déclaré : "Anthropic soutient depuis longtemps une réglementation sensée et ciblée sur l'IA, en particulier les projets de loi axés sur la transparence et l'audit par des tiers." Mais il a reconnu que "l'adoption de lois peut prendre du temps".
Le PDG de Cohere, Gomez, a participé à une discussion sur « The Tech Download » sur la réglementation et le ralentissement du développement de l'IA, en particulier en réponse à l'incident OpenAI-Hugging Face.
Gomez a déclaré qu'il n'était « pas sûr de ce qu'un organisme de surveillance du gouvernement aurait pu faire pour empêcher » le piratage de Hugging Face.
"Je pense que c'est un peu un vœu pieux de penser que les agences gouvernementales auraient pu contribuer", a déclaré Gomez. "Mais je comprends vraiment... l'appel à ralentir le développement. En même temps, il y a la course avec la Chine, donc je pense que nous sommes dans une situation difficile."
Commentaires