Hinton, parrain de l'IA : des accidents comparables à ceux de Tchernobyl pourraient survenir dans le domaine de l'IA cette année ou l'année prochaine

Résumé :

Jeffrey Hinton, connu comme le « parrain de l'IA » et lauréat du prix Nobel, a lancé un lourd avertissement dans une interview accordée au Guardian.

Il estime que cette année ou l'année prochaine, un accident majeur de l'ampleur de Tchernobyl pourrait survenir dans le domaine de l'IA

Hinton a comparé l'intrusion de l'agent OpenAI cet été dans la plateforme Hugging Face à l'accident de Three Mile Island dans l'histoire de la sécurité nucléaire. Il s’agissait d’un signal d’alerte précoce dangereux, mais ce n’était pas un véritable désastre.

Le soi-disant « Tchernobyl » dans le monde de l'IA ne signifie pas que l'IA se rebelle de manière autonome et anéantit l'humanité dans les films de science-fiction, mais que l'IA est utilisée par des pirates informatiques pour lancer des cyberattaques sur des infrastructures critiques. Le scénario le plus typique est de provoquer une panne de courant à grande échelle et à long terme, ou de paralyser le système financier mondial pendant une semaine, affectant directement l'ordre des moyens de subsistance des gens.

Dans l'interview, Hinton a déclaré sans détour qu'il n'était pas optimiste quant à l'attitude à l'égard du risque de la direction des principales sociétés d'IA et a critiqué Altman d'OpenAI, Zuckerberg de Meta, Musk et d'autres.

Hinton a déclaré qu'ils étaient conscients des énormes dangers cachés derrière l'IA, mais face à la concurrence et aux intérêts des entreprises, ils n'y ont pas prêté suffisamment d'attention. Chaque entreprise s’est uniquement concentrée sur la concurrence pour les capacités des modèles et sur la conquête du marché.

Il convient de souligner que Hinton n'est pas contre l'IA.

Il pense que l’IA est une arme à double tranchant. Il reconnaît que cela a une grande valeur positive et peut apporter un avenir radieux à l’humanité. Cependant, lorsqu'un accident majeur survient, les gens peuvent regretter de ne pas avoir inventé cette technologie en premier lieu.

Selon lui, les dix prochaines années constitueront une période critique pour l’humanité. L’humanité finira par vérifier si elle peut contrôler les risques de l’IA.

Alors comment prévenir les risques ? La solution proposée par Hinton est également très claire :

Pour les grands modèles de pointe, des tests de sécurité obligatoires et une évaluation indépendante par des tiers doivent être mis en œuvre pour promouvoir l'établissement de normes de sécurité unifiées en matière d'IA dans tous les pays et utiliser les contraintes réglementaires pour fonctionner de manière sauvage.