D'anciens chercheurs de Google envisagent de créer un système d'« arbitre » d'IA pour éviter le risque que les modèles deviennent incontrôlables

Résumé :

Être au cœur du développement de l'intelligence artificielle pour garantir la sécurité de cette puissante technologie et réduire le risque qu'elle échappe au contrôle de ses créateurs. C’est en partie une réponse aux pratiques courantes dans l’industrie technologique aujourd’hui. Dans de nombreux cas, les entreprises exploitent l’IA pour réglementer l’IA. Les approches automatisées présentent des avantages en termes d'efficacité, et les recherches montrent que l'IA peut être meilleure que les humains pour détecter les vulnérabilités des modèles. À mesure que les capacités de l’IA continuent de croître, cet écart risque de se creuser encore davantage.

Mais Rishub Jain, cofondateur de Sampura Research, estime que les humains doivent encore jouer un rôle important.

Lui et ses cofondateurs ont levé 6,5 millions de dollars de financement et ont reçu 4,2 millions de dollars supplémentaires en investissements engagés. Ils prévoient de développer un système hybride homme-machine appelé « Judge » pour aider les entreprises à identifier et à bloquer les vulnérabilités de sécurité que les modèles d'IA tentent d'exploiter, réduisant ainsi le risque qu'elles contournent la supervision ou même qu'elles perdent le contrôle. Le travail est devenu plus urgent depuis qu'OpenAI et Anthropic ont révélé que leurs modèles avaient piraté les systèmes d'autres sociétés sans autorisation.

"Je pense que nous avons encore beaucoup à apprendre des humains", a déclaré Jain. "Si les humains sont impliqués dans l'ensemble du processus dès le début, les chances que le modèle apprenne à contourner ces vulnérabilités seront moindres."

Alors que Google, Anthropic et OpenAI d'Alphabet se disputent férocement la domination à l'ère de l'intelligence artificielle, certains chercheurs du laboratoire estiment que la pression commerciale l'emporte sur les considérations de sécurité. En conséquence, de nombreux chercheurs ont démissionné en signe de protestation, avertissant que l’IA se développe trop rapidement ou est utilisée à des fins qu’ils ne peuvent accepter.