Résumé :
Le 28 septembre, selon Bloomberg,
Nvidia a lancé un nouveau système de sécurité IA à deux couches
. La société a déclaré que l'incident aurait pu être évité si le modèle d'IA d'OpenAI avait été déployé sur le système au moment de l'intrusion de Hugging Face.
Huang Renxun
Nvidia a rapidement élargi sa gamme de produits au-delà des puces et lance actuellement deux outils de sécurité logiciels open source pouvant fonctionner sur son matériel. Ils sont conçus pour contrôler en temps réel ce à quoi un agent IA peut accéder et le fermer s’il enfreint les règles.
Le nouveau système, appelé Open Agent Security Platform, vise à fournir un moyen de prévenir les intrusions sans ralentir le développement de l'IA.
Justin Boitan, vice-président de l'IA d'entreprise chez Nvidia, a déclaré lundi lors d'un point de presse avec des journalistes avant d'annoncer le système que l'attaque contre Hugging Face aurait pu être évitée si les meilleurs laboratoires d'IA avaient utilisé cette technologie pour évaluer leurs modèles d'IA dès le début.
"Sur la base des informations dont nous disposons actuellement, cette nouvelle plate-forme de sécurité aurait pu empêcher cette intrusion", a-t-il déclaré. À l'heure actuelle, le comportement inapproprié des agents d'IA autonomes a provoqué un choc dans l'industrie de l'IA et a conduit certains à appeler au ralentissement du processus de développement de la technologie de l'IA.
Boitano n'a pas précisé si OpenAI ou son concurrent Anthropic prévoyaient d'utiliser ce nouveau système pour surveiller le processus de formation des modèles, mais a demandé aux journalistes de demander à ces entreprises.
Auparavant, Jensen Huang, PDG de Nvidia, avait minimisé le risque de perte du contrôle humain par l'IA. Ces derniers jours, Huang a décrit les problèmes de sécurité de l’IA comme un défi technique plutôt que comme un problème nécessitant une plus grande réglementation ou une coordination mondiale. Il s'est joint au président américain Trump pour réfuter les affirmations de certains développeurs d'IA selon lesquelles cette technologie pourrait conduire à l'extinction de l'humanité, mais a également souligné que l'IA devait être soumise à des tests de sécurité rigoureux.
La solution technique de Huang Renxun aux problèmes de sécurité de l'IA se compose de deux parties.
Premièrement, OpenShell est un produit logiciel que Nvidia a présenté en avant-première lors de sa conférence technologique de mars et qui fonctionne sur l'unité centrale de traitement Vera de Nvidia. Il permet aux utilisateurs de définir des règles sur le contenu auquel les agents d'IA peuvent accéder et d'appliquer ces règles en temps réel. Le logiciel est open source, ce qui signifie qu’il peut être utilisé et adapté librement.En attendant, Nvidia Sentry est un nouveau produit pouvant fonctionner sur l'unité de traitement de données BlueField de Nvidia. NVIDIA a déclaré que ce produit est conçu pour fournir une couche supplémentaire de mécanisme de surveillance de l'IA pour superviser le comportement des agents IA, et pour intervenir et isoler les agents lorsqu'un comportement suspect est détecté.
Commentaires