Google a récemment révélé comment il utiliserait plusieurs moyens techniques pour établir des garde-fous de sécurité pour les utilisateurs avant de déployer la fonction « Agentic » dans le navigateur Chrome pour gérer les données potentielles et les risques financiers derrière de nouvelles fonctionnalités telles que l'achat automatique de billets et les achats en ligne. Après avoir présenté en avant-première les fonctionnalités associées en septembre, Google a déclaré que ces capacités de navigation par proxy basées sur le modèle Gemini seraient progressivement ouvertes aux utilisateurs dans les mois à venir.
Google a déclaré avoir introduit une variété de « modèles d'observateur » dans Chrome pour effectuer un examen en temps réel et des contraintes sur les opérations effectuées par l'agent. L'un des mécanismes de base consiste à utiliser Gemini pour créer un « User Alignment Critic » (User Alignment Critic), qui vérifie spécifiquement si la séquence d'actions générée par le modèle de planification pour une certaine tâche répond réellement à l'intention de l'utilisateur. Si le censeur estime que certaines étapes s'écartent des objectifs de l'utilisateur, il demande au modèle de planification de réajuster la politique, un processus qui s'appuie uniquement sur des métadonnées opérationnelles plutôt que sur le contenu Web complet pour réduire l'exposition à la vie privée.
En termes de contrôle des sources d'accès, Google a introduit le mécanisme « Agent Origin Sets » pour classer strictement les sources du site Web qui peuvent être lues et écrites par l'agent afin d'empêcher le modèle d'effectuer des opérations sur des sites non fiables ou des éléments de page non pertinents. Par exemple, sur un site Web de commerce électronique, la liste de produits est considérée comme un contenu lisible lié à la tâche, tandis que les bannières publicitaires sur la page sont exclues de la plage lisible et que les agents ne peuvent cliquer ou entrer que dans la zone iframe autorisée spécifique, réduisant ainsi le risque de fuite de données entre sources.
Google utilise également un autre ensemble de modèles d'observation pour surveiller le comportement de saut de page du proxy afin d'intercepter les URL générées par le modèle mais qui peuvent être risquées, et empêcher les processus automatisés d'accéder accidentellement à des sites Web malveillants. Lorsqu'il s'agit de sites Web impliquant des informations sensibles telles que des informations bancaires et médicales, Chrome affichera une fenêtre pour demander l'autorisation à l'utilisateur avant que l'agent ne tente d'y accéder, et demandera l'autorisation de l'utilisateur lorsqu'un gestionnaire de mots de passe doit être utilisé pour se connecter. Pendant tout le processus, le modèle d'agent lui-même ne contactera pas directement les données de mot de passe.
En ce qui concerne la réalisation d'opérations très sensibles, Google souligne que la décision finale sera laissée à l'utilisateur, y compris les étapes clés telles que le paiement en ligne, la soumission d'informations ou l'envoi de messages, et que l'agent devra obtenir une confirmation claire au préalable. Google a également déployé des classificateurs d'injection rapide pour identifier et bloquer les instructions malveillantes, et continue de mener des tests de sécurité de ces fonctions proxy au moyen d'échantillons d'attaques conçus par des chercheurs.
Outre Google, d’autres fabricants de navigateurs renforcent également les capacités de sécurité du proxy IA. Récemment, Perplexity a publié un nouveau modèle de détection de contenu open source pour identifier et se défendre contre les attaques par injection de proxy dans les scénarios de navigation, démontrant la grande sensibilité et l'investissement du secteur dans les questions de sécurité à l'ère de la navigation automatisée.