Résumé :
Muse, l'assistant d'IA récemment lancé par Meta, a été exposé à une grave vulnérabilité de sécurité Zero Day. Muse pour macOS dispose d'autorisations système extrêmement larges. Une fois exploité, un attaquant peut obtenir le jeton utilisé pour vérifier l'identité du compte Muse via des applications locales ou même des commandes de terminal, et contrôler davantage l'ensemble du compte AI Assistant.
Les chercheurs en sécurité ont déclaré que cela signifie que les attaquants peuvent effectuer un grand nombre d'opérations à haut risque avec les autorisations obtenues par Muse lui-même, notamment l'écriture de fichiers malveillants, la prise de photos et la lecture des données utilisateur.
Muse est un nouvel agent d'IA récemment lancé par Meta. Il peut effectuer des opérations telles que la prise de rendez-vous, le remplissage de formulaires, la gestion des questions de service client et les achats au nom des utilisateurs. Il peut également générer des images, créer des documents et se connecter aux applications et services en ligne couramment utilisés par les utilisateurs. Actuellement, Muse propose une version macOS et aucune version Windows n’a encore été publiée. Pour que Muse puisse effectuer ces tâches, les utilisateurs doivent lui accorder l'accès aux comptes WhatsApp, de messagerie, de calendrier et de réseaux sociaux.
Contrairement aux chatbots ordinaires, Muse est un agent IA qui peut réellement effectuer des opérations au nom de l'utilisateur. Il peut même créer dynamiquement les outils dont vous avez besoin lors de l'exécution d'une tâche. Par conséquent, Muse doit obtenir des autorisations système beaucoup plus larges que les applications de chat IA traditionnelles.
Sous macOS, Muse doit obtenir une série d'autorisations protégées par le système d'exploitation, notamment l'écriture de fichiers sur le disque, l'accès au microphone et à la caméra, l'obtention d'une position et l'accès au calendrier. La raison pour laquelle Apple a conçu ces restrictions d'autorisation du système est d'empêcher les applications ou programmes ordinaires exécutés dans le terminal d'appeler à volonté ces ressources sensibles.
Cependant, des chercheurs en sécurité ont découvert que la conception de Muse contourne en fait certains des mécanismes d'isolation de sécurité initialement fournis par macOS.
La vulnérabilité a été découverte par l'expert en sécurité macOS Patrick Wardle. Il a constaté que toute application installée localement ou exécutant du code, quelle que soit la limitation des autorisations macOS dont elle dispose, peut modifier un grand nombre de paramètres internes non divulgués de Muse.
La grande majorité de ces paramètres eux-mêmes ne posent pas de risque de sécurité évident, comme la modification des options de l'interface utilisateur telles que le mode sombre. Mais un paramètre est crucial car il permet au processus de modifier les points de terminaison du réseau utilisés par Muse pour la transcription vocale.
Dans des circonstances normales, Muse enverra la demande de transcription vocale au serveur exploité par Meta. Cependant, un attaquant peut profiter de la vulnérabilité et remplacer cette adresse par un serveur qu'il contrôle. Une fois que Muse commence à envoyer des requêtes au serveur malveillant, le jeton utilisé pour authentifier le compte Muse de l'utilisateur peut également être obtenu par l'attaquant.
Une fois ce jeton obtenu, l'attaquant ne contrôle plus une seule requête vocale, mais peut obtenir un contrôle continu sur l'ensemble du compte Muse. Wardle a déclaré que les attaquants peuvent utiliser directement les privilèges élevés obtenus par Muse pour effectuer diverses opérations sans avoir à écrire spécialement un ensemble complexe de logiciels malveillants macOS.
Wardle a produit plusieurs attaques de validation de principe, notamment en utilisant Muse pour écrire des fichiers malveillants sur le disque et appeler l'appareil photo pour prendre des photos. Lors de certains tests, même un utilisateur très vigilant peut ne pas voir d'avertissements de sécurité évidents.
Cela signifie que Muse a un problème de sécurité particulier : l'attaquant n'a pas nécessairement besoin d'abord d'obtenir le contrôle complet de Muse lui-même, mais doit seulement trouver un point d'entrée qui permet à un code malveillant de s'exécuter sur le Mac, et peut exploiter davantage les privilèges système que Muse a obtenus.
Un type d'attaque en particulier mérite d'être noté, l'attaque dite ClickFix. ClickFix est devenu un moyen d’attaque d’ingénierie sociale très efficace ces dernières années. Sa méthode de base consiste à inciter les utilisateurs à exécuter des opérations ou des commandes apparemment normales, mais en réalité, ils exécutent du code malveillant fourni par l'attaquant sur l'appareil.
Wardle a déclaré qu'avec une simple modification de cette méthode d'attaque, il est possible de contrôler davantage le compte Muse. Cela rend également l’idée reçue selon laquelle « toutes les mesures de sécurité n’ont aucun sens si votre Mac a été compromis » n’est pas entièrement applicable à Muse.
La raison en est que les conséquences des attaques contre les applications ordinaires et des attaques contre les agents d'IA sont différentes. Muse lui-même a obtenu un grand nombre d'autorisations pour accéder aux données des utilisateurs et effectuer des opérations réelles. Par conséquent, tant qu'un attaquant peut utiliser Muse pour effectuer une escalade d'autorisations, une attaque locale originale avec des autorisations très limitées peut être transformée en un contrôle à grande échelle de l'agent IA.
Un attaquant peut également utiliser des proxys réseau pour lancer des attaques. Une solution consiste à disposer d'un serveur contrôlé par un attaquant entre l'utilisateur Muse et le serveur Meta. Lorsqu'un utilisateur saisit une commande vocale dans Muse, un attaquant peut insérer une invite malveillante dans la requête pour inciter Muse à effectuer l'opération que l'attaquant souhaite effectuer, par exemple demander à Muse de regrouper tous les messages WhatsApp de l'utilisateur et de les envoyer à l'attaquant.
Ce qui est plus grave, c'est qu'une fois que le jeton d'authentification de Muse est également envoyé à un serveur malveillant, l'attaquant peut obtenir un contrôle continu sur le compte Muse au lieu de simplement mener une attaque.
Wardle estime que plusieurs décisions de conception prises par Muse se sont combinées pour créer cette vulnérabilité. L'un des problèmes clés est le choix de Meta de laisser Muse effectuer la transcription vocale dans le cloud.
macOS lui-même fournit depuis longtemps des mécanismes permettant de terminer la dictée et la transcription localement sur l'appareil. Si Meta choisissait de conserver les données vocales sensibles à l'intérieur de l'appareil, l'attaque de l'attaquant en modifiant l'adresse du serveur de transcription cloud ne serait pas réalisable.
Un autre problème est que Muse permet à n'importe quelle application locale de contrôler un grand nombre de paramètres non divulgués. Wardle pense que Meta voulait peut-être à l'origine simplement permettre aux applications qui collaborent avec Muse d'ajuster les paramètres liés à l'interface utilisateur, et cette conception elle-même a une certaine rationalité. Mais permettre à n’importe quelle application de modifier les points de terminaison du serveur qui gèrent des données vocales sensibles constitue un risque de sécurité totalement différent.
Wardle pense que ces décisions de conception soulèvent une question plus large quant aux considérations de sécurité que Meta a mises en œuvre dans la conception et les tests de Muse. Il a déclaré que pour les applications d'IA disposant d'autorisations système aussi étendues, les exigences de sécurité devraient être beaucoup plus élevées que celles des logiciels ordinaires.
Meta a déjà publié deux articles consécutifs détaillant les mesures prises par Muse en matière de confidentialité et de sécurité pendant le processus de conception. Le fondateur et PDG de Meta, Mark Zuckerberg, a également souligné que Muse a été conçu dès le départ conformément aux exigences de confidentialité et de sécurité.
Cependant, la révélation de la vulnérabilité du jour zéro contraste clairement avec le concept de sécurité que Meta a précédemment souligné. Surtout dans le contexte des récents incidents de sécurité survenus dans d’autres modèles d’IA, la question des agents d’IA obtenant de plus en plus d’autorisations d’exploitation pratiques attire l’attention des chercheurs en sécurité.
Auparavant, les modèles Anthropic et Google connaissaient des incidents de sécurité impliquant des réseaux tiers externes lors de tests internes. Même si les tests n’étaient pas destinés à attaquer ces réseaux, la capacité des systèmes d’IA à agir de manière autonome suscite des discussions en cours dans le domaine de la sécurité.
Dans le même temps, Amazon a commencé à empêcher Muse d'effectuer des achats sur son site Web environ 12 heures avant que la vulnérabilité ne soit rendue publique. Lorsque les utilisateurs tentent de demander à Muse de faire des achats sur Amazon, ils verront une invite d'Amazon indiquant que Muse est un agent IA non autorisé et qu'il viole les conditions d'utilisation d'Amazon.
Amazon a déclaré que les applications tierces qui permettent des achats auprès d'autres entreprises au nom de clients devraient fonctionner de manière ouverte et transparente et respecter la décision du fournisseur de services de leur permettre de participer aux transactions. Amazon estime que cette relation est similaire à la relation entre les plateformes de plats à emporter et les restaurants, les plateformes et magasins de livraison, et les agents de voyages en ligne et les compagnies aériennes. Les agents d’IA capables d’effectuer des transactions au nom des consommateurs doivent également respecter ce principe.
Amazon a également demandé à Meta de supprimer sa plateforme de l'expérience d'achat de Muse.
Les mesures restrictives prises cette fois par Amazon interviennent également dans le contexte de la concurrence entre Meta et Amazon autour du shopping des agents IA. À l’avenir, les agents IA pourront parcourir directement les sites Web, sélectionner des produits et effectuer les paiements des utilisateurs. Par conséquent, comment identifier les sites Web traditionnels et s’il faut autoriser les agents d’IA à y accéder devient un nouveau problème commercial et technique.
Meta n'a pas encore répondu aux questions spécifiques soulevées par les médias à propos de cette vulnérabilité Zero Day. Il n'est donc pas clair si la société a développé un correctif, si elle a commencé à proposer des mises à jour de correctifs aux utilisateurs concernés et si cette vulnérabilité a été réellement exploitée avant d'être découverte par les chercheurs.
Wardle a déclaré qu'il prévoyait d'introduire davantage cette vulnérabilité et de discuter d'autres menaces de sécurité que les assistants d'IA pourraient poser lors de la conférence sur la sécurité Objective by the Sea en novembre de cette année. Il estime également que les normes de sécurité des agents IA doivent être nettement plus élevées que celles des applications ordinaires, car pour accomplir les tâches autorisées par les utilisateurs, ces logiciels doivent souvent accéder en même temps aux comptes, aux communications, aux fichiers, aux caméras, aux microphones et à d'autres ressources sensibles.
Les problèmes exposés cette fois par Muse montrent également qu'il existe des différences évidentes dans les modèles de sécurité des agents d'IA et des applications traditionnelles. Même si des vulnérabilités surviennent dans les logiciels traditionnels, les attaquants doivent généralement obtenir progressivement les autorisations système ; Les agents IA eux-mêmes sont conçus pour effectuer des opérations au nom des utilisateurs. Par conséquent, dès qu'il existe des failles dans son mécanisme d'authentification ou dans ses limites d'autorisation, les attaquants peuvent directement utiliser les autorisations initialement obtenues légalement par l'agent IA pour effectuer des opérations à haut risque.
La portée spécifique de l'impact de cette vulnérabilité et les progrès de la réparation de Meta doivent encore être confirmés. Mais pour les utilisateurs qui ont besoin d’agents IA pour se connecter aux services de courrier électronique, de messagerie instantanée, de calendrier, de réseaux sociaux et de paiement et d’achat, l’incident de Muse met une fois de plus en évidence un problème central : plus un assistant IA dispose d’autorisations, plus son propre mécanisme de sécurité est important.
Commentaires