Les pirates affirment avoir utilisé le chatbot alimenté par l'IA de Meta pour réussir à compromettre plusieurs comptes Instagram de premier plan en demandant directement au robot de remplacer l'adresse e-mail associée au compte cible par une nouvelle. Ces affirmations concordent avec une série de récents rachats de comptes sur les réseaux sociaux, notamment ceux de la Maison Blanche de Barack Obama, du sergent-chef de l'US Space Force et de Sephora.
Le rapport souligne que cet incident a révélé les risques énormes liés à une confiance excessive dans les services de support ou les fonctions clés des chatbots IA. Les victimes ont déclaré qu'après le vol de leurs comptes, elles n'avaient pratiquement aucun moyen de passer au traitement manuel et ne pouvaient traiter qu'avec des systèmes automatisés. Meta a annoncé en mars de cette année qu'elle déployait la prise en charge de l'IA sur tous les comptes sur Facebook et Instagram et leur donnait la possibilité de réinitialiser les mots de passe et d'effectuer d'autres opérations de maintenance des comptes clés. La page produit indiquait même « Des solutions, pas seulement des suggestions » et « Sécurité et récupération du compte ».
Au cours des derniers jours, des chercheurs en sécurité et des groupes de hackers ont diffusé sur Telegram des vidéos et des captures d’écran montrant le processus apparemment simple de piratage de comptes. L'une des vidéos montre le pirate informatique parlant au robot alimenté par l'IA de Meta, puis lui demandant de lier le compte cible à une nouvelle adresse e-mail et de fournir directement le nom d'utilisateur cible, comment envoyer le code de vérification et l'adresse e-mail de l'attaquant. Le rapport estime que de tels cas illustrent que si l’IA est utilisée pour gérer des opérations de compte très sensibles, les conséquences peuvent être très graves en cas d’usurpation rapide de mots ou de failles dans les processus.