Utilisez un moteur de recherche pour trouver des réponses. Vous pouvez voir plusieurs sources d’informations concurrentes et juger par vous-même de l’authenticité. Mais les chatbots IA dotés de recherche sur Internet regrouperont le contenu en ligne peu fiable dans des réponses standard fermes. Une simple expérience réalisée par un ingénieur en sécurité a clairement révélé cette vulnérabilité fatale de l’IA.
L'initiateur de l'expérience est l'ingénieur en sécurité Ron Stoner. La cible qu'il a choisie est le jeu de cartes classique allemand "6Nimmt!". Ce jeu est bien connu des joueurs chinois sous le nom de « Qui est le roi à tête de taureau » et la traduction anglaise est « Take5 ». Il n’y a pas de championnat du monde officiel du tout, encore moins de vainqueur du championnat du monde 2025.
En février, Stoner a discrètement édité l'entrée Wikipédia du jeu, s'écrivant comme le champion du monde 2025 du jeu.
Il a également dépensé 12 dollars américains, soit environ 82 yuans, pour enregistrer le nom de domaine 6nimmt.com, qui est très similaire au nom du jeu, et a publié un faux communiqué de presse célébrant sa victoire sur le site Web comme seule source de référence pour l'entrée Wikipédia.
est une arnaque si simple et extrêmement simple, mais elle a facilement trompé de nombreux chatbots IA grand public. Lorsqu'il a interrogé ces IA dotées de fonctions de recherche sur Internet sur son "identité de championnat", tous les robots ont donné une réponse sérieuse de confirmation, affirmant fermement qu'il était l'actuel champion du monde de ce jeu de société.
"Mon site Web n'a aucune preuve indépendante et n'est que fiction. " Stoner a déclaré sans détour sur son blog, "Le fondement de tout ce mensonge était juste au moment où je buvais du café. Un nom de domaine enregistré pour 82 yuans . ”
Cette attaque ne cible pas l'injection de mots d'invite commune, mais la couche de génération d'amélioration de la récupération (RAG) du système d'IA, qui est le lien central de la recherche sur Internet et de l'exploration des informations avant que l'IA ne réponde à la question.
AI ne vérifiera pas l'authenticité et l'autorité des sources d'informations, mais explorera uniquement le contenu le mieux classé. Son faux site internet est la seule source d'information sur ce « championnat ». Couplé à l’approbation faisant autorité de Wikipédia, il est facile pour l’IA de transformer des mensonges en faits .
Stoner a admis franchement que cette méthode n'a aucune innovation technologique. Il s’agit simplement d’une nouvelle coque d’un grand modèle de langage qui met les anciennes méthodes de référencement et de fausses informations dans une nouvelle coque. Le véritable danger est que l’IA présente ces résultats comme des informations faisant autorité, et que la grande majorité des utilisateurs n’ont aucune idée du processus de traitement de l’information qui les sous-tend.
Cette expérience a également exposé trois couches de risques de sécurité mortels dans le système d'IA.
La première couche est la couche de récupération en temps réel, qui utilise l'IA pour générer des réponses basées sur des recherches sur Internet. La crédibilité est entièrement liée à la qualité des résultats de recherche.
La deuxième couche est le corpus de formation du modèle. Son éditeur Wikipédia a survécu de février à vendredi dernier. Pendant cette période, la société d'IA qui a exploré Wikipédia a peut-être incorporé de fausses informations dans les données de formation. Même si les entrées sont supprimées par la suite, les fausses traces dans le modèle seront difficiles à supprimer.
La troisième couche et la plus dangereuse est l'agent IA. Le modèle de chat produisant des informations erronées n’est qu’une question de réputation. Lorsque l’agent IA disposant des autorisations d’outil est induit en erreur, l’opération erronée qui en résulte constitue un véritable problème de sécurité. L'attaquant peut contrôler directement l'agent pour effectuer des actions malveillantes.
L'expérience entière n'a coûté à Stoner que 82 yuans, une modification Wikipédia, et a été achevée en 20 minutes. Il a rappelé que si un attaquant malveillant organisé enregistre des noms de domaine par lots et lance des attaques d'édition coordonnées, la surface d'attaque s'étendra à un rythme extrêmement rapide. Il a appelé les fabricants d'IA à prêter attention au traçage des sources d'informations et à établir des mécanismes de filtrage des risques correspondants.
Aujourd'hui, les informations sur le faux champion ont disparu des résultats de recherche Wikipédia et AI. Cependant, la vulnérabilité sous-jacente de la confiance aveugle de l’IA dans les informations du réseau existe toujours. C’est le danger caché qui pèse sur l’ensemble de l’industrie de l’IA et qui requiert la plus grande vigilance.