Depuis l’avènement de l’IA générative et des grands modèles de langage, certains ont averti que le résultat généré par une IA peut finalement influencer le résultat généré par les IA suivantes, créant ainsi une dangereuse boucle de rétroaction. Nous disposons désormais d’un tel cas documenté, soulignant davantage les risques dans l’espace technologique émergent.
Alors qu’il tentait d’illustrer un chatbot d’intelligence artificielle hallucinant de fausses informations, un chercheur a modifié par inadvertance le classement des résultats de recherche, provoquant des hallucinations d’un autre chatbot. Cet incident démontre la nécessité de mesures de protection supplémentaires à mesure que les moteurs de recherche améliorés par l’IA deviennent plus populaires.
Le chercheur en sciences de l'information Daniel S. Griffin a publié sur son blog plus tôt cette année deux exemples de chatbots fournissant des informations incorrectes, impliquant l'influent informaticien Claude E. Shannon. Griffin a également inclus une clause de non-responsabilité indiquant que les informations fournies par le chatbot étaient fausses pour empêcher les chercheurs automatiques d'indexer les informations, mais cela ne suffisait pas.
Griffin a finalement découvert que plusieurs chatbots, dont Bing et Google Bard de Microsoft, confondaient ses messages hallucinatoires avec de vrais messages et les classaient plus haut dans les résultats de recherche. Lorsqu'on leur a posé des questions spécifiques sur Shannon, les robots se sont appuyés sur les avertissements de Griffin avec un récit cohérent mais faux, attribuant à Shannon un article que Shannon n'a jamais écrit. Plus inquiétant encore, les résultats de recherche de Bing et Bard n'indiquaient pas que leur source était un LL.M.
Cette situation est similaire à celle où les gens citent des sources hors contexte ou hors contexte, conduisant à des recherches erronées. Le cas de Griffin démontre le potentiel des modèles d’IA génératifs pour corriger automatiquement de telles erreurs à une échelle terrifiante.
Microsoft a ensuite corrigé l'erreur dans Bing, en supposant que le problème était plus susceptible de se produire lors du traitement de sujets comportant relativement peu de matériel écrit par des humains en ligne. Une autre raison pour laquelle ce précédent est dangereux est qu'il fournit un modèle théorique permettant aux mauvais acteurs d'exploiter délibérément le LLM pour diffuser des informations erronées en influençant les résultats de recherche. Il est connu que les pirates informatiques propagent des logiciels malveillants en modifiant des sites Web frauduleux pour obtenir les meilleurs classements dans les résultats de recherche.
La vulnérabilité coïncide avec un avertissement de juin selon lequel, à mesure que davantage de contenu généré par LLM apparaîtra sur le Web, il sera utilisé pour former les futurs LLM. La boucle de rétroaction qui en résulte peut affaiblir considérablement la qualité et la crédibilité des modèles d’IA dans un phénomène connu sous le nom d’« effondrement des modèles ».
Les entreprises utilisant l’IA devraient veiller à ce que la formation continue de donner la priorité au contenu généré par l’homme. La préservation des informations et des documents moins visibles produits par des groupes minoritaires peut contribuer à résoudre ce problème.