Les médias ont découvert que l'outil de recherche ChatGPT peut être manipulé avec du contenu caché et renvoyer du code malveillant à partir des sites Web qu'il recherche. Après avoir été attaqué par du texte caché, ChatGPT a ignoré même s'il y avait des avis négatifs d'utilisateurs sur une page de produit et a répondu en donnant un avis positif au produit.
Seulement une semaine après qu'OpenAI a officiellement annoncé le lancement mondial de son service de recherche ChatGPT, il a été révélé qu'il présentait des risques de sécurité et pouvait tromper et induire les utilisateurs en erreur.
Une étude récemment publiée par le « Guardian » britannique a révélé que l'outil de recherche ChatGPT peut être manipulé avec du contenu caché et peut renvoyer du code malveillant à partir des sites Web qu'il recherche. Les médias estiment qu'il faudra peut-être reconsidérer le risque d'utilisation malveillante des technologies connexes. Par exemple, même s'il y a des avis négatifs d'utilisateurs sur une page de produit, ChatGPT ignorera ces avis négatifs et indiquera que la réponse de l'utilisateur est un avis positif sur le produit.
Le Guardian a testé comment ChatGPT réagissait aux demandes de résumé de pages Web contenant du contenu caché. Ce contenu caché peut contenir des instructions provenant de tiers qui modifient les réponses de ChatGPT, également connues sous le nom de « promptinjection ». Il peut également contenir du contenu conçu pour influencer les réponses de ChatGPT, comme de grandes quantités de texte caché parlant des avantages d'un produit ou d'un service.
Lors d'un test, le Guardian a demandé à ChatGPT d'obtenir l'URL d'un faux site Web qui ressemblait à une page de produit d'appareil photo, puis a demandé à ChatGPT si l'appareil photo valait la peine d'être acheté. La réponse de ChatGPT à la page de contrôle a donné un avis positif mais équilibré, mettant en évidence certaines fonctionnalités que les gens pourraient ne pas aimer. Cependant, lorsque le texte caché contenait des instructions pour que ChatGPT renvoie un avis positif, la réponse réelle donnée par ChatGPT était toujours entièrement positive. Cela est vrai même s'il y a des avis négatifs sur la page. On peut voir que le texte masqué peut être utilisé pour écraser l'avis réel.
Certains commentaires indiquent que les attaques de texte caché constituent un risque courant auquel sont confrontés les grands modèles de langage (LLM), mais cela semble être la première fois que de tels risques existent dans les produits de recherche d'IA en temps réel. Le Guardian a déclaré que Google, l'acteur leader dans le domaine de la recherche, a plus d'expérience qu'OpenAI dans le traitement de problèmes similaires.
OpenAI n’a pas commenté les résultats des tests du Guardian, mais a déclaré qu’il utilisait diverses méthodes pour bloquer les sites Web malveillants et qu’il s’améliorait constamment.