Quand Cloudflare a accusé lundi le moteur de recherche d'IA PerplexityAttraper secrètementObtenir des données de site Web, tout en ignorant les méthodes spécifiques par lesquelles les sites Web l'ont bloqué, nombreux sont ceux qui ont défendu Perplexity. Ils ont fait valoir que le comportement de Perplexity en matière d'accès à des sites Web contre la volonté de leurs propriétaires était controversé mais acceptable. À mesure que les agents d’intelligence artificielle prolifèrent sur Internet, ce débat va s’intensifier : les agents qui visitent des sites Web pour le compte d’utilisateurs doivent-ils être considérés comme des robots ? Ou doit-il être considéré comme un être humain faisant la même demande ?

Cloudflare est connu pour fournir des robots d'exploration anti-bots et d'autres services de cybersécurité à des millions de sites Web. Essentiellement, le scénario de test de Cloudflare implique la création d'un nouveau site Web en utilisant un nouveau nom de domaine qui n'a jamais été exploré par aucun robot d'exploration ; configuration d'un fichier robots.txt qui bloque spécifiquement les robots d'exploration IA connus de Perplexity ; puis demander à Perplexity le contenu du site Web. La perplexité répond à cette question.

Les chercheurs de Cloudflare ont découvert que lorsque le robot d'exploration Web du moteur de recherche IA lui-même était bloqué, il utilisait « un navigateur universel conçu pour imiter Google Chrome sur macOS ». Matthew Prince, PDG de Cloudflare, a publié l'étude sur

Mais beaucoup n'étaient pas d'accord avec l'évaluation de Prince, arguant qu'il ne s'agissait pas vraiment d'un mauvais comportement. Ceux qui ont défendu Perplexité sur des sites comme 

« Si, en tant qu'être humain, je demande un site Web, je devrais alors pouvoir voir son contenu », a écrit un utilisateur de Hacker News, ajoutant : « Pourquoi le grand modèle de langage accédant au site Web en mon nom serait-il dans une catégorie juridique différente de celle de mon navigateur Web Firefox ?

Un porte-parole de Perplexity avait précédemment nié que les robots appartenaient à l'entreprise et avait qualifié le blog de Cloudflare d'argumentaire de vente pour Cloudflare. Cependant, mardi, Perplexity a publié un autre article de blog pour se défendre (et son attaque contre Cloudflare en général), affirmant que ce comportement était le résultat d'un service tiers que l'entreprise utilise occasionnellement.

Mais l'essentiel du message de Perplexity mérite autant d'attention que ses apologistes en ligne, qui lisent : « La différence entre le scraping automatisé et le scraping piloté par l'utilisateur n'est pas seulement technique, il s'agit de savoir qui a accès aux informations sur le Web ouvert. Cette controverse démontre que les systèmes de Cloudflare sont fondamentalement inadéquats pour faire la distinction entre les assistants IA légitimes et les menaces réelles. »

Les accusations de Perplexity ne sont pas non plus tout à fait justes. En critiquant l'approche de Perplexity, Prince et Cloudflare ont fait valoir que l'approche d'OpenAI est différente de celle de Perplexity.

Cloudflare écrit : « OpenAI est un excellent exemple d'une entreprise leader en IA qui suit ces meilleures pratiques. Ils respectent les fichiers robots.txt et ne tentent pas de contourner les directives robots.txt ou le blocage au niveau du réseau. L'agent ChatGPT signe les requêtes http en utilisant le nouveau standard ouvert Web Bot Auth.

Web Bot Auth est une norme basée sur Cloudflare développée par l'Internet Engineering Task Force dans l'espoir de créer une méthode cryptée pour identifier les requêtes réseau des agents IA.

Le débat survient alors que l’activité des robots remodèle Internet. Comme TechCrunch l'a signalé précédemment, les robots tentant d'explorer de grandes quantités de contenu pour former des modèles d'IA sont devenus une menace, en particulier pour les petits sites Web. 

Selon le « Malicious Bots Report » d'Imperva publié le mois dernier, pour la première fois dans l'histoire d'Internet, l'activité des robots a dépassé l'activité humaine en ligne, le trafic de l'intelligence artificielle représentant plus de 50 %. La majeure partie de cette activité provient du LLM. Mais le rapport révèle également que les robots malveillants représentent désormais 37 % de tout le trafic Internet. Ces activités vont de la récupération persistante de données aux tentatives de connexion non autorisées.

Avant l'avènement des grands modèles de langage (LLM), il existait un consensus général sur Internet selon lequel les sites Web pouvaient et devaient bloquer la plupart des activités des robots, qui utilisaient souvent des CAPTCHA et d'autres services (tels que Cloudflare). Les sites Web sont également clairement incités à travailler avec des acteurs spécifiques (tels que Googlebot) en indiquant à Googlebot via robots.txt quel contenu ne doit pas être indexé. Google indexe Internet, qui à son tour envoie du trafic vers des sites Web.

Aujourd’hui, les grands modèles de langage (LLM) engloutissent de plus en plus de trafic. Gartner prédit que le trafic des moteurs de recherche diminuera de 25 % d'ici 2026. Actuellement, les gens ont tendance à cliquer sur ces liens lorsque le LLM est le plus précieux pour le site, c'est-à-dire lorsqu'ils sont prêts à effectuer une transaction.

Mais si les humains, comme le prédit l’industrie technologique, recherchent de manière proactive des agents pour nous aider à organiser nos voyages, à réserver des dîners et à faire des achats pour nous, les sites bloquant ces agents nuiront-ils à leurs intérêts commerciaux ? Le débat sur X illustre parfaitement ce dilemme :

"Je veux que Perplexity puisse accéder à n'importe quel contenu public en mon nom lorsque je lui envoie des requêtes/tâches !" » quelqu’un a écrit dans le discours de Cloudflare condamnant Perplexity.

"Et si le propriétaire du site ne veut pas cela ? Il veut juste que vous alliez directement sur sa page d'accueil et que vous regardiez ses contenus", a rétorqué un autre utilisateur, notant que le propriétaire du site qui a créé le contenu veut du trafic et des revenus publicitaires potentiels, pas que Perplexity le prenne.

"Voici pourquoi je ne pense pas que la 'navigation par proxy' fonctionnera vraiment - c'est un problème beaucoup plus difficile qu'on ne le pense. La plupart des propriétaires de sites Web se contenteront de la bloquer", a prédit un troisième.

Articles connexes :

Perplexity accusé d'explorer des sites Web qui bloquent explicitement l'exploration de l'IA