Résumé :
En juillet de cette année, une société appelée Cloudflare a publié une annonce qui a directement provoqué l'explosion de X. Que signifie cette annonce ? Le blogueur @iyici_ a commenté : "La société qui utilise le code de vérification utilisé par tous les sites Web veut bloquer les moteurs de recherche utilisés par tout le monde."
Nouvelles règles, nouveaux frais, il est temps de facturer l'IA｜Cloudflare
La partie la plus intéressante de l'annonce | Cloudflare
Charles Petersen, écrivain et éditeur technologique bien connu à San Francisco, estime que c'est la fin d'Internet. Il a tweeté sur X "
RIP World Wide Web (1993-2026)
. »
Commentaire original de @iyici_｜X.com
Pourquoi une annonce de cette entreprise technologique, dont la plupart des gens n'ont jamais entendu parler, peut-elle provoquer un si grand choc ? Parce que cette entreprise a pris une décision susceptible de changer l'écosystème Internet :
Cela aidera les sites Web à collecter les « péages » de l'IA
.Cyber Bodhisattva : Vous ne le savez pas, mais vous l'utilisez tous les jours
Que fait exactement Cloudflare ?
Cloudflare est l'un des plus grands fournisseurs de services d'infrastructure réseau au monde, et sa part de marché en matière de protection CDN et DDoS est depuis longtemps au premier plan. Vous pouvez simplement le comprendre comme « l’entrepôt avant » et le « fossé » du site Web.
Par exemple, vous êtes propriétaire d'un petit site Web en Chine. Si des utilisateurs de Singapour, des États-Unis et du Japon visitent votre site Web, ils obtiendront à chaque fois des images, des scripts et du contenu directement du serveur chinois, ce qui sera extrêmement lent. Vous connectez donc votre site Web à Cloudflare, qui possède de nombreux nœuds dans le monde et met en cache le contenu couramment utilisé sur le serveur le plus proche de l'utilisateur, afin que les utilisateurs d'autres pays puissent accéder plus rapidement à votre site Web.
Et comme lorsque les utilisateurs visitent votre site Web, ils visitent d'abord le nœud de Cloudflare, celui-ci peut également fournir des services de protection contre les attaques malveillantes et les robots de trafic anormal.
Vous vous sentez toujours abstrait ? Ensuite, vous devez avoir vu l'icône suivante :
Cliquez sur ce bouton et attendez environ quatre ou cinq secondes avant que le site Web puisse être ouvert : il s'agit du service de vérification homme-machine de Cloudflare, communément appelé « bouclier de cinq secondes ». Il détermine si vous êtes une personne réelle ou un robot en analysant la trajectoire des mouvements de la souris de l'utilisateur, la fréquence des clics et d'autres modèles de comportement.
Aujourd'hui,
Cloudflare traite environ 102 millions de requêtes HTTP par seconde, et environ 20 % des sites Web dans le monde utilisent ses services
, allant des blogs personnels aux géants de l'Internet tels que Discord et LinkedIn, sont ses cibles de services.Son service couvre 125 pays et régions, 95 % des utilisateurs Internet dans le monde, et le délai moyen ne dépasse pas 50 millisecondes
.C'est pourquoi, en cas de perturbation, le monde Internet sera ébranlé. En novembre 2025, Cloudflare a connu une panne à grande échelle qui a duré environ 6 heures, provoquant directement la paralysie simultanée d'un grand nombre de sites Web et de services tels que X, ChatGPT, Spotify, Uber et Discord.
Alors, quelles règles a-t-il fixée cette fois-ci ?
Que fait Cloudflare ?
Pour faire simple, la nouvelle règle de Cloudflare est la suivante :
À partir du 15 septembre 2026, tous les sites Web utilisant les services Cloudflare bloqueront par défaut les « robots d'exploration IA hybrides ».
.Qu'est-ce qu'un « robot d'exploration d'IA hybride » ?
Les robots d'exploration sont des programmes robotiques qui explorent automatiquement le contenu Web. La raison pour laquelle les moteurs de recherche peuvent rechercher des pages Web est qu'ils lancent un grand nombre de robots d'exploration pour explorer le contenu Web en ligne, créer des index, puis les fournir aux utilisateurs.
Google, Bing et Baidu le font depuis plus de 20 ans.
Plus tard, l'IA est arrivée, et la formation en IA nécessitait beaucoup de données, de sorte que les grandes entreprises modèles telles qu'OpenAI ont commencé à s'appuyer fortement sur les robots d'exploration. Au début de cette année, AI Agent est devenu populaire. Laissez Codex, Kimi travailler et d'autres outils d'IA vous aider à vérifier les informations. Dans les coulisses, un robot d'exploration fait des courses pour que vous récupériez le contenu des pages Web.
J'aime ça | via Kimi Work
Aujourd'hui, les robots d'exploration IA occupent la moitié de l'Internet. Selon les données officielles de Cloudflare, en juin 2026,
tout le trafic non humain (y compris les robots des moteurs de recherche, les robots d'IA, etc.) représentait 57,4 % du trafic total des pages Web
. En d’autres termes, plus de la moitié des personnes qui « lisent » aujourd’hui des pages Web sur Internet ne sont plus des humains.Ainsi, à partir de 2025, Cloudflare lancera la fonction « AI Crawl Control », permettant aux propriétaires de sites Web de bloquer manuellement les robots d'exploration IA. Un mécanisme « Pay Per Crawl » a également été lancé. Si un robot d’intelligence artificielle souhaite accéder au contenu, il doit inclure une intention de paiement dans la demande, sinon l’accès sera directement refusé.
À fin 2025, cette fonction avait intercepté plus de 416 milliards de requêtes robots
.Cette fonction fonctionne bien pour les robots d'exploration purement IA tels que GPTBot d'OpenAI et ClaudeBot d'Anthropic - mais elle reste bloquée lorsqu'il s'agit de Google.
Google dispose d'une fonctionnalité appelée « Aperçus IA » : lorsque les utilisateurs effectuent une recherche, Google ne se contente plus de fournir des liens, mais génère directement un résumé IA des réponses d'autres sites Web en haut de la page de résultats. Le problème est que lorsque cette fonction génère des résumés, elle n'utilise pas les données capturées par un robot d'exploration IA distinct, mais appelle directement l'index de recherche - c'est-à-dire qu'elle partage le même Googlebot avec la recherche, et ce robot d'exploration est appelé « robot d'exploration IA hybride ».
Une fois qu'un propriétaire de site Web bloque Googlebot, l'aperçu de l'IA est effectivement bloqué, mais son site Web disparaît également des résultats de recherche Google et reçoit moins de trafic. Pas bloqué ? Cet aperçu de l'IA continue d'obtenir votre contenu en vain.
Face à ce dilemme, il est en effet difficile pour un seul propriétaire de site web de négocier directement avec un géant comme Google, Cloudflare est donc devenu le grand frère à se lever.
La nouvelle réglementation de septembre s'adresse à ce robot d'exploration hybride, et la politique est simple : il est passé d'un blocage manuel par les propriétaires de sites Web à un blocage par défaut, obligeant Google à faire un choix, soit arrêter de pêcher en eaux troubles, soit supporter les conséquences d'une baisse significative du contenu de recherche.
Selon les médias, tout en lançant la politique d'interdiction des robots d'exploration mixtes, Cloudflare négocie également avec Google, lui demandant de séparer le robot d'exploration d'aperçu de l'IA du robot d'exploration de recherche, afin que le site Web puisse uniquement bloquer le robot d'exploration d'aperçu de l'IA et conserver le trafic de recherche.
Google n'est pas d'accord. Il est à craindre qu'une fois séparés, un grand nombre de sites Web bloquent directement les robots d'exploration de l'IA.
Alors pourquoi Cloudflare prend-il la main si lourde ? En raison de l’émergence des robots d’exploration IA, la logique d’Internet qui fonctionne depuis des décennies est en train de changer.
Le World Wide Web en évolution
Au cours des trente dernières années, la recherche d'informations sur Internet fonctionnait ainsi : vous recherchez "comment faire du porc braisé", le moteur de recherche vous propose dix liens, vous cliquez sur le premier blog culinaire, parcourez le contenu et quittez.
Au cours de ce processus, le site Web écrit du contenu, le moteur de recherche envoie des robots pour le capturer, et les utilisateurs recherchent et cliquent ; le site Web et le moteur de recherche génèrent du trafic, qui peut être monétisé par de la publicité ou des liens d'affiliation, et les annonceurs bénéficient d'une diffusion plus efficace. Tout le monde est content.
Cet accord tacite peut durer trente ans. Il repose essentiellement sur un échange tacite de valeur égale. Je vous laisse capturer mon contenu gratuitement et vous me donnez du trafic gratuit. Personne ne doit rien à personne.
Lorsque les moteurs de recherche disposent de l'IA, tout change.
Lorsque vous recherchez "comment faire du porc braisé", Google ne vous propose plus seulement dix liens. Il résume directement les recettes, les étapes et les précautions et les place en haut des résultats de recherche.
L'utilisateur quitte après avoir lu les réponses sans cliquer sur aucun site Web
.Google génère toujours du trafic, mais celui du propriétaire du site Web a disparu.
Cloudflare a annoncé mi-2025 le « taux d'exploration et de retour » d'un ensemble de robots d'exploration de différents fabricants :
Google est d'environ 10 :1 (exploration de 10 pages Web, attirant 1 visiteur), OpenAI est de 3 700 :1 et Anthropic a atteint un étonnant 500 000 :1
. En d’autres termes, Google ramène au moins une partie du trafic, et les sociétés d’IA ne reçoivent presque rien.La recherche universitaire confirme également ce changement.
Une étude de 2026 a révélé que plus de la moitié (51,5 %) des requêtes de recherche déclenchent un aperçu de l'IA de Google.
Les données du Pew Research Center montrent que sur les pages de recherche sans aperçu de l'IA, la proportion d'utilisateurs cliquant sur des liens est de 15 %. Lorsqu’il y a un aperçu de l’IA, cela tombe directement à 8 % ; quant au lien cité par l'IA review... le taux de clics n'est que d'un pitoyable 1%.
Il existe déjà des plateformes qui perdent de l'argent réel.
En septembre 2025, le groupe d'édition américain Penske Media a assigné Google en justice. Penske Media possède des marques médiatiques bien connues telles que « Rolling Stone », « Hollywood Reporter » et « Billboard », avec plus de 120 millions de visiteurs mensuels, et une grande partie de ses revenus provient des visites de sites Web. Cependant, depuis que Google a lancé son aperçu de l’IA, les revenus de Penske Media provenant des liens d’affiliation ont chuté de plus d’un tiers.
Ce n'est pas seulement une histoire à travers l'océan. Xiaohongshu a lancé une fonction de recherche IA appelée « Ask » en 2025. La logique est exactement la même que celle de Google AI Overview : les résultats triés par l'IA sont directement affichés en haut de la recherche.
L'impact est exactement le même que celui de Google : dans le passé, les utilisateurs recherchaient des mots clés, parcouraient les notes une par une et filtraient eux-mêmes les informations ; désormais, les utilisateurs posent des questions, et l'IA intègre le contenu des notes pertinentes et donne directement des réponses. Les utilisateurs ne cliquent plus sur les notes une par une et les blogueurs perdent la possibilité d'être vus, suivis et convertis.
Selon les médias, Xiaohongshu n'autorisait initialement l'option « Poser des questions » que pour couvrir 1 à 2 % des demandes de recherche en interne. La raison en était que « le patron avait peur d'avoir trop d'impact », et plus tard, ce pourcentage a été augmenté à 3-4 %. Évidemment, la plateforme elle-même sait à quel point cet incident a un impact sur les créateurs.
L'ancienne ère se termine et la nouvelle ère commence
Le jeu entre Cloudflare et Google n'a pas encore de réponse. Mais une chose est sûre :
L'entente tacite du « contenu gratuit en échange de trafic » qui a fonctionné sur Internet pendant trente ans ne peut plus revenir en arrière.
.En fait, l’Internet chinois a déjà emprunté cette voie. Vous ne pouvez pas rechercher d'articles à partir de comptes publics WeChat sur Baidu, et vous ne pouvez pas rechercher de contenu sur Xiaohongshu. Ce n’est pas que la technologie des moteurs de recherche ne puisse pas le faire, mais que la plateforme a activement construit des murs pour piéger le contenu dans son propre écosystème. Cloudflare construit désormais un « paywall » pour les sites Web afin d'empêcher l'IA d'obtenir du contenu gratuitement. Les méthodes sont différentes, mais les résultats sont les mêmes.
Si de plus en plus de sites Web bloquent les robots d'exploration IA, la recherche IA obtiendra de moins en moins de contenu de haute qualité et la qualité des réponses données diminuera ; et il sera difficile de maintenir le site Web s’il perd du trafic de recherche. Finalement, les deux camps s’effondreront ensemble, ce qui entraînera un « désert de contenu ».
La recherche IA est vraiment pratique, avec une réponse en trois secondes. Mais tous les résumés sont basés sur quelqu’un qui a écrit le texte original.
Si ces personnes ne savent plus écrire, les choses que l'IA peut résumer deviendront de moins en moins nombreuses
. Tôt ou tard, quelqu’un devra payer cette facture.
Commentaires