Certains utilisateurs ont signalé avoir trouvé de nombreux contenus tronqués de Zhihu en utilisant la recherche Microsoft Bing et la recherche Google. Autrement dit, le titre et le texte du contenu Zhihu dans les résultats de recherche peuvent être tronqués, mais certains paragraphes précédant le texte capturé peuvent être visualisés normalement. Considérant que Zhihu a précédemment bloqué tous les robots des moteurs de recherche (araignées/robots) à l'exception de Baidu et Sogou, Bluepoint.com spécule que Zhihu veut interférer avec les moteurs de recherche et autres robots d'exploration au moyen de caractères tronqués, afin d'empêcher ces moteurs de recherche et robots d'exploration de récupérer le contenu de Zhihu et de l'utiliser pour former des modèles d'intelligence artificielle.

Cette spéculation est maintenant fondamentalement confirmée, car certains internautes ont découvert que tant que la chaîne de l'agent utilisateur (UserAgent) contient des mots-clés du robot tels que spider et bot, Zhihu renverra un contenu tronqué. Si ces mots-clés ne sont pas inclus, le contenu normal sera renvoyé.

Blue Dot Network a également réalisé des tests pour reproduire cette situation. Par exemple, la chaîne proxy [Blue Dot Network – No Spider] peut afficher un contenu normal, tandis que [Blue Dot Network – No Spider – Spider] affichera un contenu tronqué.

Il convient de noter que Blue Dot a également testé le moteur de recherche de Baidu, Baiduspider, qui a également renvoyé du contenu tronqué. Cela n’affecterait-il pas l’exploration de Baidu ? Ce problème peut également être résolu par des moyens techniques, c'est-à-dire que le serveur fournit aux robots d'exploration Baidu un canal d'index spécial similaire à une liste blanche, qui peut explorer à volonté n'importe quel contenu sans restriction. Cette méthode peut également être utilisée pour lutter contre certains robots malveillants se faisant passer pour des robots Baidu pour explorer le contenu, c'est donc également une bonne méthode de défense du point de vue d'un site Web.

Une autre situation intéressante dans le test est que le robot d'exploration GPT d'OpenAI, c'est-à-dire GPTBot, n'a parfois pas de caractères tronqués et parfois il en a, mais dans la plupart des cas, il est tronqué. Parce que UA correspond au mot-clé bot, il renvoie un contenu tronqué. Il est peu probable que ce soit le cas car Zhihu permet également à OpenAI d'explorer le contenu.

Dès le début, Zhihu a bloqué d'autres moteurs de recherche et a permis uniquement à Baidu, Sogou et Bing d'avoir un contenu tronqué et désormais une correspondance de mots clés dans les résultats de recherche. Ces situations montrent essentiellement que Zhihu ne souhaite vraiment pas que son contenu soit exploré. Pour Zhihu, le contenu existant est une immense mine d’or. Si l’entreprise d’intelligence artificielle ne dépense pas d’argent pour l’acheter, elle ne pourra certainement pas fournir ces données. Par conséquent, il peut être signalé qu'une certaine entreprise a conclu un accord avec Zhihu pour obtenir du contenu pour la formation des modèles d'IA.

Test 1 : Le navigateur normal UA peut renvoyer le contenu correct

Test 2 : Test-bing-bot atteint le mot-clé bot et renvoie un contenu tronqué

Test 3 : le test test-google-spider atteint le mot-clé spider et renvoie des caractères tronqués

Test 4 : Testez Blue Dot Web - aucune araignée ne manque le mot-clé et renvoie un contenu normal

Test 5 : Testez le réseau de points bleus - il n'y a pas d'araignée - il y a un marteau - l'araignée renvoie du code tronqué car elle atteint le mot-clé

Test 6 : Testez Blue Dot Network - il n'y a pas d'araignée - il y a un marteau - le bot renvoie du code tronqué car il atteint le mot-clé

Test 7 : GPTBot atteint le mot-clé mais, de manière inattendue, n'a pas de caractères tronqués. La probabilité que cela se produise est extrêmement faible et la plupart d’entre eux sont encore des caractères tronqués.

Test 8 : baiduspider a également des caractères tronqués car il atteint le mot-clé.

Test 9 : Il s'agit de l'UA complet rendu par le robot d'exploration Baidu

Test 10 : GPTBot est également tronqué la plupart du temps