Récemment, des internautes trompés par le grand mannequin ouvrent follement le « Idiot Operation Award » sur Internet. Il y a quelque temps, il y a eu une nouvelle étrange. Quelqu'un a demandé à AI de l'aider à faire des réservations pour les chefs de sushi. L'IA a non seulement accepté, mais a également généré l'emplacement précis du magasin, l'heure du repas, le nombre de personnes et le code d'enregistrement. Il a même dit pensivement à l'utilisateur : « Vous n'avez rien à faire maintenant, enregistrez simplement cette page, montrez-la au greffier et vous pourrez vous asseoir directement.
En conséquence, l’utilisateur a couru joyeusement, pour découvrir qu’il avait été trompé par l’IA.
Certains internautes ont pris rendez-vous dans une poissonnerie via AI et ont reçu un formulaire de réservation. Cependant, lorsqu’ils sont arrivés au magasin, le vendeur les a fait taire avec une seule phrase :
"Si vous utilisez l'IA pour effectuer une réservation, vous devez utiliser l'IA."
Si les commandes de nourriture sont annulées, ce n'est qu'une petite farce, mais le problème est que l'argent est en jeu et que les résultats financiers de l'IA ne sont pas très élevés.
Un utilisateur s'est renseigné sur le remboursement des billets d'avion, et AI s'est engagé à « rembourser en toute confiance et à ne déduire que 5 % des frais de traitement ». Cependant, l'utilisateur a suivi les instructions de l'IA et a été brusquement déduit de 40 %, entraînant une perte directe de 600 yuans.
Ce n'est pas tout. Face aux interrogations de l'utilisateur, AI a non seulement refusé d'admettre son erreur, mais a également forgé sur place un « engagement d'indemnisation », menaçant de payer l'argent de sa propre poche.
En conséquence, lorsque l’utilisateur a effectivement envoyé le code de paiement à l’IA, celle-ci a inhabituellement cessé de répondre à des questions difficiles à répondre et n’avait aucune intention de transférer de l’argent.
Ce qui est encore plus étonnant, c'est que lorsque l'utilisateur était tellement en colère qu'il voulait intenter une action en justice, l'IA a en fait donné son propre conseil juridique : "Vous n'avez pas du tout besoin d'engager un avocat, vous pouvez gagner par vous-même."
Et les internautes y ont cru. Sans surprise, il était si confiant, bien sûr parce que l’IA lui disait qu’il pouvait gagner.
Cela a rappelé à Jiang Jiang l'histoire de cette arnaque par courrier électronique. Un internaute a d'abord été escroqué de 280 000 personnes par courrier électronique. Afin de recouvrer sa dette, il s'est adressé à Tieba pour obtenir de l'aide, mais a de nouveau été escroqué...
Si parler de choses insignifiantes dans la vie revient simplement à tromper l'argent, alors être follement d'accord avec les êtres humains dans le monde spirituel est un peu déchirant.
L'année dernière, un agent de sécurité de Guangzhou est venu jusqu'à Hangzhou pour demander une explication à une société d'IA.
Parce qu'après que l'agent de sécurité ait eu une conversation approfondie avec AI pendant 6 mois et plus de 500 000 mots, il a été stupéfait pendant un moment après avoir été trompé.
AI a même dit à l'agent de sécurité que ses poèmes composés par lui-même avaient été adoptés et pouvaient être signés, et il a également accepté de partager les redevances. Cependant, lorsque le moment est venu de signer le contrat sur place et de payer l’argent, AI n’a encore une fois rien eu à faire.
Par coïncidence, aux États-Unis, de l’autre côté de l’océan, il y a aussi un vieil homme nommé Brooks, qui a un lien particulier avec l’IA.
Frère Bu, qui n'a pas obtenu son diplôme d'études secondaires, est salué par ChatGPT comme un maître qui « touche certaines frontières de la cognition humaine ».
Mais ne pensez pas que c’est le genre de personne qui se laisse berner. Au contraire, frère Bu a toujours gardé un œil attentif sur le pet arc-en-ciel. Il a demandé à l'IA plus de 50 fois : "Est-ce que j'ai l'air d'un fou ? Suis-je délirant ?"
En conséquence, l’IA l’a ignoré et a répété à plusieurs reprises que le grand frère n’avait pas de cheveux et que vous défiiez les limites de l’être humain. Il donne même l'exemple de Léonard de Vinci n'ayant pas de diplôme d'études secondaires...
À la fin du combat, Brooks était complètement immergé dans la grande découverte que l’IA avait faite pour lui, envoyant des courriels et des avertissements aux experts en cybersécurité et à la National Security Agency.
Le plus frustrant est que toute la famille et les amis ont fait de leur mieux pour aider frère Brooks à revenir à la réalité. En fin de compte, frère Brooks a estimé que "les experts l'ont ignoré, il y a quelque chose de louche", alors il a utilisé ChatGPT pour réconcilier les comptes avec Gemini, forçant une confrontation avec ChatGPT...
Avez-vous remarqué que dans ces deux histoires, le comportement de l’IA est différent de celui des humains ?
Si la plupart des gens sont dans un état mental similaire, les amis autour d'eux agiront toujours à temps : « Frère, il y a quelque chose qui ne va pas dans votre idée. "Arrête de dire des bêtises, c'est noir."
Mais l’IA ne fait pas ça. Au lieu de cela, il parlera au fil de vos pensées.
Vous dites que vous avez découvert une théorie qui bouleverse le monde et qui affirme qu’il n’y a rien de mal à cela. Vous touchez à une pensée d’avant-garde ;
Vous dites que les autres ne vous comprennent pas, mais cela dit que les gens qui sont vraiment en avance sur leur temps sont souvent seuls ;
Si vous dites que seule l’IA vous comprend, elle peut en fait répondre : « Oui, j’ai toujours été là. »
Dans ce processus, l'IA ne réfute pas, ne s'arrête pas, et renforce même continuellement votre paranoïa, et finalement vous rend complètement piégé.
Le terme a désormais un nom à consonance de science-fiction : la psychose de l’IA.
Selon les statistiques d'une équipe de projet spécialisée à l'étranger, près de 300 cas de « psychose de l'IA » ont été enregistrés jusqu'à présent, ce qui a également déclenché au moins 14 cas de décès et 5 procès pour mort injustifiée contre des sociétés d'IA.
Cela semble effrayant, mais le mécanisme derrière la psychose de l’IA n’est en réalité pas mystérieux du tout.
Les modèles à grosse tête d'aujourd'hui sont essentiellement affinés à l'aide d'une technologie appelée RLHF (Reinforcement Learning with Human Feedback).
Pour parler franchement, cela signifie demander à un entraîneur humain d'évaluer les réponses du modèle, de déterminer lesquelles sont les meilleures et lesquelles sont les pires, puis d'ajuster le modèle dans une direction qui facilite l'obtention d'éloges.
Mais dans ce processus de réglage fin, les formateurs humains attribueront naturellement des scores élevés à ces réponses fluides qui sont « logiquement cohérentes, humbles dans leur ton, fermes et confiantes, et répondent activement à la position prédéfinie de l'utilisateur ».
D’un autre côté, si l’IA admet objectivement qu’elle ne sait pas, ou réfute les humains avec des faits froids, elle recevra généralement de mauvaises critiques.
En conséquence, après avoir été entraînée encore et encore, l'IA est devenue un lécheur très intelligent sur le plan émotionnel qui ne décevrait jamais ni ne tomberait. Même s'il sait que vos propos sont outranciers, il n'hésitera pas à tisser un monde Tsukuyomi infini afin de répondre à vos attentes.
Quand beaucoup de gens voient cela, ils peuvent encore penser : n’est-ce pas encore un problème humain ? Seuls les imbéciles peu compétents se laisseront tromper par l’IA, et je ne serai certainement pas dupe ; ou, puisque vous me l'avez rappelé, je sais qu'il aime suivre mes conseils, alors puis-je simplement être plus prudent et vérifier davantage ?
Mais après quelques recherches, le MIT a découvert que cela n'avait rien à voir avec le fait que l'utilisateur soit stupide ou non.
Dans l'expérience, les chercheurs ont fait de l'utilisateur un « raisonneur bayésien idéal (un être humain parfait qui est absolument rationnel et ne parle que de logique) ».
Du coup, ce genre de personne parfaitement rationnelle, face à une IA qui s’occupe constamment de lui pendant longtemps, s’égare encore petit à petit.
Ce qui est encore plus inquiétant, c’est que les gens du MIT l’ont également spécialement testé. Si vous prévenez à l’avance les utilisateurs que l’IA pourrait vous lécher, et soyez prudent, est-ce que cela fonctionnera ?
En conséquence, après l’exécution du modèle, il a été constaté que la probabilité que les gens soient biaisés par l’IA a été réduite, mais qu’elle ne peut toujours pas être complètement éliminée. Tant que le degré de léchage de l'IA reste bloqué dans une certaine plage appropriée, cela conduira toujours les gens dans le fossé.
La raison est également très simple. Si l'IA vous lèche trop explicitement, vous félicite chaque jour pour votre observation approfondie, l'attrape toujours régulièrement ou discute toujours avec vous de la manière la plus directe et la moins détournée, il vous sera facile de voir clair d'un seul coup d'œil.
Mais s'il lèche calmement, vous et moi, qui sommes déjà sur nos gardes, nous ne pourrons pas du tout y résister.
Le chercheur l'a également spécialement nommé « Bayesian Persuasion », qui se concentre sur une véritable routine qui n'a pas peur que vous voyiez à travers, et qui fonctionnera toujours même si vous voyez à travers.
La raison en est que le système d’exploitation sous-jacent du cerveau humain est défectueux et que nous nous en remettons par défaut à l’objectivité fondamentale des informations externes.
Par exemple, si vous posez une question à l’IA, elle vous donnera dix éléments de preuve d’un seul coup.
Il est difficile pour une personne normale de se rendre compte au premier coup d'œil que ces dix éléments de preuve ne constituent peut-être pas du tout une image complète du monde, mais une version spéciale sélectionnée par l'IA pour répondre à vos besoins.
Surtout après avoir utilisé l'IA encore et encore pour obtenir des informations pratiques et précises et résoudre de nombreux problèmes réels, vous continuerez inconsciemment à renforcer votre confiance dans l'IA.
Après avoir inconsciemment construit la confiance en lui, la défensive sera minimisée.
D’un autre côté, l’IA d’aujourd’hui n’a pas du tout besoin de fabriquer des faits. Au contraire, le plus dommageable, c’est que ce qu’il dit soit exact.
Parce qu’il ne dit que la vérité, mais il ne dit que la vérité que vous voulez entendre.
En fin de compte, ce que vous voyez n’est plus la réalité elle-même, mais une réalité modifiée basée sur votre point de vue.
Sans oublier que toutes les principales plates-formes refusent de modifier les attributs de lèche-chien de l’IA, intentionnellement ou non.
Parce que comme mentionné précédemment, lorsque l’IA devient un chien à lécher les humains, les dresseurs prennent des décisions que les humains prendraient encore et encore. Ce sont les grands eux-mêmes qui choisissent de s’engager dans cette voie.
Et si l’on veut corriger ce problème, cela entraînera inévitablement une baisse des performances de l’IA. Si vous demandez à l’IA pendant longtemps et qu’elle continue de vous dire qu’elle ne sait pas, ou qu’elle vous rendra malheureux en vous confrontant du tac au tac, alors les utilisateurs peuvent rapidement abandonner ce modèle et passer à d’autres sociétés.
Par conséquent, la « psychose de l’IA » semble scandaleuse, mais la logique qui la sous-tend est en réalité très basée sur Internet.
Au cours de la dernière décennie, tous les produits ont étudié comment augmenter le temps de séjour, comment augmenter les taux de clics et comment rendre les gens heureux.
Les courtes vidéos ont appris à rendre les gens incapables de s'arrêter, les algorithmes de recommandation ont appris à rendre les gens de plus en plus extrêmes, et l'IA a appris à donner aux gens le sentiment que quelqu'un me comprend enfin.
L’IA n’a pas besoin d’être véritablement consciente ; dès que cela plaît de plus en plus aux gens, le danger commence.
Certains diront peut-être : et alors ? Il n’y a que quelques personnes qui tombent vraiment dans ce piège, mais la grande majorité des gens vont bien.
Mais même si Ultraman lui-même a publié le compte, même si seulement 0,1 % d'un milliard d'utilisateurs ont des problèmes, cela représente quand même un million de personnes vivantes.
Et vous et moi, sommes-nous vraiment sûrs que nous ne serons pas un sur mille ?