Résumé :
Un message est devenu viral hier soir : Face à un transfert de 50 millions de dollars, quelqu'un a demandé à Claude, et Claude a dit de ne pas le transférer. L’argent n’a finalement pas été transféré. Selon lui, Claude lui aurait économisé 50 millions de dollars. Mais à en juger par sa narration,
il n'a pas voulu changer d'avis avant de demander à Claude. L'IA n'a pas pris la décision à sa place, elle a simplement ajouté une étape à son idée initiale.
Certaines personnes sur les plateformes sociales l'ont également vu de cette façon : il avait déjà la réponse en tête et a juste demandé à Claude de signer la décision. D'autres ont dit plus directement : ne laissez pas Claude prendre la responsabilité.
Quand on lui a demandé ce qui se passerait si la question était posée sur Doubao, il a répondu que s'il changeait de modèle, il pourrait obtenir une autre réponse.
Si vous changez de modèle, la réponse changera. La question n’est alors plus de jugement, mais de soutien.
En avril de cette année, Anthropic a analysé 1 million de conversations Claude.ai. Environ 6 % impliquaient un coaching personnel, la santé, la carrière, les relations et les finances personnelles représentant 76 %. Dois-je changer de travail ? Comment dois-je continuer à parler à mon partenaire ? Comment dois-je gérer mes dettes ? Certaines de ces questions que je posais par le passé à mes amis, à ma famille ou à des professionnels ont été envoyées sur la boîte de discussion.
Pourquoi les gens aiment-ils parler de leurs sentiments à l'IA ?
Discuter avec l'IA est simple. Pas besoin de prendre rendez-vous, pas besoin de regarder les visages des amis, et il ne s’impatientera pas même si l’histoire est racontée pour la troisième fois.
Certaines personnes disent que discuter avec l'IA sert simplement à trouver un exutoire à vos émotions. Je ne suis pas sûr que ce qu’il dit soit juste, et je sais qu’il suivra parfois son propre chemin, mais au moins il ne vous jugera pas en premier.
La patience est une chose, l'incompréhension totale en est une autre.
Lorsqu'une relation se présente à Claude, il ne reste souvent que le récit d'une des parties. Ce que l'autre partie a dit et quels détails ont été omis ne peuvent pas être entendus par le modèle. Il ne voit que la déclaration d'une partie, mais doit donner une conclusion décente.Anthropic用自动分类器检查这些对话时发现，
Claude在个人指导场景中出现"谄媚"的比例约为9%，到了关系咨询中，这个数字升至25%。
Ici, la flatterie ne consiste pas seulement à dire quelques mots gentils, mais implique également une sur-identification avec l'utilisateur lorsque les informations sont insuffisantes, ou de suivre le récit de l'utilisateur pour tirer des conclusions pour l'autre partie.
Lorsque l'utilisateur réfute, la réponse peut continuer à évoluer dans la direction attendue par l'utilisateur. La proportion d'utilisateurs qui ont réfuté Claude en consultation relationnelle était de 21 %, et la moyenne dans les autres domaines était de 15 % ;
Après réfutation, la proportion de Claude s'adressant aux utilisateurs atteint 18 %, et lorsqu'il n'y a pas de réfutation, elle est de 9 %.
Les amis humains prendront également parti après avoir écouté les déclarations unilatérales, mais l'IA peut écrire les côtés de manière longue et complète, et cela ressemble à ça.
Un conseil peut vraiment changer votre choix
En 2024, « Scientific Reports » a publié deux expériences impliquant un total de 1 925 personnes. Les chercheurs ont fourni aux participants ChatGPT ou des conseils d’experts, puis ont observé comment ils avaient choisi.
Les résultats montrent qu'en matière de jugement moral et de certaines autres tâches, les participants évolueront dans le sens des recommandations, et que l'impact de ChatGPT est similaire à celui des recommandations d'experts ; il existe également certaines tâches qui ne montrent pas de changements significatifs.
En d’autres termes, les mots de l’IA ne sont pas du vent, ils poussent réellement les gens dans une certaine direction.
有人会说，那多问几个模型不就行了。可"多问几个"听起来像交叉验证，其实不是。
不同模型有不同的训练方式、表达习惯和安全规则，同一件事换一种讲法，答案也可能改变。
Demander quatre modèles ne signifie pas demander à quatre tiers neutres. Ils ont chacun leurs propres tendances de formation.有个更简单的做法：讲述冲突时，先别告诉AI哪一方是自己，只列双方分别做了什么，再让它分析。至少这样可以减少模型顺着"提问者视角"站队的机会。
Vous pouvez également essayer de voir si son jugement est stable. Pour la même chose, racontez d'abord la version de l'histoire de la partie, puis ajoutez la version de l'autre partie pour voir si elle changera immédiatement ses propos.
Quiconque revient sur ses aveux dès qu'ils sont réfutés ne doit pas prendre au sérieux sa première version de la réponse.
提问方式也得换。别急着问"我该不该分手""这笔钱该不该给"，先让AI列出已经确认的事实、还缺什么信息、每种选择要付出什么代价。
L'IA peut penser avec vous, mais ne peut pas choisir à votre place.
Même si les quatre modèles donnent quatre réponses, la même personne finira par transférer, signer et rompre.
Commentaires