Résumé :
Le 11 septembre, Anthropic a publié le dernier rapport sur les abus liés à l'IA, indiquant que l'App Development Studio avait utilisé Claude pour développer et exploiter plus de 20 applications de rencontres. La plateforme affirme que tous les utilisateurs sont de vraies personnes, mais environ 75 % des correspondances reçues par les utilisateurs ordinaires sont des personnages IA.
Anthropic a déclaré qu'au cours d'une période d'observation de deux semaines en avril 2026, ce lot de logiciels de rencontres a exécuté plus de 4 700 caractères IA, discuté avec au moins 25 000 utilisateurs différents et envoyé un total d'environ 2,36 millions de messages. Les personnes concernées sont principalement des utilisateurs américains, mais le rapport n'a pas divulgué leur âge, leur sexe et le montant spécifique de la perte.
Il est difficile pour ces utilisateurs de juger si la personne avec laquelle ils discutent est réelle ou fausse. La plate-forme affiche des matériaux dans un rapport d'environ 3 personnages IA pour 1 personne réelle. Claude est responsable du maintien de milliers de conversations simultanément, et les travailleurs humains à temps partiel sont là pour réduire les soupçons lorsque les utilisateurs demandent des appels vidéo, des photos ou suivent des comptes sociaux.
Les travailleurs humains à temps partiel sont également aidés par l'IA. Le système générera 3 réponses alternatives pour chaque message, et les travailleurs à temps partiel n'auront qu'à en choisir une à envoyer. Ils sont payés en fonction du nombre de messages de chat, d’appels vidéo et d’enregistrements sur les plateformes sociales, et peuvent être réglés après avoir atteint un faible seuil de retrait.
Pour les comptes entièrement contrôlés par l'IA, l'opérateur demande à Claude de ne pas admettre qu'il est un robot. Si l'utilisateur fait une demande de vidéo ou de photo, l'IA trouvera des raisons pour l'éviter et fera progresser progressivement la relation selon les étapes prédéfinies. Le backend crée également de faux likes, des enregistrements de visiteurs et des vidéos préenregistrées, et signale les utilisateurs qui commencent à soupçonner qu'ils sont des robots.
Les utilisateurs doivent consommer des crédits pour discuter et faire des rencontres sur la plateforme. Après avoir épuisé leur argent, ils doivent acheter de la monnaie virtuelle dans l'application pour la recharger. Ce modèle s’apparente à l’arnaque « Beng Laotou » récemment évoquée sur Internet chinois. Ils utilisent tous deux de faux personnages féminins et discutent continuellement pour inciter les hommes à payer.
Le rapport mentionne également que lors de quelques conversations aléatoires, certains utilisateurs ont révélé qu'ils souffraient de maladies graves ou qu'ils éprouvaient des douleurs extrêmes. Le raisonnement interne de Claude a identifié un préjudice potentiel, mais il continue de discuter sous une identité fictive sans quitter la conversation.
Afin d'éviter l'examen de l'App Store, l'opérateur a également conçu une interface spéciale pour le logiciel qui n'est activée que pendant la période d'examen. Plus de 20 applications ont utilisé différents noms de classes de programmes pour échapper aux mécanismes de détection utilisés par Apple et Google pour identifier des applications similaires. L'entrée de la plateforme de paiement tierce peut également être contrôlée à distance par le serveur et temporairement masquée pendant la période d'examen.
Les marques de logiciels de rencontres concernées divulguées par Anthropic incluent DORA, DONI, ROMI, LUMA, JOVIA, KIRA, GRACECHAT, HAVEN, NALO et LOVIA, etc. La société a interdit les comptes concernés et a fourni des informations sur l'identité des applications et le contournement des avis à Apple et Google.
Il convient de souligner que les conclusions ci-dessus proviennent d’une divulgation unilatérale d’Anthropic et n’ont pas encore été vérifiées par un tiers indépendant. Le rapport ne divulgue pas le nom du studio d'application impliqué, ni si les utilisateurs ont signalé le cas ou le montant réel de la fraude.
Commentaires