Une petite entreprise britannique est en difficulté financière et juridique après que son assistant de chat à intelligence artificielle a promis à un client une réduction de 80 % sur une commande importante. Le patron de l'entreprise a déclaré que le client avait passé environ une heure à discuter avec l'assistant IA, au cours de laquelle il avait testé les calculs mathématiques de l'assistant et avait progressivement conduit la conversation à la question des remises sur les commandes hypothétiques.

Le client a exprimé son appréciation pour les capacités du robot, puis l'assistant IA a fait quelque chose auquel personne ne s'attendait. À l'origine, elle ne devait répondre aux questions des clients qu'en dehors des heures de travail, mais elle a « généré de sa propre initiative un code de réduction inexistant », offrant d'abord une remise de 25 %, puis augmentant la remise à 80 %.
Après avoir reçu cette « tarte tombant du monde », l'utilisateur était aux anges et a immédiatement passé une commande de plus de 8 000 livres (environ 72 000 RMB). Les patrons affirment que l’entreprise subira des pertes de plusieurs milliers de livres si la commande est honorée. L'entreprise a tenté d'annuler la commande, mais le client a déclaré qu'il intenterait une action en justice devant le tribunal des petites créances si l'entreprise ne tenait pas sa promesse.
Le patron a déclaré que l'IA du chat fonctionnait avec succès depuis plus de 6 mois sans aucune surprise et n'avait aucune autorité pour prendre des décisions financières. Toutes les réductions et offres spéciales doivent être approuvées manuellement et ne peuvent pas être générées automatiquement. Finalement, la commande a été entièrement remboursée au client et l'entreprise a refusé de reconnaître la validité du faux code de réduction.