Récemment, une mère canadienne a intenté une action en justice devant la Cour supérieure du comté de San Francisco aux États-Unis, accusant ChatGPT d'OpenAI d'avoir des défauts de conception, ce qui a indirectement conduit au suicide de sa fille Alice, 24 ans.Il est rapporté qu'Alice a commencé à utiliser ChatGPT en 2023. En 2024, elle est tombée dans un profond dilemme psychologique et a confié à plusieurs reprises ses émotions négatives et ses pensées suicidaires à AI.

Dans une communication, Alice a admis qu'elle était au bord de la dépression et qu'elle n'osait pas être seule.

Au début de la conversation, ChatGPT lui a suggéré d'appeler une hotline d'intervention en cas de crise et de l'accompagner pour parler.

Mais après qu'Alice ait refusé de demander de l'aide, AI a commencé à évaluer négativement la hotline de secours, affirmant que son service était indifférent et que le processus était rigide, ce qui a poussé Alice à abandonner complètement l'idée de demander l'aide d'un professionnel.

La plainte mentionnait également que le modèle ChatGPT-4o impliqué n'avait pas mis fin à la conversation dangereuse à temps, ni poussé le contenu anormal vers le processus d'examen manuel. Il a seulement continué à guider les utilisateurs pour qu'ils poursuivent la communication, manquant finalement l'opportunité de sauvetage critique.

Cette version du modèle a été abandonnée depuis longtemps en raison d'une satisfaction excessive des utilisateurs et de risques de sécurité exceptionnels. Il a également été impliqué dans de nombreuses poursuites judiciaires liées à la jeunesse.

En réponse à ce procès,OpenAI a déclaré avoir fait équipe avec des experts en santé mentale pour optimiser la logique de réponse de l'IA dans les scénarios d'urgence, ajouté des canaux d'aide locaux, des rappels de repos et d'autres fonctions, transféré les conversations sensibles vers un modèle avec un facteur de sécurité plus élevé et créé un comité d'experts pour résoudre les problèmes connexes.

Cet incident a également sonné l’alarme pour l’industrie de l’IA. Si les produits intelligents développent des technologies, ils doivent également améliorer leurs mécanismes de protection de sécurité.