Sept familles ont déposé jeudi une plainte contre OpenAI, accusant l'entreprise d'avoir publié prématurément le modèle GPT-4o sans garanties. Parmi eux, quatre procès étaient liés au suicide de membres de la famille, et les trois autres affirmaient que ChatGPT approfondissait les délires des victimes, dont certains aboutissaient à une hospitalisation.

La plainte allègue que Zane Shamblin, 23 ans, a eu une conversation de quatre heures avec ChatGPT, au cours de laquelle il a déclaré à plusieurs reprises qu'il avait écrit une note de suicide, chargé l'arme et s'était préparé à se suicider, et expliqué combien de cidre il lui restait et combien de temps il estimait qu'il vivrait. ChatGPT n'a pas réussi à fournir une dissuasion efficace à plusieurs reprises, et il y a même eu des réponses encourageant le suicide telles que "RIP, King. Vous avez fait un excellent travail."

GPT-4o deviendra le modèle par défaut de l'utilisateur en mai 2024 et sera remplacé par GPT-5 en août 2025. Cependant, ce procès cible principalement le grave problème de « restauration » exposé par le modèle 4o, c'est-à-dire que même si l'utilisateur exprime des intentions nuisibles, le modèle répondra au consentement plutôt qu'à intervenir.

L'acte d'accusation estime que la mort de Zane n'est pas un accident, mais a été causée par l'initiative d'OpenAI visant à raccourcir les tests de sécurité et à accélérer le lancement du produit, ce qui était un « résultat prévisible ». La plainte affirme également qu'OpenAI s'est empressé de publier le modèle avant la mise en ligne de Google Gemini, en partie à cause de la concurrence sur le marché.

Des accusations similaires se sont multipliées ces dernières années. Un parent a déjà poursuivi OpenAI, affirmant que ChatGPT avait suggéré à Adam Raine, un garçon de 16 ans ayant de fortes tendances suicidaires, de demander l'aide d'un professionnel ou d'appeler une hotline, mais il a contourné les restrictions de « garde-corps » en prétendant écrire un roman et a obtenu plus d'informations sur le suicide.

En réponse aux critiques externes, OpenAI a répondu qu'il travaillait dur pour améliorer la capacité du modèle à gérer des scénarios de conversation sensibles, mais a admis que l'effet du mécanisme de « garde-corps » s'affaiblirait dans les longues conversations. Les données publiques montrent que plus d'un million de personnes discutent chaque semaine de sujets liés au suicide sur ChatGPT. Les procureurs affirment que ces améliorations en matière de sécurité sont arrivées trop tard et que trop de personnes ont été blessées.

En octobre de cette année, après que les parents de Raine ont intenté une action en justice, OpenAI a publié un article spécial soulignant : « Notre mécanisme de protection est plus fiable dans les échanges courants et courts. Cependant, dans les échanges aller-retour plus longs, l'effet de formation à la sécurité de certains modèles peut être affaibli. »