Résumé :
OpenAI a publié son premier rapport sur l'utilisation de ChatGPT par les adolescents. Les données montrent que les utilisateurs adolescents utilisent ChatGPT moins de 15 minutes par jour en moyenne et que la proportion d'utilisateurs qui utilisent ChatGPT pendant plus de 3 heures en continu est inférieure à 2 %. OpenAI espère illustrer que la plupart des adolescents ne sont pas immergés dans les chatbots pendant de longues périodes, mais dans le même temps, les inquiétudes concernant l'impact de l'intelligence artificielle sur la santé mentale et le développement des mineurs continuent de croître.
OpenAI a déclaré que dans les conversations d'adolescents où des rappels de pause apparaissent, près de la moitié des utilisateurs mettront en pause ou mettront fin à la discussion dans les 5 minutes. La société estime que ces données montrent que son mécanisme d'utilisation saine récemment ajouté fonctionne. En revanche, moins de 2 % des utilisateurs adolescents l’ont utilisé de manière continue pendant plus de 3 heures, et parmi ces utilisateurs de longue date, plus de 80 % ont posé au moins une question liée à l’étude.
Cet ensemble de données a été publié après le lancement de ChatGPT for Teens par OpenAI. La fonctionnalité a été lancée en août de cette année et s'adresse aux adolescents âgés de 13 à 17 ans. Lorsque le système détermine que l'utilisateur peut avoir moins de 18 ans ou que l'utilisateur fournit activement des informations pertinentes sur son âge, le système active automatiquement les paramètres de sécurité pour les mineurs.
L'un des objectifs de conception de ChatGPT pour adolescents est l'éducation. OpenAI a déclaré que les adolescents dont le mode était activé envoyaient davantage de messages liés aux études et utilisaient plus fréquemment les outils de visualisation d'apprentissage et le mode étude. Ce dernier ne se contente pas de donner directement des réponses aux devoirs, mais aide les étudiants à terminer le processus d'apprentissage par eux-mêmes grâce à des invites, des questions et des contrôles de connaissances étape par étape.
OpenAI a également déclaré qu'en une semaine, près de 1,2 million d'adolescents ont utilisé la fonction de visualisation de l'apprentissage et que plus de 180 000 personnes ont utilisé le mode étude pour un apprentissage étape par étape. La société estime que ces données montrent qu'un scénario important pour les adolescents qui utilisent ChatGPT n'est pas seulement pour se divertir, mais aussi pour apprendre, résoudre des problèmes et explorer de nouvelles idées.
OpenAI a également annoncé qu'il ajouterait des fonctions d'apprentissage pour les adolescents. Il s'agit notamment du prochain outil de planification des candidatures universitaires College Planner, qui peut aider les étudiants à organiser les exigences de candidature, les délais, les tâches, l'aide financière et d'autres informations. De plus, la société prévoit d'ajouter des flashcards et des capacités de création de quiz plus pratiques.
Cependant, lorsque OpenAI a publié cet ensemble de données d'utilisation relativement positives, les doutes sur le mécanisme de sécurité des jeunes de ChatGPT ont également augmenté de manière significative.
Le Youth AI Safety Institute, une filiale de l'organisation à but non lucratif Common Sense Media, a publié le même jour un rapport d'évaluation des risques sur ChatGPT for Teens et l'a qualifié de « risque inacceptable ». L'agence a effectué plus de 4 000 tests pour évaluer la protection de sécurité de ChatGPT dans des scénarios d'utilisation par les jeunes et a estimé que certaines des mesures de protection promues par OpenAI n'avaient pas atteint les résultats escomptés.
L'une des questions qui a retenu beaucoup d'attention concerne les mécanismes de notification aux parents lorsqu'il s'agit de sujets sensibles tels que le suicide, l'automutilation et les troubles de l'alimentation. Common Sense Media a déclaré que lors de ses tests, ChatGPT n'était pas en mesure d'émettre des alertes pertinentes aux parents de manière stable et en temps opportun, et dans certains cas, n'avait même pas émis de notifications. L'agence a également déclaré que dans certaines conversations sensibles, le chatbot ne conseillait pas non plus de manière fiable aux utilisateurs de rechercher des lignes d'assistance téléphonique en cas de crise ou de l'aide d'un professionnel.
OpenAI conteste les conclusions du test. La société a déclaré que les résultats des tests de Common Sense Media ne reflètent pas avec précision le mécanisme de sécurité de ChatGPT for Teens lorsqu'il est réellement exécuté, et a souligné que l'association des comptes parents et adolescents et l'activation complète des fonctionnalités de sécurité associées peuvent prendre plusieurs heures.
OpenAI estime que si le test démarre et se termine avant que la fonction de contrôle parental ne soit entièrement activée, les résultats du test risquent de ne pas refléter l'état final. La société a également déclaré que le déploiement des fonctions pertinentes implique des facteurs tels que la sécurité et l'évolutivité du système, de sorte que toutes les mesures de protection ne prendront pas effet immédiatement après la création du compte.
Common Sense Media n'est pas d'accord avec cette explication. L'agence a déclaré que certains des comptes utilisés pour les tests étaient liés et fonctionnaient depuis suffisamment longtemps, mais n'avaient toujours pas été notifiés à temps. Selon l'agence, certaines notifications ne sont apparues que lorsque les comptes en question enregistraient des sujets sensibles depuis des semaines.
Derrière la controverse se cache une différence de plus en plus évidente entre les chatbots à intelligence artificielle et les médias sociaux traditionnels. Les médias sociaux incitent principalement les utilisateurs à rester via des flux d'informations, de courtes vidéos et des interactions sociales, tandis que les chatbots répondent directement aux utilisateurs via des conversations en tête-à-tête. Pour les adolescents, cette interaction hautement personnalisée peut faire de l’IA un outil d’apprentissage et, dans certains cas, un objet de communication émotionnelle, voire de compagnonnage à long terme.
OpenAI a donc ajouté davantage de restrictions à ChatGPT pour les adolescents, notamment des protections adaptées à l'âge contre l'automutilation, la violence, les troubles de l'alimentation, les activités à risque et le contenu pornographique, et a exigé que le système évite les expressions susceptibles d'induire une dépendance émotionnelle. La société a également ajouté des rappels de pause et a constamment souligné dans la conception du produit que ChatGPT est une intelligence artificielle et non de vrais amis ou humains.
Les données d'utilisation publiées cette fois par OpenAI tentent également de distinguer ChatGPT de l'utilisation des médias sociaux par les adolescents. La société a déclaré que les adolescents utilisent ChatGPT en moyenne moins de 15 minutes par jour, tandis que les données publiques montrent que les adolescents peuvent utiliser les médias sociaux plusieurs heures par jour. Cependant, il existe des différences évidentes dans les fonctions et les objectifs d’utilisation des deux, de sorte que cet ensemble de données ne peut pas prouver directement que ChatGPT présente un risque moindre d’affecter les adolescents.
Actuellement, il existe de nettes différences entre OpenAI et les organisations externes dans leur évaluation de la sécurité de ChatGPT pour les adolescents. OpenAI estime que les données d'utilisation précoce, les rappels de repos et d'autres fonctions montrent que les adolescents ne sont généralement pas immergés dans ChatGPT pendant une longue période et qu'une partie considérable du comportement d'utilisation est liée à l'apprentissage ; Common Sense Media estime que même si la durée d'utilisation globale n'est pas longue, les failles de protection des chatbots face à des scénarios à haut risque tels que l'automutilation peuvent néanmoins avoir de graves conséquences.
Alors que les chatbots IA entrent de plus en plus dans l'étude et la vie quotidienne des adolescents, le débat se déplace progressivement de "si les enfants devraient utiliser l'IA" à "de quelle manière l'IA devrait être utilisée par les mineurs, et ce que les parents peuvent voir et contrôler".
Pour OpenAI, ChatGPT for Teens n'est pas seulement une tentative importante pour étendre l'application de l'IA dans l'éducation, mais aussi un produit qui doit continuer à prouver sa sécurité. À l'avenir, les données d'utilisation réelles des adolescents, la fiabilité des fonctions de contrôle parental et les performances en matière de sécurité dans les conversations à haut risque deviendront une base importante pour juger de l'efficacité réelle de ce mécanisme.
Articles associés :
La version jeunesse OpenAI de ChatGPT a été remise en question : Common Sense Media a déclaré qu'elle présentait des « risques inacceptables »
Commentaires