Résumé :
La version ChatGPT d'OpenAI destinée aux adolescents a été sévèrement remise en question par l'Agence de sécurité numérique pour les enfants et les jeunes peu de temps après sa mise en ligne. Le 7 octobre, heure locale, l'organisation à but non lucratif Common Sense Media a publié un rapport d'évaluation, estimant que ChatGPT for Teens lancé par OpenAI présentait des « risques inacceptables » et que ses mesures de protection de la sécurité des mineurs ne respectaient pas les engagements antérieurs de l'entreprise.
Common Sense Media évalue depuis longtemps des applications, des services Internet et des produits de divertissement du point de vue de la sécurité des enfants et des adolescents. L'agence s'est cette fois concentrée sur les tests des capacités de contrôle parental, de rappel de sécurité et d'intervention en cas de crise de ChatGPT pour les adolescents, et a estimé que le système présente encore des défauts évidents dans certains scénarios où des mesures de protection sont les plus nécessaires. L'évaluation a révélé que ChatGPT n'envoyait pas d'alertes aux parents alors qu'elles auraient dû l'être dans certaines circonstances, et ne fournissait pas non plus toujours une aide appropriée en cas de crise, tout en étant en mesure de terminer directement les devoirs des élèves.
ChatGPT for Teens a été lancé en août de cette année. OpenAI l'a positionné comme une expérience spécifiquement destinée aux utilisateurs adolescents et a ajouté une série de restrictions de sécurité supplémentaires. OpenAI espère utiliser ces mesures pour réduire les risques auxquels les mineurs peuvent être confrontés lorsqu'ils utilisent l'intelligence artificielle, tout en utilisant ChatGPT pour aider les étudiants à apprendre et à créer.
Cependant, Common Sense Media estime que ce mécanisme de protection peut en réalité donner aux parents un faux sentiment de sécurité. Tom Siegel, directeur exécutif du Youth Artificial Intelligence Safety Institute de l'organisation, a déclaré qu'un adolescent peut même discuter de problèmes liés à l'automutilation avec ChatGPT pendant une heure continue, sans que les parents ne reçoivent aucun rappel. Selon lui, jusqu'à ce qu'OpenAI résolve ces problèmes et prouve que les mesures de protection sont fiables grâce à des tests indépendants, ChatGPT est plus adapté aux adultes.
Common Sense Media accorde une attention particulière aux mécanismes de notification aux parents. Lors de ses tests, certains comptes de test n'ont pas déclenché d'alertes parentales prévues lors de conversations impliquant de graves risques pour la santé mentale. L’agence estime donc que les parents ne peuvent pas compter sur le mécanisme d’alerte automatisé de ChatGPT for Teens pour détecter rapidement les crises auxquelles leurs enfants pourraient être confrontés.
OpenAI a clairement réfuté cette évaluation. L'entreprise a déclaré qu'elle attache une grande importance à la sécurité des adolescents et invite les institutions indépendantes à procéder à des tests stricts des produits. Cependant, il estime que les méthodes de test de Common Sense Media ne reflètent pas avec précision le fonctionnement réel du mécanisme de protection de la jeunesse de ChatGPT.
Le porte-parole d'OpenAI, Eric Porterfield, a déclaré que la société avait examiné la méthodologie de Common Sense Media et avait conclu que la plupart de ses tests avaient peut-être été effectués avant que le contrôle parental ne soit complètement activé. Si cela est vrai, les tests ne peuvent pas prouver que les notifications de sécurité parentale fonctionnent comme prévu. OpenAI a également déclaré que l'entreprise continuerait à coopérer avec des experts, dans l'espoir de fournir aux parents des outils de contrôle plus fiables tout en aidant les adolescents à apprendre et à créer.
Common Sense Media a répondu plus tard que l'agence maintenait ses méthodes de test et ses conclusions finales. L'organisation a déclaré qu'avant de commencer le test, elle avait confirmé auprès d'OpenAI que les fonctions pertinentes du mode jeunesse, y compris les rappels sur les troubles de l'alimentation et les modes d'apprentissage, avaient été officiellement lancées, et pensait donc que le test était pleinement fondé.
Cependant, Common Sense Media a également admis qu'OpenAI lui avait révélé un mécanisme auparavant peu clair après le test : les comptes nouvellement associés peuvent prendre plusieurs heures pour terminer l'activation du système de notification parentale. Certains comptes de test tombaient effectivement dans cette fenêtre d'activation, mais l'agence a souligné que certains comptes étaient associés depuis beaucoup plus longtemps et n'avaient toujours pas reçu de notifications correspondantes. Par conséquent, l'organisation ne croit pas que cette explication soit suffisante pour modifier sa conclusion selon laquelle le mécanisme de rappel aux parents n'est « pas fiable ».
Le cœur de cette controverse n'est pas seulement de savoir si une fonction existe, mais si le chatbot IA est adapté pour jouer le rôle de compagnon quotidien et d'outil d'apprentissage pour les mineurs. Les moteurs de recherche et logiciels éducatifs traditionnels ne prennent généralement pas l’initiative d’avoir des conversations privées continues et à long terme avec les enfants, tandis que l’IA générative peut répondre en permanence aux utilisateurs et ajuster en permanence leurs réponses en fonction des conversations précédentes. Cela signifie qu’une fois que les adolescents l’utiliseront comme confident, l’IA pourrait devenir pendant longtemps leur principal canal de communication d’informations et d’émotions.
Cela rend également le mécanisme de notification parentale beaucoup plus important que les conseils de sécurité généraux des applications ordinaires. Si l'IA peut identifier les contenus à haut risque tels que l'automutilation et les troubles de l'alimentation, mais ne parvient pas à informer rapidement les tuteurs des situations graves, alors le soi-disant « mode de sécurité des jeunes » pourrait ne pas jouer le rôle attendu par les parents.
D'un autre côté, Common Sense Media a également noté que ChatGPT pour adolescents peut toujours effectuer les devoirs que les enfants devraient faire eux-mêmes. Pour un produit d’IA positionné pour aider les étudiants à apprendre, cela constitue également une contradiction évidente : l’IA peut expliquer les connaissances, fournir des conseils et des conseils, mais si elle complète directement les devoirs des étudiants, elle peut affaiblir le processus de réflexion indépendante et de résolution de problèmes le plus important du processus d’apprentissage.
OpenAI n'a pas encore déclaré qu'il arrêterait ChatGPT pour les adolescents, mais a souligné qu'il continuerait à améliorer le mécanisme de sécurité pour les adolescents. L'entreprise estime également que les tests indépendants constituent en eux-mêmes un moyen important d'améliorer les produits, mais les deux parties ont actuellement de nettes divergences sur ce que les résultats des tests peuvent prouver.
Cette controverse survient à un moment où l’IA entre à un rythme accéléré dans l’éducation et dans la vie des jeunes. Les entreprises technologiques, dont OpenAI, espèrent intégrer l’IA dans les assistants d’apprentissage, les tuteurs personnels et les outils créatifs. Cependant, dans le même temps, de plus en plus de recherches et de critiques ont commencé à se concentrer sur la question de la dépendance excessive des mineurs à l’égard de l’IA.
Il est particulièrement intéressant de noter qu'il peut être difficile pour les parents de juger de l'interaction réelle entre leurs enfants et l'IA. Contrairement aux médias sociaux publics, le chat IA possède généralement de forts attributs privés. S'il y a un retard ou une sous-déclaration dans le mécanisme de rappel de sécurité lui-même, les parents peuvent ne pas se rendre compte que leurs enfants ont discuté de sujets dangereux avec l'IA jusqu'à ce que le problème devienne grave.
Par conséquent, ChatGPT for Teens a été interrogé cette fois par Common Sense Media, qui a en fait révélé un problème plus important auquel est confronté l'ensemble du secteur de l'IA : lorsque l'IA commence à fournir des services interactifs personnalisés à long terme directement aux enfants et aux adolescents, quel niveau de normes de sécurité les entreprises doivent-elles atteindre pour vraiment rassurer les parents ?
Le différend entre les deux parties concernant les résultats des tests n'a pas encore été résolu. Common Sense Media exige qu'OpenAI prouve, par des tests indépendants, que ses mécanismes de notification parentale et de protection contre les crises sont fiables, tandis qu'OpenAI estime que cette évaluation ne reflète pas pleinement l'état réel du produit après son lancement officiel. En fin de compte, il faudra procéder à des tests plus indépendants et reproductibles pour déterminer quel camp est le plus proche de la vérité.
En savoir plus :
https://www.commonsensemedia.org/press-releases/chatgpt-for-teens-poses-unacceptable-risk-to-kids-common-sense-media-finds
Commentaires