Résumé :
Confronté à l'impact potentiel de l'intelligence artificielle générative sur la santé mentale des mineurs et au risque de dépendance, le gouverneur de Californie, Gavin Newsom, a officiellement signé un ensemble de projets de loi révolutionnaires sur la sécurité des réseaux et de l'IA. Cet ensemble de réglementations est le premier aux États-Unis à fixer des lignes rouges fonctionnelles strictes pour les chatbots IA qui fournissent des services aux mineurs. Il améliore également de manière complète le mécanisme de responsabilité juridique pour l'induction d'algorithmes de plateforme sociale et la collecte de données, marquant ainsi que la Californie a une fois de plus établi la référence réglementaire la plus stricte des États-Unis en matière de protection des mineurs contre les technologies numériques hautement intrusives.

Ces dernières années, avec la popularité explosive des compagnons IA, du tutorat virtuel et des chatbots de jeu de rôle dotés de capacités d'interaction anthropomorphique, le phénomène de « l'attachement émotionnel anthropomorphique » chez les jeunes aux systèmes d'intelligence artificielle a suscité de profondes inquiétudes dans les cercles médicaux et éducatifs. Plusieurs enquêtes sur la santé mentale ont montré qu'en raison du manque de défense mentale, les mineurs peuvent facilement considérer les modèles d'IA comme de véritables confidents capables de garder des secrets et subir de graves traumatismes psychologiques tels qu'une induction d'informations nuisibles, une tendance accrue à l'automutilation et même une manipulation émotionnelle au cours du processus d'interaction. Le projet de loi principal présenté par le législateur californien cible cette fois précisément ce type de services interactifs d'intelligence artificielle présentant une forte adhérence et des caractéristiques anthropomorphiques.
Selon le projet de loi récemment signé, les plateformes de chatbots à intelligence artificielle fonctionnant pour les mineurs doivent établir des seuils d'âge stricts et des garde-fous de sécurité. Les réglementations interdisent clairement à l’IA d’envoyer des remarques instructives aux mineurs concernant l’automutilation, le suicide, l’anorexie extrême, la violence ou le contenu explicite pour adultes ; en termes de logique sous-jacente du système, la plate-forme doit intégrer des protocoles intégrés de contrôle des risques liés aux mots sensibles et d'intervention en cas de crise. Une fois que l’algorithme détecte qu’un utilisateur mineur exprime une dépression, une automutilation ou un désespoir, le dialogue régulier doit être immédiatement interrompu et un canal direct vers la hotline officielle d’intervention en cas de suicide et d’assistance psychologique en cas de crise doit être forcé à apparaître. En outre, la nouvelle loi exige également que les développeurs divulguent explicitement les attributs non humains de l’IA aux utilisateurs mineurs. Il est strictement interdit d'utiliser des algorithmes pour créer délibérément de fausses inductions émotionnelles ou pour établir une rhétorique marketing de « lien émotionnel » qui rend les enfants dépendants. Il définit également des mécanismes de contrôle parental facultatifs et des restrictions anti-addiction nocturnes pour la durée d'utilisation quotidienne des mineurs.
En plus des réglementations spéciales pour les chatbots IA, l'ensemble de lois signé par Newsom renforce également le cadre californien existant de protection de la vie privée en ligne pour les mineurs. Les nouvelles réglementations interdisent explicitement aux médias sociaux grand public et aux plateformes de contenu en ligne d'utiliser les informations de localisation précises, la durée de navigation et l'historique de recherche privée des utilisateurs mineurs pour former des algorithmes de recommandation ciblés et addictifs sans le consentement explicite du tuteur ; pour les pratiques commerciales qui utilisent des Dark Patterns pour inciter les enfants à actualiser continuellement le flux d'informations, à démarrer une lecture continue automatique ou à induire des micro-transactions non autorisées dans les jeux, les autorités de régulation imposeront de sévères sanctions économiques et administratives et habiliteront le procureur général de l'État à engager des poursuites civiles contre les entreprises technologiques en infraction qui persistent dans leur réforme.
Dans la déclaration de signature du projet de loi, de nombreux législateurs californiens et groupes de défense des droits de l'enfant à la pointe de la législation ont souligné que, afin de chasser le trafic et la rigidité des utilisateurs, les plateformes technologiques ont longtemps placé les mineurs immatures dans un creuset numérique plein de risques de dépendance et de manipulation psychologique. En tant que moteur principal de l’innovation technologique mondiale, la Californie ne doit pas fermer les yeux sur les coûts de santé mentale des enfants provoqués par la croissance effrénée de la technologie. L’adoption d’une législation établissant des limites morales et de sécurité claires pour les chatbots IA constitue non seulement une mesure urgente pour protéger la santé physique et mentale de la prochaine génération, mais aussi une contrainte fondamentale pour les entreprises technologiques qui doivent assumer leurs responsabilités sociales.
Les analystes de l'industrie technologique et du droit numérique ont souligné qu'étant donné la taille énorme de la Californie dans l'économie numérique mondiale et l'effet d'agglomération des principales entreprises technologiques dans la Silicon Valley, la série de projets de loi mineurs sur la protection de l'Internet et de l'IA adoptés par la Californie produiraient inévitablement un « effet Bruxelles » et un « effet Californie » interrégionaux. En raison du coût extrêmement élevé du développement de versions distinctes pour les utilisateurs d’un même État en termes d’architecture technique, les entreprises technologiques multinationales et les laboratoires d’IA de pointe seront très probablement contraints d’étendre directement cet ensemble de filtres stricts de sécurité des enfants et de protocoles anti-addiction à l’écosystème des utilisateurs aux États-Unis et même dans le monde. L'entrée en vigueur de cette série de projets de loi indique non seulement que les coûts de mise en conformité des compagnons d'IA et des outils sociaux pour adolescents augmenteront considérablement, mais fournira également à d'autres États des États-Unis un projet législatif d'une grande valeur pratique pour faire face à la crise de santé physique et mentale des mineurs à l'ère de l'IA.
Commentaires