Meta Corporation introduit un nouveau système de sécurité pour son assistant d'intelligence artificielle Meta AI. Lorsque les adolescents discutent à l'aide de Meta AI, le système pourra envoyer des alertes à leurs parents si la conversation suggère qu'ils pourraient être suicidaires ou s'automutiler. Auparavant, Meta AI dirigeait les adolescents vers des lignes d'assistance téléphonique lorsqu'ils étaient confrontés à de tels sujets et les encourageait à communiquer avec leurs parents, conseillers ou autres adultes de confiance. Désormais, certaines de ces conversations déclencheront directement des notifications au parent superviseur.
Selon Meta, le nouveau mécanisme a été développé en collaboration avec des parents et des experts en santé mentale pour déterminer quelles conversations devraient déclencher des alertes. Le système est capable d'identifier les situations dans lesquelles les adolescents mentionnent explicitement s'automutiler dans une conversation, même si la formulation est très subtile, et un système d'intelligence artificielle spécialisé recherche ces signaux d'alarme. Cependant, Meta a souligné que chaque conversation signalée par le système sera examinée manuellement avant d'envoyer officiellement une alerte aux parents. Lorsque la situation devient floue, Meta affirme qu'elle adoptera une approche plus prudente et informera les parents. Cela signifie que certains parents peuvent recevoir une alerte même s'il n'y a pas de danger immédiat. Le géant de la technologie estime que c’est la bonne approche alors qu’il continue d’améliorer le système. Cette nouvelle fonctionnalité s’appuie également sur le système existant d’Instagram, qui permet déjà aux parents d’être alertés lorsque les adolescents recherchent fréquemment des mots liés au suicide ou à l’automutilation dans un court laps de temps.
En plus d'envoyer des alertes aux parents, Meta travaille également sur un autre système. Si une conversation avec Meta AI indique qu’une personne court un risque imminent de suicide, le système peut automatiquement contacter les services d’urgence. De plus, un autre domaine d'intérêt pour Meta consiste à optimiser la façon dont l'IA répond avant de diriger les utilisateurs vers les ressources d'assistance. Meta a déclaré que les chatbots ne devraient pas mettre fin brusquement aux conversations, mais devraient faire preuve de compréhension et de reconnaissance des émotions des adolescents tout en les encourageant à demander de l'aide. Actuellement, l'entreprise continue de consulter son comité d'experts en matière d'IA sur le bien-être, son groupe consultatif sur le suicide et l'automutilation et un certain nombre de jeunes conseillers.
Pendant ce temps, Meta étend également ses paramètres plus restrictifs de « contenu restreint » aux conversations de Meta AI. Les comptes jeunes activent par défaut les paramètres de contenu pour les personnes de plus de 13 ans. Dans ce contexte, Meta AI évite automatiquement certains types d’interactions, comme le refus de conversations sexuelles ou émotionnelles avec des adolescents et le refus de demandes telles que des recettes de boissons alcoolisées. Si un parent active des paramètres de « contenu restreint » plus stricts pour le compte Instagram d’un adolescent, ces restrictions supplémentaires seront également appliquées à Meta AI.
Il semblerait que ces fonctions d’alerte soient actuellement disponibles pour les parents utilisant les outils de surveillance parentale d’Instagram aux États-Unis, au Royaume-Uni, en Australie et au Canada, et qu’elles devraient être entièrement déployées auprès des parents supervisés dans le monde entier d’ici la fin de 2026.