Roblox lance un système d'intelligence artificielle qui, selon lui, peut détecter les premiers signes d'exploitation potentielle d'enfants dans les chats en ligne. Cette décision intervient alors que la plateforme fait face à des critiques croissantes et à des contestations juridiques concernant ses mesures de sécurité. L'outil, appelé Sentinel, est gratuit et sera open source, permettant à d'autres plateformes de l'intégrer dans leurs propres systèmes de modération.
Roblox rapporte plus de 111 millions d'utilisateurs actifs par mois, et la société affirme que son intelligence artificielle a aidé à signaler des centaines de cas potentiels d'exploitation d'enfants aux forces de l'ordre. Le responsable de la sécurité de Roblox, Matt Kaufman, a déclaré à l'Associated Press que même si la société utilisait depuis longtemps "des filtres... pour bloquer les grossièretés et différents types de langage abusif", ces protections étaient limitées au "contenu d'une ou de quelques lignes de texte".
"Mais quand on pense aux choses liées à la mise en danger des enfants ou au toilettage des enfants, les types de comportement que l'on voit se manifester sur une longue période de temps", a déclaré Kaufman.
Roblox affirme que Sentinel est conçu pour détecter des modèles de conversations au fil du temps, plutôt que de signaler des mots ou des phrases isolés. Le système analyse chaque jour des instantanés d'une minute des quelque 6 milliards de messages de discussion sur la plateforme et les évalue dans leur contexte.
Pour y parvenir, les ingénieurs ont créé deux index distincts : un contenant des exemples de discussions inoffensives et un autre contenant des messages violant les consignes de sécurité des enfants. Selon l’entreprise, du nouveau contenu est continuellement ajouté aux deux index pour aider les modèles d’IA à continuer de s’améliorer.
Naren Koneru, vice-président de l'ingénierie de confiance et de sécurité chez Roblox, a déclaré : « À mesure que nous trouvons de plus en plus de mauvais acteurs, cet indice deviendra de plus en plus précis et nous continuerons à le mettre à jour. De cette façon, nous pourrons prendre un autre échantillon et voir ce que fera l'utilisateur moyen. »
Koneru a expliqué que le système surveille l'activité en cours de l'utilisateur pour déterminer si son comportement penche vers des interactions sûres ou un comportement à risque. "Cela n'arrive pas parce que vous envoyez simplement un message, cela arrive parce que vos interactions quotidiennes pointent vers l'un de ces deux comportements", a-t-elle déclaré.
Si l'IA signale un utilisateur pour un examen plus approfondi, les modérateurs humains vérifient l'historique complet des discussions de l'utilisateur, sa liste d'amis et les jeux auxquels il a joué. Roblox a déclaré qu'il signalerait les cas aux forces de l'ordre et au Centre national pour les enfants disparus et exploités si nécessaire.
Les mesures de sécurité de la plateforme ont été annoncées dans le cadre d'une contestation judiciaire très médiatisée. Un procès intenté le mois dernier dans l'Iowa allègue qu'une jeune fille de 13 ans qui a contacté un adulte pervers via Roblox a été kidnappée et victime de trafic vers plusieurs États. Le procès accuse l'entreprise de créer des « proies faciles pour les pédophiles » à travers la conception de ses jeux.
Roblox déclare qu'il interdit le partage d'informations personnelles, de photos et de vidéos dans les chats et restreint les messages privés aux utilisateurs de moins de 13 ans, à moins qu'un parent ne l'autorise explicitement. Les discussions ne sont pas cryptées de bout en bout, ce qui permet à l'entreprise de surveiller les conversations pour détecter toute faille de sécurité.
La société maintient qu’aucun système ne peut garantir une protection complète, mais estime que les avancées de l’IA comme Sentinel améliorent considérablement les chances de détection précoce.