Un nouveau rapport de l'Observatoire Internet de Stanford a révélé qu'un vaste ensemble de données publiques utilisé pour créer un générateur d'images d'intelligence artificielle populaire contient au moins 1 008 cas d'abus sexuels sur des enfants.
LAION-5B contient plus de 5 milliards d'images et de légendes associées provenant d'Internet, qui peuvent également inclure des milliers de matériels suspectés d'abus sexuels sur des enfants, ou CSAM, indique le rapport. Le rapport prévient que l'inclusion du CSAM dans l'ensemble de données pourrait permettre aux produits d'intelligence artificielle construits sur les données - y compris des outils de génération d'images comme StableDiffusion - de créer de nouveaux contenus potentiellement réalistes sur la maltraitance des enfants.
L’essor d’outils d’intelligence artificielle de plus en plus puissants a sonné l’alarme, en partie parce que ces services sont construits à partir de grandes quantités de données en ligne, y compris des ensembles de données publiques comme LAION-5B, qui peuvent contenir du contenu protégé par le droit d’auteur ou préjudiciable. Le générateur d’images IA s’appuie notamment sur un ensemble de données contenant des paires d’images et des descriptions textuelles pour identifier divers concepts et créer des images basées sur les invites des utilisateurs.
Un porte-parole de LAION, l'organisation allemande à but non lucratif à l'origine de l'ensemble de données, a déclaré dans un communiqué que l'organisation appliquait une « politique de tolérance zéro » à l'égard des contenus illégaux et supprimait temporairement l'ensemble de données LAION d'Internet « pour garantir leur sécurité avant de les republier ». Le porte-parole a déclaré qu'avant de publier l'ensemble de données, LAION avait créé et publié des filtres pour détecter et supprimer le contenu illégal qu'il contenait. Le fondateur de LAION, Christoph Schuhmann, a précédemment déclaré à Bloomberg News qu'il n'était au courant d'aucune nudité d'enfant dans l'ensemble de données, mais a reconnu qu'il n'avait pas examiné les données en profondeur. Il a déclaré que s’il était informé d’un tel contenu, il supprimerait immédiatement le lien.
Un porte-parole de StabilityAI, une startup britannique d'intelligence artificielle qui finance et promeut StableDiffusion, a déclaré que la société s'engage à empêcher l'utilisation abusive de l'intelligence artificielle et interdit l'utilisation de ses modèles d'image à des fins illégales, y compris les tentatives de modification ou de création de CSAM. "Ce rapport se concentre sur l'ensemble des données LAION-5B. Les modèles StabilityAI ont été formés sur un sous-ensemble filtré de cet ensemble de données. De plus, ces modèles ont été affinés pour réduire le comportement résiduel", a déclaré un porte-parole dans un communiqué.
LAION-5B ou des sous-ensembles de celui-ci ont été utilisés pour créer plusieurs versions de StableDiffusion. La dernière version du logiciel, StableDiffusion 2.0, a été formée sur l'ensemble de données, ce qui filtre de manière significative les éléments « dangereux » de l'ensemble de données, ce qui rend plus difficile pour les utilisateurs de générer des images sans ambiguïté. Mais StableDiffusion1.5 génère du contenu pornographique et est toujours utilisé dans certains coins d'Internet. Le porte-parole a déclaré que StableDiffusion 1.5 n'avait pas été publié par StabilityAI mais par Runway, une startup vidéo d'IA qui a contribué à créer la version originale de StableDiffusion. Runway a déclaré qu'il avait été publié en partenariat avec StabilityAI.
Un porte-parole de StabilityAI a ajouté : « Nous avons mis en place des filtres pour intercepter les invites ou les sorties dangereuses lorsque les utilisateurs interagissent avec des modèles sur notre plate-forme. Nous avons également investi dans des capacités d'étiquetage de contenu pour aider à identifier les images générées sur notre plate-forme. Ces couches d'atténuation rendent plus difficile pour les mauvais acteurs d'abuser de l'IA. »
Lancé en 2022, LAION-5B s'appuie sur du code HTML brut collecté par une organisation à but non lucratif californienne pour localiser des images sur le Web et les associer à un texte descriptif. Des rumeurs selon lesquelles l'ensemble de données contient des images illégales circulent depuis des mois sur les forums et les réseaux sociaux. "À notre connaissance, il s'agit de la première tentative visant à réellement quantifier et valider les préoccupations des gens", a déclaré David Thiel, technologue en chef à l'Observatoire Internet de Stanford, à Bloomberg News dans une interview.
Dans le rapport, des chercheurs de l'Observatoire Internet de Stanford détectent le matériel CSAM en recherchant différents hachages, ou empreintes numériques, de ces images. Les chercheurs ont ensuite vérifié cela en recherchant des images similaires dans l’ensemble de données à l’aide d’une API conçue pour rechercher et supprimer les images connues d’exploitation d’enfants.
Le rapport indique que la plupart des contenus CSAM suspectés découverts par l'Observatoire Internet de Stanford ont été vérifiés par des tiers tels que le Centre canadien de protection de l'enfance et via un outil appelé PhotoDNA développé par Microsoft. Étant donné que les chercheurs de l'Observatoire Internet de Stanford n'ont pu traiter qu'un sous-ensemble limité de contenus à haut risque, il pourrait y avoir davantage de contenus abusifs dans l'ensemble de données, indique le rapport.
Bien que la quantité de CSAM présente dans l'ensemble de données n'indique pas que le contenu illégal affecte « de manière significative » les images produites par l'outil d'IA, Thiel a déclaré qu'il est probable qu'il ait toujours un impact. "Ces modèles sont très efficaces pour apprendre des concepts à partir d'un petit nombre d'images", a-t-il déclaré. "Nous savons que certaines de ces images sont récurrentes, potentiellement des dizaines de fois dans l'ensemble de données."
Des recherches antérieures du Stanford Internet Observatory ont révélé que les modèles d'images génératifs d'IA peuvent générer des CSAM, mais ces travaux supposent que le système d'IA est capable de le faire en combinant deux « concepts » tels que les enfants et l'activité sexuelle. Thiel a déclaré que de nouvelles recherches montrent que les modèles sont capables de générer de telles images illégales en raison de certaines des données sous-jacentes sur lesquelles ils sont basés. Le rapport recommande que les modèles basés sur StableDiffusion 1.5 « soient obsolètes et abandonnés lorsque cela est possible ».