Une découverte embarrassante : le système de conduite autonome discrimine également des groupes de personnes. Des chercheurs du King's College de Londres ont mené une étude et ont découvert une faille après avoir examiné plus de 8 000 images : le système de détection des piétons piloté par l'IA utilisé par les voitures autonomes a une précision de détection de 19,67 % inférieure pour les enfants à celle des adultes, et une précision de détection des peaux foncées est de 7,53 % inférieure à celle des peaux claires. Il n’y a pas beaucoup de différence dans la précision de détection entre les sexes, avec seulement un écart de 1,1 %.

Cela signifie que les enfants et les piétons à la peau foncée seront plus difficiles à détecter pour les voitures autonomes que les adultes et les piétons à la peau claire.

Pourquoi cela se produit-il ?

Inamical pour les enfants et les personnes à la peau foncée

Examinons d’abord le processus expérimental.

Cette équipe de recherche a utilisé une méthode d'analyse des données. Ils ont d’abord découvert 8 systèmes de détection spécifiques aux piétons, les plus couramment utilisés par les entreprises de conduite autonome et également courants sur le marché.

Ces systèmes de détection de piétons sont ensuite utilisés pour collecter des données de test de scènes réelles, y compris des scènes réelles présentant différentes luminosité, contraste, conditions météorologiques, etc. Ces ensembles de données sont principalement composés d'images de rue réelles prises.


Ils ont obtenu un total de 8 311 images dans quatre scènes réelles, montrant des piétons dans différentes poses, tailles et scénarios d'occlusion. Les chercheurs ont également spécialement ajouté des balises aux piétons dans les images, avec un total de 16 070 balises de genre, 20 115 balises d’âge et 3 513 balises de couleur de peau.

L'objectif de la recherche est de savoir si le système de détection des piétons de la conduite autonome réagit de la même manière face à différents piétons, en particulier s'il y aura des problèmes injustes dans les trois facteurs que sont le sexe, l'âge et la couleur de la peau.

Les systèmes de détection utilisés incluent ALFNet, CSP, MGAN et PRNet, etc. Parmi eux, ALFNet utilise la prédiction en plusieurs étapes pour le positionnement asymptotique, ce qui résout les limites de la détection en une seule étape dans la détection des piétons.

CSP introduit une méthode sans ancrage en localisant le centre et en escaladant les piétons ; MGAN utilise les informations du cadre de délimitation de la zone visible pour guider la génération de l'attention et est principalement utilisé pour la détection des piétons sous occlusion.


Après avoir collecté les images, l’équipe a utilisé une formule de différence pour se demander si le système de conduite autonome était injuste envers le groupe. MR représente généralement l'indicateur de performance le plus couramment utilisé dans la recherche sur la détection des piétons, MR=1-TP/(TP+FN), où TP (vrai positif) fait référence au nombre de boîtes englobantes de vérité terrain supprimées avec succès, et FN (faux négatif) fait référence au nombre de boîtes englobantes de vérité terrain non détectées.

Après calcul, le taux de détection du détecteur de piétons pour les piétons femmes et hommes est similaire, avec une différence de 1,1 %. Cependant, la différence d’âge et de couleur de peau est plus grande, atteignant respectivement 19,67 % et 7,52 % !

Cela signifie que les systèmes de détection des piétons sans conducteur auront plus de difficultés à identifier les enfants et les personnes à la peau plus foncée, et que ces groupes seront également confrontés à des risques plus importants.

Ce qui est particulièrement remarquable, c'est que ces chiffres augmentent dans une certaine mesure la nuit. L'EOD des enfants (différence entre les groupes d'enfants et d'adultes) augmente de jour en nuit, le taux de non-détection augmente de 22,05 % à 26,63 %, et le taux de différence entre les groupes de couleur de peau (peau foncée et claire) augmente de 7,14 % pendant la journée à 9,68 % la nuit.

En outre, comparativement aux hommes, les femmes ont des taux de délinquance plus élevés dans les trois domaines.

De plus, l’équipe de recherche a étudié les données dans différentes conditions de luminosité et de contraste. Ces variables auront également un impact plus important sur le taux de détection.


Parmi les huit systèmes de détection des piétons sélectionnés, à mesure que la luminosité diminue, le système de détection de premier niveau est le plus performant, notamment en termes de couleur de peau, où la différence entre peau foncée et peau claire atteint la valeur la plus élevée.

"Une IA équitable devrait traiter tous les groupes de la même manière, mais cela ne semble pas être le cas actuellement pour les voitures sans conducteur." Le Dr Jie Zhang, l'auteur de l'étude, a déclaré.

Pourquoi cela arrive-t-il ?

Cela est principalement dû au fait que les systèmes d'intelligence artificielle nécessitent une grande quantité de données pour s'entraîner, et une fois ces données insuffisantes, cela se reflétera inévitablement dans les performances de l'intelligence artificielle. Cela signifie également que le manque de données de formation a conduit à certains biais dans certaines intelligences artificielles.

Il reste encore de nombreux problèmes non résolus

En fait, il existe un certain degré d’injustice dans les systèmes d’intelligence artificielle, et ce n’est pas la première fois que des chercheurs l’étudient.

Dès 2019, des recherches du Georgia Institute of Technology aux États-Unis ont montré que les personnes à la peau plus foncée sont plus susceptibles d'être heurtées par des voitures autonomes sur la route que les personnes à la peau claire. Les chercheurs ont analysé les méthodes utilisées par les voitures autonomes pour détecter des objets et analysé un total de 3 500 photos de personnes de différentes couleurs de peau.

Enfin, il a été conclu que la technologie sans conducteur était en moyenne 5 % moins précise lors de l’identification des personnes à la peau foncée.


Même si ces études ne portent pas sur les voitures sans conducteur déjà en circulation, elles rendront sans aucun doute les gens plus attentifs à la technologie sans conducteur.

Une grande partie de la raison pour laquelle la conduite autonome est difficile à mettre en œuvre est qu’elle ne peut pas véritablement remplacer les humains pour réagir en temps opportun aux piétons et aux conditions routières.

En 2018, une voiture sans conducteur du géant des services de covoiturage Uber a heurté et tué une personne à Tempe, en Arizona. Il s'agissait du premier accident sans conducteur. Le "manque de temps pour réagir" constitue un problème majeur.

Il y a quelque temps, la Californie a voté pour autoriser deux grands taxis autonomes, Cruise et Waymo, à circuler 24 heures sur 24 à San Francisco. Cette nouvelle a suscité le mécontentement du public américain car les taxis autonomes provoquent souvent des accidents.


Le système sans conducteur de la voiture peut identifier les conditions routières de diverses manières, comme le lidar monté sur le toit, qui peut produire des images tridimensionnelles de l'environnement de la voiture plusieurs fois par seconde. Il utilise principalement des impulsions laser infrarouges pour réfléchir les objets et transmettre le signal au capteur, qui peut détecter les objets fixes et en mouvement.

Cependant, en cas de conditions météorologiques extrêmes, telles qu'un brouillard dense ou de fortes pluies, la précision du lidar sera considérablement réduite.

Les caméras optiques à courte et longue portée peuvent réellement lire des signaux et déterminer la couleur des objets et d'autres objets plus détaillés, ce qui peut compenser les défauts du lidar.

Afin d'augmenter les capacités de reconnaissance, de nombreux systèmes nationaux de conduite sans pilote ont adopté une voie de perception hybride, réalisée grâce à la technologie de vision lidar et par caméra. La perception visuelle prime sur la perception radar, la perception visuelle étant la principale et la perception radar le complément.

Mais Tesla est un grand fan de la « perception visuelle pure », Musk disant un jour que le lidar est comme l’appendice humain. Cependant, cela a également conduit Tesla à être poursuivie en justice à plusieurs reprises en raison d'accidents.


En fait, même la voie de la perception hybride doit encore surmonter de nombreux défis.

Par exemple, les piétons photographiés à de longues distances ont généralement de petites cibles, ce qui entraîne une faible résolution et une précision de positionnement insuffisante. C’est aussi l’une des raisons pour lesquelles les enfants ont un taux de délinquance élevé. Deuxièmement, différentes postures des piétons conduiront également à une détection inexacte par l'algorithme, et la détection des piétons sera affectée par l'arrière-plan, comme l'intensité de la lumière, les changements météorologiques, etc., qui affecteront le jugement.

Enfin, il y a des obstacles. Les cibles et les occlusions qui se chevauchent ont également un impact important sur la reconnaissance des algorithmes.

Des universitaires chinois mènent des recherches

Le titre complet de cet article présentant l'équité des systèmes de conduite autonomes est « Les personnes à la peau foncée font face à davantage de risques dans la rue : découvrir les problèmes d'équité dans les systèmes de conduite autonomes ». L'article a été publié dans la revue "New Scientist".


L'équipe de recherche du document est issue du King's College de Londres. Six auteurs sont répertoriés dans l'article, dont Xinyue Li, Ying Zhang et Xuanzhe Liu de l'Université de Pékin en Chine, Zhenpeng Chen et Federico Casaro de l'Université de Londres, Royaume-Uni, et Jie M. Zhang du King's College de Londres.

Jie M. Zhang est actuellement professeur adjoint au King's College de Londres. Ses recherches portent sur la combinaison de la recherche en génie logiciel avec la recherche en intelligence artificielle pour améliorer la crédibilité des logiciels. Elle a été chercheuse à l'Université de Londres et a obtenu son doctorat en informatique à l'Université de Pékin en Chine.

En tant qu'érudit chinois, les réalisations de Jie M. Zhang en Chine sont également remarquables. Elle a été nommée « l'une des quinze meilleures jeunes chercheuses de Chine » en mars de cette année. Elle a également été invitée à plusieurs reprises à prononcer des discours sur la crédibilité de la traduction automatique. Elle et son équipe ont également mené à plusieurs reprises des recherches et des analyses sur la capacité d’apprentissage de l’intelligence artificielle.

Concernant le manque d'équité dans les systèmes de détection des piétons, Jie M. Zhang a déclaré que les constructeurs automobiles et les gouvernements doivent formuler conjointement des réglementations pour garantir la sécurité et l'équité des systèmes de conduite autonome.

En fait, il existe déjà des logiciels de recrutement d'intelligence artificielle et des logiciels de reconnaissance faciale, et la précision des femmes noires n'est pas aussi bonne que celle des hommes blancs. Désormais, si les voitures autonomes connaissent des malentendus en matière de reconnaissance, les conséquences pourraient être plus graves.

"Dans le passé, les minorités ethniques ont pu être privées du confort qu'elles méritent à cause de certains logiciels." JieM. Zhang a déclaré qu'ils risquaient désormais de subir des dommages plus graves, voire des blessures corporelles.