Les préoccupations concernant l’intelligence artificielle tournent souvent autour de questions telles que la désinformation ou la possibilité que la technologie échappe au contrôle humain. Cependant, la préoccupation la plus réelle aujourd’hui concerne sans doute la manière dont les gouvernements exploitent l’IA et leur compréhension institutionnelle (ou leur manque de compréhension) de ses lacunes. Le gouvernement britannique, par exemple, semble avoir adopté cette technologie à un rythme qui pourrait être considéré comme précipité et potentiellement dangereux.
Selon le Guardian, plusieurs agences gouvernementales britanniques ont commencé à utiliser l’intelligence artificielle pour avoir un impact significatif sur la vie quotidienne des gens ordinaires. La technologie joue désormais un rôle dans diverses procédures, depuis les arrestations et les licences de mariage jusqu'aux prestations sociales.
Même avant que l’intelligence artificielle ne devienne une tendance largement discutée, l’utilisation de systèmes de reconnaissance faciale par la police était controversée. Les critiques mettent depuis longtemps en garde contre ses inexactitudes potentielles, en particulier lors de l’analyse de sujets à la peau plus foncée. Cette inexactitude a même conduit à des détentions injustifiées dans le passé. Bien qu'elle soit consciente de ces lacunes, la police métropolitaine de Londres continue d'utiliser la reconnaissance faciale et d'apporter des modifications qui pourraient nuire à la technologie.
Le Laboratoire national de physique du Royaume-Uni a déclaré que le système maintient généralement de faibles taux d'erreur avec les paramètres par défaut. Cependant, si la police métropolitaine devait réduire sa sensibilité afin d'identifier les suspects plus rapidement, cela entraînerait davantage de fausses alarmes. En conséquence, le système devient moins précis pour les Noirs, étant cinq fois moins précis que pour les Blancs.
De plus, les outils basés sur l’IA utilisés par les gouvernements pour approuver les prestations et les licences de mariage ont montré une tendance à la discrimination à l’égard des candidats de certains pays. Un député a souligné les nombreux cas ces dernières années où les prestations ont été inexplicablement suspendues, laissant les individus au bord de l'expulsion et de l'extrême pauvreté. Le problème sous-jacent présumé est le système de détection des fraudes aux allocations du ministère du Travail et des Retraites (DWP), qui repose en partie sur l'intelligence artificielle.
Même sans preuves substantielles de fraude, l’outil a signalé de manière disproportionnée les ressortissants bulgares. Le DWP insiste sur le fait que le système ne prend pas en compte la nationalité. Cependant, ils admettent ne pas comprendre pleinement le fonctionnement interne de l’IA, comprenant que les systèmes ont une capacité limitée à contrôler les préjugés et craignant que de mauvais acteurs puissent manipuler le système.
De même, le ministère de l’Intérieur est confronté au défi d’un outil basé sur l’IA conçu pour identifier les faux mariages. Bien que le système ait rationalisé le processus d'approbation des licences de mariage, un examen interne a révélé un grand nombre de faux positifs, en particulier pour les demandeurs de Grèce, d'Albanie, de Bulgarie et de Roumanie.
Il peut y avoir d'autres oublis dans le déploiement de l'IA par le gouvernement, mais il est difficile de les identifier sans données transparentes provenant des départements concernés.
Les malentendus sur les limites de l’intelligence artificielle ont provoqué de graves incidents au sein d’autres agences gouvernementales et juridiques. Plus tôt cette année, un avocat américain a tenté d'utiliser ChatGPT pour citer des affaires déposées devant un tribunal fédéral, pour découvrir que toutes avaient été fabriquées par le chatbot. Ces cas démontrent de plus en plus que les risques réels de l’IA peuvent provenir davantage d’une mauvaise utilisation humaine que de la technologie elle-même.