Un lycée d'Oviedo, en Floride, aux États-Unis, a connu cette semaine un verrouillage « Code rouge » provoqué par une fausse alarme provenant d'un système de reconnaissance d'armes à intelligence artificielle. La clarinette dans la main d'un étudiant a été identifiée par erreur comme une arme à feu par le système. L’école est immédiatement entrée dans un état de fermeture d’urgence. L'école et la police ont réagi rapidement et ont finalement confirmé qu'il n'y avait pas de réelle menace. Ce propre incident a non seulement donné une fausse alerte aux parents, mais a également remis au premier plan la question de l'exactitude et de la surveillance des systèmes de sécurité IA de plus en plus populaires dans les écoles.

L'incident s'est produit au collège Lawton Chiles. La plateforme de détection des menaces d'IA déployée dans l'école a scanné les images en temps réel grâce à des caméras de surveillance et a « identifié » la clarinette portée par l'élève comme une arme à feu potentielle, déclenchant une alarme du système. L'école a immédiatement lancé la procédure de verrouillage « Code rouge » de plus haut niveau, bouclant le campus et informant les forces de l'ordre de leur arrivée. Le blocus n'a été levé qu'après avoir confirmé que les soi-disant « armes » étaient en réalité des instruments de musique. Le directeur a ensuite souligné dans un avis aux parents qu'il n'y avait pas de réelle menace pour la sécurité sur le campus à ce moment-là, mais a tout de même rappelé aux parents de communiquer avec leurs enfants et de ne pas faire de gestes dangereux comme « faire semblant de détenir des armes » sur le campus.

Selon certaines informations, le district scolaire du comté de Seminole où se trouve l'école utilise le service de détection d'armes à feu en nuage fourni par ZeroEyes, une société dont le siège est en Pennsylvanie. La valeur du contrat est de 250 000 $ US. Le système est connecté aux caméras de surveillance existantes et utilise des algorithmes de vision par ordinateur pour identifier les contours et les caractéristiques des armes qui peuvent apparaître sur l'image. Les informations officielles indiquent que son modèle d'IA a été formé sur des centaines d'images d'armes à feu. Une fois que le système « pense » qu'une arme a été trouvée, les images pertinentes seront envoyées au centre de surveillance ZeroEyes pour examen par des analystes humains avant de décider s'il convient d'émettre une alerte à l'école ou aux forces de l'ordre. Cependant, dans cet incident, ce mécanisme de « confirmation secondaire manuelle » n’a évidemment pas réussi à empêcher de fausses alarmes de se transformer en un confinement à l’échelle de l’école.

La plateforme ZeroEyes a été mise en œuvre dans 43 États des États-Unis et dans de nombreux districts scolaires densément peuplés de Floride. L'entreprise la positionne comme une méthode de sécurité « préventive », espérant réduire le temps de réponse aux fusillades dans les écoles grâce à une identification plus rapide des menaces. Cependant, les données de performance divulguées par l'entreprise sont extrêmement limitées et il n'existe pratiquement aucune statistique détaillée sur la précision de la reconnaissance, le taux de fausses alarmes et la prévention réussie des menaces réelles, ce qui rend également difficile pour les étrangers d'évaluer son effet réel. En réponse aux demandes des médias, le département de sûreté et de sécurité du comté de Seminole a seulement décrit le système comme un « moyen de dissuasion efficace », sans donner de données prouvées sur l'interception des menaces ni indiquer la fréquence à laquelle des fausses alarmes similaires se produisent.

En conséquence, les parents et les experts en sécurité ont généralement réclamé plus de transparence et de responsabilité. Certains parents ont carrément exprimé des doutes quant au bon rapport qualité-prix du système. Ils espèrent que le district scolaire pourra fournir des statistiques spécifiques pour prouver l'efficacité de ce programme coûteux, et se demandent pourquoi, si de réelles menaces ont été découvertes avec succès, elles n'ont jamais été divulguées au public. Des analystes technologiques indépendants ont souligné qu'il n'existe actuellement pratiquement aucune évaluation de ZeroEyes par un tiers et que les avis rendus publics sont également plus partagés. Certains experts dans le domaine de la sécurité publique craignent que de tels systèmes ne fournissent davantage une « illusion de sécurité » qu'une réduction avérée des risques.

Au niveau politique, ZeroEyes a également promu une législation multi-États par l'intermédiaire de lobbyistes enregistrés et a obtenu un statut similaire de « fournisseur désigné » dans certains États, ce qui en fait le seul fournisseur approuvé de détection d'armes à feu par IA pour les achats de sécurité sur les campus. Les critiques estiment que ce type de législation évince les concurrents, affaiblit l’espace d’examen et de débat dans les marchés publics et réduit considérablement le débat public sur la fiabilité de la surveillance de l’IA. Dans le même temps, les chercheurs en matière de sécurité et de protection de la vie privée préviennent que l'expansion aveugle de la surveillance par l'IA sur les campus pourrait causer plus de tort aux étudiants que d'avantages potentiels, notamment une atmosphère de haute pression provoquée par de fréquentes fausses alarmes, une surexposition des étudiants aux forces de police et une surveillance continue des comportements quotidiens.

Un conseiller politique de l'Union américaine des libertés civiles a souligné un jour que si le système présente une fréquence élevée de fausses alarmes, il créera non seulement des blocages et une panique inutiles, mais pourrait également rendre les écoles et les parents « engourdis » par les fausses alarmes, ce qui affaiblit leur sensibilité aux crises réelles. Actuellement, un grand nombre de données de formation pour les systèmes de sécurité de l’IA proviennent d’ensembles d’images relativement contrôlables. Cependant, les sacs à dos, les instruments de musique, les équipements sportifs et autres objets qui apparaissent dans les environnements réels du campus ont des formes complexes et se confondent facilement avec les contours des armes à feu du modèle. Cette fois, une clarinette a été confondue avec un pistolet. Après cet incident, le district scolaire du comté de Seminole considère toujours ce système comme une « ligne de défense nécessaire ». Cependant, sa fiabilité et son coût ont déclenché des discussions sociales plus larges. Le monde extérieur attend également de voir si chaque district scolaire continuera à s’appuyer sur ce type de surveillance de l’IA à l’avenir, ou s’il se tournera vers des exigences plus strictes en matière de divulgation des performances et de supervision pour les fournisseurs.