Récemment, un incident scandaleux s'est produit dans le comté de Baltimore, dans le Maryland, aux États-Unis :Un système local de détection d'armes à feu par IA a identifié à tort le sac de cornflakes Doritos d'un étudiant de 16 ans comme une arme à feu, provoquant l'envoi de policiers armés.
L'incident s'est produit le 20 octobre. Taki Allen, un élève du lycée de Kenwood, venait de terminer un entraînement de football et séjournait à l'extérieur de l'école avec des amis. Soudain, plusieurs voitures de police ont accéléré et les policiers ont pointé leurs armes sur eux.
Allen se souvient : « Il y avait environ huit voitures de police qui roulaient vers nous. Ils sont venus vers moi avec des fusils dégainés et ont crié : « Mettez-vous au sol », et j'ai pensé : « Que se passe-t-il ? » » Il a décrit la peur de l'époque :"Ils m'ont fait m'agenouiller, les mains liées derrière le dos et menottées. Ensuite, ils m'ont fouillé et n'ont rien trouvé."
Allen a été maîtrisé par la police sous la menace d'une arme, et la police lui a ensuite montré l'image interceptée par l'IA qui a déclenché l'alarme. Sur l'image, le sac Doritos froissé dans sa poche a été confondu avec une arme à feu par le système.

"Je pensais principalement : 'Est-ce que je vais mourir ? Vont-ils me tuer ?' Ils m'ont montré la photo et ont dit que cela ressemblait à une arme à feu", a déclaré Allen avec une peur persistante.
Le système d'IA qui a déclenché l'incident provient d'Omnilert, une technologie introduite l'année dernière par les écoles publiques du comté de Baltimore qui analyse les images de surveillance existantes en temps réel et alerte immédiatement les forces de l'ordre lorsqu'elles détectent un objet qu'elles pensent être une arme.
Allen tenait un sac de cornflakes, et ses mains exposées et un doigt donnaient l'impression qu'il tenait une arme à feu. Omnilert a reconnu qu'il s'agissait d'une fausse alarme, mais a fait valoir que le système « fonctionnait comme prévu » et était conçu pour « donner la priorité à la sécurité grâce à une vérification manuelle rapide ».
