Imaginez qu'il y ait deux pilotes dans un avion, un humain et un ordinateur. Les deux personnes ont leurs « mains » sur le contrôleur, mais elles se concentrent toujours sur des choses différentes. S’ils sont tous concentrés sur la même chose, les humains peuvent prendre le volant. Mais si les humains sont distraits ou manquent quelque chose, les ordinateurs prennent rapidement le relais. La combinaison de l'intuition humaine et de la précision des machines crée une relation plus symbiotique entre le pilote et l'avion.


Avec Air-Guardian, un programme informatique peut suivre le regard d'un pilote humain (à l'aide d'une technologie de suivi oculaire) pour mieux comprendre à quoi le pilote prête attention. Cela aide l'ordinateur à prendre de meilleures décisions en fonction de ce que le pilote fait ou a l'intention de faire. Crédit photo : AlexShipps/MITCSAILviaMidjourney

Il s'agit du système « SkyGuardian » développé par des chercheurs du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT. Les pilotes modernes doivent traiter de grandes quantités d’informations provenant de plusieurs moniteurs, en particulier aux moments critiques. Air-Guardian peut agir en tant que copilote actif ; c'est un partenariat entre les humains et les machines qui repose fondamentalement sur la compréhension de l'attention.

Mais comment détermine-t-il exactement l’attention ? Pour les humains, il utilise le suivi oculaire, tandis que pour les systèmes neuronaux, il s'appuie sur un concept appelé « cartes de saillance », qui indiquent la direction de l'attention. Ces cartes peuvent servir de guides visuels, mettant en évidence les zones clés d'une image pour aider à comprendre et à interpréter le comportement d'algorithmes complexes. Air-Guardian utilise ces marqueurs d'attention pour identifier les premiers signes de risques potentiels, plutôt que d'intervenir uniquement lorsqu'une violation de la sécurité se produit, comme c'est le cas avec les systèmes de conduite autonome traditionnels.

L'impact généralisé du système s'étend au-delà de l'aviation. Des mécanismes de contrôle coopératifs similaires pourraient un jour être utilisés dans les voitures, les drones et dans le domaine plus large de la robotique.

Lianhao Yin, postdoctorant au MIT CSAIL et premier auteur d'un nouvel article sur Air-Guardian, a déclaré : « Une caractéristique intéressante de notre approche est sa différentiabilité. Notre couche de coopération et l'ensemble du processus de bout en bout peuvent être entraînés.

Tests sur le terrain et résultats

Lors des tests sur le terrain, le pilote et le système ont pris des décisions basées sur les mêmes images brutes lors de la navigation vers un waypoint cible. Le succès d'Air-Guardian est mesuré par les récompenses cumulées gagnées pendant le vol et le trajet le plus court jusqu'au waypoint. Guardian réduit le niveau de risque lié au vol et augmente le taux de réussite de la navigation vers le point cible.

Ramin Hasani, membre de l'institut de recherche CSAIL du MIT et inventeur du Liquid Neural Network, a ajouté : « Ce système représente une approche centrée sur l'humain de l'innovation aéronautique en matière d'IA. Notre utilisation du Liquid Neural Network fournit une approche dynamique et adaptative pour garantir que l'IA ne remplace pas simplement le jugement humain, mais le complète, améliorant ainsi la sécurité et la collaboration dans le ciel.

Base technique et perspectives d’avenir

La véritable force d'Air-Guardian réside dans sa technologie sous-jacente. Il utilise une couche de collaboration basée sur l'optimisation qui exploite l'attention visuelle de l'homme et de la machine, ainsi qu'un réseau neuronal en temps continu (CfC) liquide de forme fermée, connu pour déchiffrer les relations de cause à effet, afin d'analyser les images entrantes à la recherche d'informations importantes. Complémentaire, l'algorithme VisualBackProp identifie le focus du système dans l'image, garantissant une compréhension claire de sa carte d'attention.

Pour être largement utilisée à l’avenir, l’interface homme-machine doit être améliorée. Les commentaires suggèrent qu'un indicateur, tel qu'un graphique à barres, pourrait fournir une représentation plus visuelle du moment où le système de surveillance commence à prendre le contrôle.

SkyGuard annonce une nouvelle ère de ciel plus sûr, offrant un filet de sécurité fiable pour les moments où l'attention humaine vacille.

"Le système SkyGuard met en évidence la synergie entre l'expertise humaine et l'apprentissage automatique, contribuant ainsi à l'objectif d'utiliser l'apprentissage automatique pour améliorer les capacités des pilotes et réduire les erreurs opérationnelles dans des scénarios difficiles", a déclaré Daniela Rus, professeur Andrew (1956) et Erna Viterbi de génie électrique et d'informatique au MIT, directrice du CSAIL et auteur principal de l'article.

"L'un des résultats les plus intéressants de l'utilisation des mesures de l'attention visuelle dans ce travail est la possibilité pour les pilotes humains d'intervenir plus tôt et d'améliorer l'interprétabilité", a déclaré Stephanie Gil, professeur adjoint d'informatique à l'Université Harvard. "Cela montre un excellent exemple de la manière d'utiliser l'intelligence artificielle pour travailler avec les humains, en abaissant le seuil de confiance en tirant parti des mécanismes de communication naturels entre les humains et les systèmes d'intelligence artificielle."