Les chercheurs de Motional et du MIT ont construit un système qui permet aux voitures autonomes d’expliquer leurs décisions en temps réel, s’attaquant ainsi au problème de la boîte noire dans l’IA des véhicules autonomes.
Les travaux, publiés dans Nature, proviennent d’une équipe de Motional qui comprend la PDG Laura Major, travaillant aux côtés de chercheurs du laboratoire d’informatique et d’intelligence artificielle du MIT. La méthode proposée, appelée Concept-Wrapper Network ou CW-Net, vise à traduire les calculs internes du réseau neuronal d’un système de conduite autonome en concepts qu’un humain peut réellement lire.
Si une voiture autonome actuelle freine brusquement sur une route dégagée sans danger évident en vue, ni le conducteur ni le passager n’ont aucun moyen de savoir pourquoi. Les systèmes de conduite autonome modernes s’appuient de plus en plus sur des réseaux de neurones entraînés sur de grands volumes de données de conduite. Ces réseaux peuvent fonctionner correctement, mais ils n’exposent pas leur raisonnement, c’est pourquoi les ingénieurs les décrivent comme des boîtes noires.
Traduire la logique du réseau neuronal en concepts humains
CW-Net fonctionne en convertissant la logique interne d’un système de conduite autonome en concepts tels que « Approche d’un véhicule arrêté » ou « Près d’un cycliste ». Ceux-ci pourraient, selon Motional, apparaître sur un tableau de bord montrant quels concepts influencent les décisions de conduite du véhicule au fur et à mesure qu’elles se produisent.
Le système est conçu de manière à ce que les explications ne soient pas générées après coup pour deviner ce que le réseau aurait pu faire. Au lieu de cela, le système de prise de décision finale du véhicule agit directement sur la base de ces concepts interprétables par l’homme, de sorte qu’un événement de freinage remonte à un concept spécifique qui l’a déclenché. Motional décrit cela comme causalement fidèle, le distinguant des approches qui génèrent des explications en langage naturel, qui peuvent être considérées comme plausibles sans nécessairement être exactes.
Laura Major présente les arguments en faveur de ce type d’interprétabilité contre l’alternative consistant à s’appuyer uniquement sur l’apprentissage profond de bout en bout pour gérer les décisions de conduite.
« L’approche générale de bout en bout uniquement peut aboutir à une très bonne solution à 80-90 pour cent – peut-être même à 95 pour cent –, mais ce n’est pas suffisant pour supprimer un conducteur ou pour gagner la confiance des villes, des communautés et des clients », a-t-elle déclaré.
Tester une IA explicable pour des voitures autonomes autour de Las Vegas
La recherche sur l’IA explicable est restée en grande partie confinée aux simulations informatiques en laboratoire, selon Motional. L’équipe Motional et le MIT ont plutôt déployé CW-Net sur un véhicule autonome avec un opérateur de sécurité expérimenté aux commandes, collectant des données sur une piste d’essai privée et sur la voie publique autour de Las Vegas.
L’équipe a utilisé une version expérimentale antérieure de son système de planification basé sur l’apprentissage en profondeur, décrit comme affichant des performances compétitives mais présentant des lacunes notables que CW-Net pourrait aider à faire ressortir. Deux incidents issus des tests illustrent ce que le système a détecté.
Dans l’un d’eux, le véhicule autonome s’est arrêté à plusieurs reprises près d’un cône de signalisation, et le conducteur du véhicule a supposé que le cône lui-même déclenchait le comportement. Les chercheurs ont retiré le cône et la voiture s’est quand même arrêtée. L’écran de CW-Net montrait la cause réelle : le système de planification expérimentale hallucinait un véhicule arrêté devant, un schéma remontant à ses données d’entraînement. Cette explication a permis aux chercheurs de comprendre, de prédire et de résoudre le problème.
Un deuxième test impliquait un cycliste. Le véhicule autonome a détecté et arrêté le cycliste comme prévu, mais CW-Net a révélé que le système de planification expérimental ne basait pas réellement sa décision sur la présence du cycliste. Le conducteur de sécurité a réagi en faisant preuve de plus de prudence autour des cyclistes après avoir remarqué cela. L’analyse de suivi a confirmé que la prudence était de mise, car le freinage du véhicule dans ce cas provenait d’un système de sauvegarde de sécurité plutôt que du planificateur expérimental basé sur l’apprentissage en profondeur.
Les performances sont restées stables face à l’explicabilité
L’ajout de couches d’explicabilité à un système d’IA entraîne un coût connu en termes de vitesse et de performances, et Motional reconnaît ce risque. Cependant, lorsque les chercheurs ont comparé CW-Net aux principaux algorithmes de conduite autonome, la différence en termes de capacité de conduite était inférieure à 1 %.
Les incidents de Las Vegas montrent pourquoi ce compromis est important sur le plan opérationnel plutôt que simplement sur le plan académique. Un conducteur de sécurité qui peut voir qu’un arrêt est provoqué par un véhicule halluciné, ou qu’un système de secours plutôt que le planificateur principal est responsable d’une manœuvre, peut réagir et signaler avec plus de précision qu’un conducteur travaillant uniquement sur son comportement.
Cette visibilité influe directement sur la rapidité avec laquelle une équipe d’ingénierie peut diagnostiquer un système et sur la confiance avec laquelle un opérateur de sécurité peut faire la distinction entre un comportement prévu et un défaut.
Motional relie le travail de CW-Net à une pression plus large sur les opérateurs de véhicules autonomes à mesure que la technologie s’étend à de nouveaux marchés et juridictions. Les régulateurs demandent naturellement plus de transparence sur la manière dont les systèmes d’IA prennent leurs décisions, et ils s’attendent à ce que des outils comme CW-Net puissent passer du stade de projet de recherche à celui d’exigence de base.
Au-delà des véhicules de tourisme, les drones autonomes et même la chirurgie robotique sont cités comme d’autres domaines critiques pour la sécurité dans lesquels les opérateurs et les développeurs auront besoin de moyens pour comprendre les capacités, les limites et les comportements inattendus d’un système.
Apprenez-en davantage sur l’IA physique pendant le Expo sur l’IA physique organisé à Amsterdam, Londres et en Amérique du Nord.
