Les chercheurs et collaborateurs du MIT ont découvert que les outils d’explicabilité de l’IA dans le secteur de la santé peuvent produire des résultats très différents selon la personne qui les utilise.
Lorsqu’ils ont été appliqués au diagnostic des maladies de la peau, les non-experts ont amélioré leur précision grâce à l’aide de l’IA, bien que l’amélioration provienne en grande partie du référencement au modèle. Les prestataires de soins primaires ont montré un schéma différent : ils ont obtenu de meilleurs résultats lorsqu’ils ont reçu une prédiction de l’IA sans explication.
L’étude – qui paraît dans Nature Medicine – a examiné le diagnostic dermatologique, où les outils d’IA soutiennent déjà certains cliniciens et atteignent de plus en plus les patients via des produits de recherche basés sur l’IA.
Marzyeh Ghassemi, professeur agrégé au département de génie électrique et d’informatique du MIT, a déclaré que les résultats nécessitent une attention particulière dans la conception des interfaces d’IA en matière de santé.
« De bons systèmes d’IA peuvent améliorer les performances dans certains contextes de santé, mais cela doit être soigneusement équilibré avec une déférence algorithmique qui peut conduire à davantage d’erreurs », a-t-elle déclaré. « Nous savons que l’IA et les méthodes d’explicabilité peuvent impliquer un biais d’automatisation chez les humains, et cet effet d’ancrage doit être pris en compte lorsque nous concevons des systèmes d’IA. »
L’interface change le diagnostic
L’IA explicable vise à donner aux utilisateurs des raisons d’évaluer les résultats d’un modèle. Un système peut mettre en évidence des zones d’une image médicale qui ont influencé son diagnostic. Une autre approche peut montrer des images similaires qui soutiennent une prédiction.
Les grands modèles linguistiques offrent un itinéraire différent. Ils peuvent produire un compte rendu en langage simple du raisonnement d’un modèle, en présentant un diagnostic dans des termes destinés au grand public.
La recherche dirigée par le MIT a testé plusieurs de ces approches. Les participants ont vu des images médicales ainsi qu’une prédiction de l’IA sur les maladies de peau. Une interface fournissait une prédiction et un niveau de confiance sans aucune explication. Un autre a renvoyé des images similaires et un système distinct a utilisé des cartes thermiques pour identifier les régions d’intérêt. Les chercheurs ont également testé les explications générées par LLM.
Des non-experts ont évalué si les images de grains de beauté révélaient un cancer. Les cliniciens étaient confrontés à une tâche plus vaste : ils devaient fournir un diagnostic différentiel des maladies dermatologiques.
Les non-experts s’en remettent le plus aux explications linguistiques
Chaque approche d’explicabilité a amélioré la précision de l’étude par les non-experts. Les outils ont principalement aidé les participants à identifier les grains de beauté non cancéreux.
Les chercheurs ont également testé un modèle soumis à des contraintes d’équité, destiné à lutter contre les préjugés à l’égard des peaux plus foncées. Ce modèle a amélioré la précision et réduit les disparités diagnostiques en fonction du teint. Le gain de performance comportait un risque. Les non-experts se sont largement appuyés sur les recommandations du modèle, et une sortie incorrecte du modèle a plus endommagé leurs performances qu’une sortie correcte ne les a améliorées.
« La raison pour laquelle les utilisateurs non experts sont meilleurs est qu’ils dépendent davantage des modèles. Lorsque le modèle est erroné, cela nuit plus aux performances que cela n’aide les performances lorsque le modèle est correct. Nous avons simplement pu former de très bons modèles d’IA pour ce paramètre », a déclaré Ghassemi.
Les explications LLM ont produit l’effet de déférence le plus fort. Les participants faisaient confiance à ces explications, que les résultats du modèle soient corrects ou incorrects. Ils ont également trouvé des explications vagues ou génériques plus convaincantes, selon les chercheurs.
Les utilisateurs qui ont reçu une assistance LLM ont signalé une plus grande confiance dans les mauvaises réponses. Ce résultat exerce une pression sur la conception des interfaces pour les systèmes de diagnostic destinés aux consommateurs, où une explication textuelle plausible peut sembler faisant autorité même lorsque le modèle a commis une erreur.
Roxana Daneshjou, professeur adjoint de science des données biomédicales et de dermatologie à l’Université de Stanford, a déclaré que les patients ayant des connaissances médicales limitées sont les plus exposés à des résultats incorrects et explicables de l’IA.
« Ces découvertes sont importantes alors que les patients se tournent de plus en plus vers l’IA pour les aider dans leurs soins de santé », a-t-elle déclaré. « Nos résultats montrent que ceux qui ont le moins de connaissances médicales sont plus susceptibles d’être induits en erreur lorsque des modèles d’IA explicables donnent un résultat erroné. »
Les prestataires de soins primaires ont utilisé l’IA différemment
Les cliniciens n’ont pas suivi de la même manière les explications incorrectes de l’IA. Ils sont restés résilients lorsque le système produisait une recommandation ou une explication erronée. Leurs meilleures performances provenaient d’une interface plus limitée dans laquelle le système donnait aux cliniciens la prédiction du modèle sans explication.
Les explications LLM ont produit la plus petite amélioration de la précision parmi les méthodes d’explicabilité testées pour les cliniciens. Le résultat ne montre pas que les explications n’ont aucun rôle dans la pratique clinique. Il montre qu’un format d’explication adapté à un patient ou à un novice peut ne pas convenir à un utilisateur formé effectuant un diagnostic différentiel.
L’auteur principal Orson Xu, professeur adjoint au département d’informatique biomédicale de l’université de Columbia, a déclaré : « Cela dépend vraiment de la façon dont chaque groupe utilise l’explication. Un clinicien a déjà un diagnostic en tête et vérifie l’IA par rapport à sa propre formation, donc une mauvaise explication est détectée. »
« Pendant ce temps, un non-expert peut utiliser exactement la même explication pour se faire une opinion en premier lieu, de sorte qu’une justification plausible et confiante peut l’amener à la mauvaise réponse. Le même outil finit par être un atout pour un utilisateur et un handicap pour un autre. »
L’étude s’oppose au traitement de l’explicabilité comme un composant d’interface standard qui fonctionne de manière identique pour chaque rôle. L’expertise de base de l’utilisateur détermine si une explication agit comme un contrôle sur le modèle ou devient un substitut à un jugement indépendant.
Le timing affecte le biais d’automatisation
Les chercheurs ont également examiné quand les utilisateurs ont vu l’assistance de l’IA. Les gens sont devenus plus déférents lorsque le système a montré une explication avant qu’ils n’aient eu la possibilité de poser leur propre diagnostic. Cette découverte indique un choix de conception pratique : une interface pourrait demander à l’utilisateur une hypothèse de diagnostic initiale, puis fournir une recommandation d’IA qui fait apparaître des conditions alternatives à prendre en considération.
L’étude a révélé que les utilisateurs qui s’en remettaient le plus à l’IA étaient également les moins performants lorsqu’ils accomplissaient la tâche sans le support de l’IA. Ces participants peuvent tirer profit de l’assistance du modèle, même s’ils courent également le plus grand risque lorsque le modèle produit des résultats incorrects.
La recherche a comparé les performances humaines et celles de l’IA dans différentes présentations de maladies. Les systèmes d’IA ont surpassé les humains lorsque les symptômes apparaissaient de manière subtile. Les humains obtenaient de bien meilleurs résultats lorsqu’une image contenait des symptômes atypiques ou des caractéristiques sans rapport.
Les outils destinés aux cliniciens peuvent nécessiter un résultat de modèle direct qui prend en charge l’examen par rapport au jugement professionnel. Les outils destinés aux patients nécessitent une attention particulière quant aux explications du LLM, en particulier lorsque le système présente un récit confiant pour une recommandation incorrecte.
