Le système d’IA médicale de recherche de Google, AMIE (Vidéo), a mené des consultations vidéo synchrones avec des patients acteurs professionnels et a reçu des notes d’évaluateurs cliniques comparables à celles des médecins de soins primaires pour plusieurs mesures de base.
Quinze acteurs qualifiés ont dépeint des affections sous des formes cardiopulmonaires, abdominales, HEENT, neurologiques ou psychiatriques et musculo-squelettiques. Google affirme que des études impliquant de vrais patients et leurs propres problèmes de santé doivent suivre avant que quiconque puisse tirer des conclusions sur l’utilisation clinique.
AMIE répartit une consultation vidéo entre trois agents
AMIE utilise une architecture multi-agents asynchrone plutôt que d’attribuer le dialogue, le raisonnement clinique et la perception à un seul processus modèle. Google affirme qu’un seul agent ne peut actuellement pas maintenir des temps de réponse naturels lors d’une conversation tout en effectuant un raisonnement détaillé et en traitant en continu les entrées audiovisuelles.
L’agent locuteur gère l’interaction orale avec le patient. Il vise à maintenir le flux conversationnel, en s’appuyant sur les informations des autres agents. L’agent planificateur fonctionne en arrière-plan, mettant à jour les diagnostics différentiels et les plans de gestion au fur et à mesure de l’avancement de la consultation. Il identifie également les informations manquantes et redéfinit les objectifs cliniques.
Un agent de perception examine en permanence les flux vidéo et audio. Il recherche des signes non verbaux, des constatations physiques et des signaux auditifs, puis place ces observations dans le contexte clinique de la conversation.
La latence reste centrale. Un raisonnement clinique approfondi prend du temps et de longues pauses peuvent affecter les relations lors d’une consultation. L’architecture de Google sépare le dialogue avec le patient du travail plus lent de raisonnement et de perception, permettant à l’agent locuteur de répondre sans attendre la fin de chaque processus en arrière-plan.
Google rapporte que des évaluations automatisées ont révélé que chaque agent améliorait les mesures cliniques, notamment l’historique, le raisonnement clinique et les recommandations de traitement. Les évaluations ont également porté sur la communication centrée sur le patient et sur la latence de réponse.
L’étude a comparé la vidéo AMIE avec du texte et des médecins
Google a structuré l’évaluation humaine comme une étude randomisée à plusieurs bras. AMIE a réalisé des consultations vidéo en temps réel. Une version AMIE en texte uniquement a fourni une base de référence pour les modalités. Dix médecins de soins primaires certifiés ont utilisé la même interface vidéo.
Un panel indépendant de 20 médecins de soins primaires expérimentés a examiné chaque consultation à l’aide de rubriques cliniques établies. Le panel a évalué la compétence clinique générale, puis a appliqué des critères spécifiques au scénario adaptés au cas.
L’étude a porté sur cinq systèmes corporels. Chaque scénario suivait un format de consultation standardisé avec un patient acteur formé.
Google affirme que les évaluateurs ont évalué l’AMIE à égalité avec le groupe PCP pour la rigueur de l’anamnèse, l’exactitude du diagnostic, la pertinence de la gestion et la qualité de la communication. AMIE (Vidéo) a également égalé ou dépassé AMIE (Texte) dans ces mesures.
Les évaluateurs ont évalué le système vidéo plus haut en ce qui concerne l’obtention de signes physiques et le guidage proactif des acteurs à travers des manœuvres d’examen virtuel que le groupe PCP ou l’AMIE texte uniquement. Les scores de perception et d’examen spécifiques à chaque cas reflétaient la même tendance rapportée.
Les acteurs patients ont également préféré l’interface vidéo synchrone au chat textuel. Google affirme avoir jugé la vidéo plus facile à utiliser et plus efficace pour communiquer les problèmes de santé. Les acteurs ont évalué favorablement AMIE pour son empathie, ses relations et sa confiance dans les soins par rapport aux deux alternatives d’étude.
Les tests automatisés ont eu lieu avant l’examen par un médecin
Google a construit une suite d’évaluation automatisée pour développer le système vidéo avant l’étude sur l’homme. Son cadre s’appuie sur une taxonomie des compétences en télésanté tirée de la littérature médicale, couvrant les signaux visuels, les signaux auditifs et les manœuvres d’examen physique.
Les évaluations en un seul tour testaient des tâches spécifiques de perception et de raisonnement. Google donne en exemple la latéralité anatomique et les signes de détresse respiratoire. Des consultations audio simulées à plusieurs tours ont évalué les performances conversationnelles du système sur une interaction plus longue.
L’entrée visuelle est entrée dans certaines de ces simulations multi-tours sous forme de descriptions textuelles. Dans un scénario de maladie de Parkinson, par exemple, un simulateur de patient IA pourrait décrire un patient tenant un papier devant la caméra et montrant une petite écriture manuscrite. Cet arrangement a permis à Google de tester le comportement du dialogue parallèlement aux informations visuelles, même s’il ne reproduit pas un flux vidéo en direct de bout en bout.
La suite automatisée a permis des changements rapides dans la conception du système et a mis en évidence des lacunes en matière de capacités avant l’étude basée sur les acteurs. L’évaluation OSCE ultérieure a utilisé une interface de consultation vidéo synchrone, même si les présentations des patients suivaient toujours des scénarios préparés.
La répartition entre ces méthodes devrait façonner les discussions sur les achats et la gouvernance. Les évaluations automatisées peuvent tester des tâches de perception définies à grande échelle. Les consultations vidéo simulées peuvent évaluer la qualité des interactions dans des conditions contrôlées. Aucune des deux méthodes n’établit la performance avec des patients dont les symptômes, le comportement, la connectivité, l’environnement et les antécédents médicaux ne relèvent pas d’un cas préparé.
Les preuves de production restent limitées aux travaux basés sur des textes
Google identifie plusieurs limites dans la recherche AMIE. Les acteurs professionnels ne peuvent pas reproduire pleinement la variabilité des rencontres réelles avec les patients. Les scénarios excluaient également les présentations que les acteurs ne pouvaient pas représenter de manière authentique, y compris les cas où la perception audiovisuelle pouvait avoir une plus grande valeur diagnostique.
Des évaluations automatisées ciblées ont révélé des erreurs occasionnelles de perception et de raisonnement. Google signale également des problèmes techniques intermittents qui peuvent interrompre le naturel d’une conversation. Le projet Astra reste un prototype, avec des considérations techniques au niveau du système en dehors de cette application médicale. Google déclare que de véritables recherches sur les patients constituent la prochaine étape.
La société a commencé des travaux connexes en milieu clinique avec l’AMIE basé sur du texte. Une étude de faisabilité menée avec le centre médical Beth Israel Deaconess a fourni des premières preuves de la sécurité et de l’utilité dans la pratique clinique, selon Google. Une étude randomisée en cours à l’échelle nationale avec Included Health évalue l’IA dans les soins virtuels du monde réel.
L’étude de Google fournit des preuves contrôlées sur le comportement en matière de consultation vidéo, les conseils en matière d’examen physique et la notation des cliniciens. Il ne fournit pas encore la preuve qu’AMIE peut diagnostiquer ou gérer en toute sécurité de vrais patients en production.
