Le nouveau cadre de simulation de physique médicale de Nvidia traite les robots de santé comme des systèmes d’IA physique qui ont besoin d’une expérience incarnée pour apprendre, et pas seulement du code.
L’IA physique est le terme que Nvidia et une grande partie de l’industrie de la robotique utilisent désormais pour décrire des machines qui doivent apprendre comment le monde se comporte par contact, force et conséquence, plutôt qu’à travers du texte ou des images uniquement.
Un modèle de langage apprend à partir du texte. Un système d’IA physique apprend de ce qui se passe lorsqu’un cathéter rencontre une paroi vasculaire ou lorsqu’un bras robotique applique trop de pression sur les tissus mous. Ce type d’apprentissage nécessite normalement soit un corps physique opérant dans le monde physique, soit une simulation suffisamment détaillée pour en remplacer un.
Pour la robotique médicale, les corps physiques opérant dans le cadre de procédures réelles sont rares, étroitement réglementés et lents à générer l’éventail de scénarios qu’un robot a réellement besoin de voir. La simulation de physique médicale est la tentative de Nvidia de fabriquer cette expérience incarnée par calcul.
Annoncé comme un ajout open source à la plateforme Isaac for Healthcare de la société, le cadre génère les interactions physiques qu’un robot chirurgical ou diagnostique aurait autrement besoin de plusieurs années d’exposition clinique pour rencontrer : un fil guide accroché à la paroi d’un vaisseau calcifié, un calcul rénal logé à un angle inhabituel ou la réponse des tissus mous qui n’apparaît que dans une petite fraction des procédures.
Aucun de ces cas extrêmes n’arrive à temps dans une salle d’opération. La simulation permet aux développeurs de les générer à la demande.
Développer l’intuition physique avant qu’un scalpel n’intervienne
Le cadre combine deux manières de modéliser le comportement des appareils à l’intérieur d’un corps.
La simulation physique classique gère les règles mécaniques déjà bien comprises, comment un cathéter se plie, quelle résistance une paroi vasculaire applique, comment les forces de contact changent lorsqu’un instrument se déplace dans les tissus. L’IA générative gère la partie la plus difficile à coder manuellement : la dynamique de la scène visuelle apprise à partir de données procédurales, fournie via un composant que Nvidia appelle Cosmos-H Dreams.
Cette combinaison est la proposition physique de l’IA en miniature. La simulation classique donne à une politique robotique la physique à laquelle elle doit obéir. La simulation générative lui donne la gamme de variations visuelles et anatomiques dont elle a besoin pour se généraliser. Assemblé et exécuté à grande échelle sur des GPU à l’aide des bibliothèques Warp et Newton de Nvidia, le framework peut exécuter un grand nombre d’environnements de formation parallèles au lieu d’une scène à la fois.
Nvidia déclare qu’un benchmark exécutant 8 192 environnements parallèles a réduit le temps de formation de plus de cinq heures à moins de deux minutes. Cependant, cela démontre le débit – et non la fiabilité clinique – et cela ne dit rien sur la façon dont une politique formée de cette manière fonctionne contre une imagerie incomplète, des lectures de capteur retardées et même une anatomie qui ne correspond pas à tout ce que la simulation a modélisé.
Un modèle de langage qui sous-performe dans un cas limite produit une mauvaise réponse, mais un système d’IA physique qui sous-performe dans un cas limite fonctionne à l’intérieur d’un patient. L’approche de simulation parallèle constitue une véritable avancée dans la rapidité avec laquelle les développeurs peuvent explorer les modes de défaillance. La question de savoir si ces modes de défaillance simulés correspondent à ce qui ne va pas réellement dans un bloc opératoire est une autre question.
Où l’approche de réalisation est testée
Les organisations désignées par Nvidia comme les premiers à adopter appliquent l’approche de l’IA physique à différentes profondeurs, et la liste mérite d’être lue dans cet esprit plutôt que de la traiter comme une liste uniforme de déploiements.
CMR Surgical et Cambridge Consultants, la société d’ingénierie appartenant à Capgemini, sont allés le plus loin en matière de données. CMR a contribué près de 500 heures de données cliniques anonymisées de son système robotique chirurgical Versius à l’ensemble de données Open-H Embodiment, couvrant les procédures de cholécystectomie, de prostatectomie, de réparation de hernie et d’hystérectomie, et le couple utilise Cosmos-H Dreams pour modéliser la physique des interactions avec les tissus mous et produire des simulations spécifiques au patient.
« Les modèles open source nous permettent de nous appuyer sur des connaissances partagées, accélérant l’innovation responsable et, à terme, nous donnent le potentiel de fournir des soins plus cohérents et de meilleurs résultats aux patients du monde entier », a déclaré Chris Fryer, CTO chez CMR Surgical.
Johnson & Johnson MedTech utilise le cadre ainsi qu’un modèle de base basé sur Cosmos pour créer un jumeau numérique de sa plateforme endoluminale MONARCH, axée sur les scénarios de calculs rénaux en urologie.
XCath l’applique à la formation aux politiques d’autonomie endovasculaire, en enseignant à un système le comportement physique de navigation dans les vaisseaux sanguins sans une main humaine sur les commandes. Inner Logic génère des données synthétiques pour valider la mécanique des appareils et affirme avoir l’intention de produire des preuves in silico pour étayer les soumissions réglementaires, bien qu’aucune soumission fondée sur ces preuves n’ait été confirmée publiquement.
Medtronic Structural Heart est le premier du groupe à explorer la détection simulée des rayons X pour la recherche sur la navigation par cathéter.
Chacun d’eux est un exercice de formation ou une contribution à un ensemble de données. Aucun n’est un système déployé fonctionnant sur un patient avec des politiques apprises de cette façon, et Nvidia ne prétend pas le contraire.
Le cas open source des systèmes d’IA physiques
La robotique de santé comporte une exigence de gouvernance. La plupart des applications physiques d’IA, y compris les robots industriels et d’entrepôt, ne sont pas confrontées au même degré : les régulateurs et les comités d’examen clinique doivent voir comment un système est parvenu à son comportement, et pas seulement confirmer que le comportement semble acceptable lors des tests.
Un cadre open source permet aux développeurs d’inspecter les hypothèses physiques contenues dans la simulation, de reproduire les résultats sur différentes anatomies et de créer une piste de preuves adaptée à une soumission devant la FDA ou un organisme équivalent.
C’est un argument plus fort en faveur de l’ouverture dans l’IA physique que dans la plupart des catégories de logiciels, où un pipeline de fournisseurs fermé cache les hypothèses qu’une équipe devrait autrement défendre auprès d’un régulateur. Cela ne résout pas à lui seul la question de validation.
Le code ouvert permet aux examinateurs externes de vérifier la logique du modèle, mais il ne confirme pas que le comportement physique du modèle correspond à ce qui se passe dans un corps, et cette confirmation doit encore provenir de tests qu’aucune de ces sociétés n’a encore publiés.
Nvidia a construit une infrastructure qui pourrait raccourcir la phase pré-matérielle du développement physique de l’IA pour les robots chirurgicaux et diagnostiques, et organiser une formation à cette échelle en parallèle constitue une rupture avec la reconstruction d’une scène de simulation personnalisée pour chaque flux de travail.
Vous pouvez en savoir plus sur ce sujet sur Expo sur l’IA physique.
