Construit par Paige et Microsoft, PRISM2 lit des images de diapositives entières via un encodeur basé sur un système de perception formé conjointement sur des mosaïques de tissus et des dialogues cliniques tirés de rapports de pathologie. Le modèle regroupe des milliers d’intégrations de vignettes par diapositive en une seule représentation, puis génère un texte qui répond aux questions de diagnostic plutôt que de simplement classer les pixels.
Les données d’entraînement couvrent 2,3 millions d’images de diapositives entières. La supervision du dialogue provient de 685 507 rapports de pathologie collectés par le Memorial Sloan Kettering Cancer Center au cours des soins de routine, convertis en paires de questions-réponses par GPT-4o.
Architecture et conception d’intégration
L’architecture se déroule en deux phases distinctes. La première étape entraîne l’encodeur de diapositive lui-même, lui apprenant à regrouper les fonctionnalités au niveau des vignettes en un seul vecteur au niveau de la diapositive en corrélation avec le langage du rapport.
La deuxième étape gèle entièrement cet encodeur et déplace le travail sur le modèle de langage, en l’affinant sur le dialogue afin qu’il apprenne les conventions de rapport de pathologie plutôt que la mécanique de l’encodeur.
Le dialogue monotour assure la supervision dans cette deuxième étape. Aucun historique de conversation à plusieurs tours n’entre dans le signal de formation, ce qui limite le type d’échanges interactifs qu’un système déployé pourrait prendre en charge sans autre ingénierie.
Un encodeur de diapositive basé sur un percepteur se trouve au centre de la première étape, agrégeant les intégrations de tuiles Virchow2 dans la représentation au niveau de la diapositive. Deux fonctions de perte l’entraînent simultanément.
Les intégrations de texte BioGPT visent un objectif contrastif, en tirant les représentations de diapositives vers une langue de rapport correspondante et en les poussant à partir de paires incompatibles. Phi-3 Mini exécute un objectif autorégressif à ses côtés, forçant la sortie de l’encodeur à prendre en charge la génération directe de texte plutôt que la simple notation de similarité.
La formation contrastive à elle seule a tendance à produire des intégrations bonnes en termes de récupération mais faibles en génération, et la formation autorégressive seule peut suradapter aux modèles de texte de surface sans apprendre de caractéristiques visuelles transférables. Exécuter les deux sur la même sortie d’encodeur est le pari architectural que fait PRISM2.
PRISM2 expose deux intégrations distinctes plutôt qu’une. Les intégrations de base proviennent directement de l’encodeur de diapositives et sont transférées aux tâches de prédiction de biomarqueurs. Les intégrations de diagnostic sont plutôt extraites de l’état caché du modèle de langage de 4 milliards de paramètres, qui n’est extrait qu’après que ce modèle a traité seul les latentes de la diapositive, en utilisant l’image sans invite de texte.
Cette distinction détermine où chaque intégration fonctionne le mieux. La formation ajuste l’intégration du diagnostic spécifiquement pour les tâches de détection du cancer, de sous-typage et de détection d’indications bénignes. Les auteurs de l’article recommandent l’intégration de base pour tout ce qui se trouve en dehors de cette distribution axée sur le diagnostic. Les tâches de survie bénéficient d’une troisième intégration affinée séparément au-dessus des deux autres.
Performances et résultats de référence
PRISM2 égale ou dépasse la précision équilibrée des produits de qualité clinique calibrés pour la détection du cancer de la prostate et du sein, testés sur les propres ensembles de données d’évaluation de ces produits. La classification des ganglions lymphatiques du sein rejoint la comparaison, et PRISM2 y surpasse Paige BLN sans aucune formation supplémentaire sur cette tâche spécifique.
Les modèles de base précédents de la comparaison ne résistent pas aussi bien à la classification contrastée : PRISM et TITAN sont tous deux en deçà des performances au niveau des produits, et l’écart se creuse spécifiquement en ce qui concerne les tests des ganglions lymphatiques du sein.
La détection du cancer pan-cancer étend encore plus la référence. Les intégrations diagnostiques ont atteint 0,967 AUC, contre 0,956 pour l’intégration de base sur la même tâche. PRISM a obtenu un score de 0,947 dans cette comparaison tandis que TITAN a obtenu un score de 0,931.
La détection d’un cancer rare a fait chuter le score d’intégration diagnostique de 0,967 à 0,957 AUC. L’article attribue des exemples de formation clairsemés pour ces types de tissus.
Le sondage linéaire donne une lecture plus claire de la qualité de la représentation que le réglage fin de bout en bout, car il maintient l’encodeur fixe et teste uniquement si un simple classificateur peut extraire le signal pertinent.
Selon cette méthode, les intégrations PRISM2 ne sous-performent jamais statistiquement les modèles de fondation antérieurs dans les tests de diagnostic testés, à P < 0,05. Les résultats s’améliorent davantage là où l’ensemble de formation pan-cancer contient peu d’échantillons provenant des types de tissus comparés.
Les tâches de survie et de biomarqueurs suivent un modèle connexe selon la même méthode de sondage. Les chercheurs ont rassemblé plus de 225 000 cas de suivi de la survie globale de près de 100 000 patients, puis ont comparé un encodeur de diapositive PRISM2 affiné directement à un modèle spécialisé en survie formé à partir de zéro sur l’ensemble de données identique. Les intégrations PRISM2 ont remporté cette comparaison.
La survie sans récidive du cancer colorectal MSK a produit l’écart le plus important : un indice de concordance de 0,809 contre 0,773 pour le modèle spécialisé.
Les intégrations de base résistent ici également, sans aucun réglage spécifique à la survie. Sur les tâches de biomarqueurs – qui se situent en dehors de la distribution de formation de rapport-dialogue – les intégrations de base battent en fait celles de diagnostic, avec une moyenne de 0,854 AUC sur les tâches MSK et de 0,784 sur les tâches TCGA. COBRA et TITAN suivent de près sur ces mêmes chiffres.
L’étude sur l’ablation isole ce que la supervision du dialogue apporte à elle seule. L’ajout de modèles de dialogue au point de départ original de PRISM a fait passer l’inférence basée sur des invites d’une précision équilibrée d’environ 0,498 à 0,653.
L’ensemble de données de questions-réponses derrière ce saut est 3,5 fois plus grand que le sous-ensemble PRISM sur lequel il s’appuie, et le document attribue environ la moitié de l’amélioration du diagnostic de PRISM2 à cette seule augmentation d’échelle plutôt qu’aux changements architecturaux.
Les dossiers de formation couvrent 200 692 patients au total. GPT-4o a généré chaque exemple de dialogue à partir des 685 507 rapports sous-jacents, un pipeline de données synthétiques qui nécessitait lui-même un contrôle de qualité indépendant.
Qualité des données, taux d’erreur et limites architecturales
Un pathologiste a examiné 50 échantillons prélevés sur 10 types de tissus pour vérifier à la fois le texte de formation généré et les propres résultats de PRISM2.
Les erreurs liées aux questions de vérité terrain ont atteint 3 % pour les formats ouverts et à choix multiples combinés. Les résumés de diagnostic étaient plus élevés, avec un taux d’erreur de 8 pour cent. Les questions complémentaires oui/non ont obtenu les pires résultats des trois catégories : 18 % étaient non pertinentes ou inexactes.
Les propres erreurs de réponse aux questions de PRISM2 se situaient entre 7 % et 11 % dans cette même revue. L’hallucination et l’omission étaient les types d’échecs dominants, et non la contradiction factuelle de la diapositive source.
Le modèle ne comporte aucun codage de position sur les tuiles, ce qui signifie qu’il ne dispose d’aucun mécanisme intégré permettant de raisonner sur l’emplacement des structures les unes par rapport aux autres sur une diapositive. Chaque analyse lors de la formation et des tests s’est déroulée à une seule résolution fixe : 0,5 microns par pixel.
Aucune des deux lacunes n’est triviale pour une équipe ML évaluant l’architecture. Les tâches de raisonnement spatial et la nécessité de travailler avec un grossissement variable restent des problèmes non résolus plutôt que des problèmes résolus mais non optimisés.
MSK a numérisé chaque diapositive utilisée lors de la formation. L’évaluation s’est également appuyée sur des données non MSK. Les auteurs appellent à une validation externe avant le déploiement au-delà de ce pipeline d’analyse à institution unique.
Les poids des modèles sont publiés sur Hugging Face. Les pipelines de formation et d’inférence dépendent toujours de l’infrastructure propriétaire de Paige et Microsoft, ce qui limite la mesure dans laquelle une équipe externe peut reproduire le pipeline complet plutôt que de simplement exécuter l’inférence sur les pondérations publiées.
Les équipes qui s’appuient sur PRISM2 doivent tester le transfert intégré par rapport à leur propre sortie de scanner avant d’assumer la parité avec la ligne de base formée par MSK.
Correction : cet article a été mis à jour pour clarifier que les données d’évaluation de PRISM2 ne se limitaient pas aux lames provenant de MSK, que l’intégration de diagnostic prend également en charge la détection d’indications bénignes et que les intégrations de diagnostic sont générées à partir de l’image seule, sans invite de texte.
