Anthropic a dévoilé FlashProve, un système cryptographique open source conçu pour vérifier si un modèle d’IA a réellement généré une réponse sans révéler ses poids exclusifs. La technologie pourrait aider les utilisateurs, les auditeurs indépendants et les régulateurs à confirmer que les fournisseurs exécutent les modèles qu’ils prétendent servir.
Le système utilise une cryptographie à connaissance nulle pour générer des preuves mathématiques qu’un modèle spécifique a produit des jetons de sortie donnés en réponse à une invite particulière. Cela pourrait résoudre un problème de confiance croissant, car les entreprises s’appuient de plus en plus sur des fournisseurs de modèles et des services de routage tiers pour accéder aux systèmes d’IA avancés.
Aujourd’hui, les utilisateurs ne disposent d’aucun moyen fiable pour déterminer si une réponse provient du modèle qu’ils ont sélectionné ou si un fournisseur lui a secrètement substitué une alternative moins chère. FlashProve vise à fournir cette assurance sans obliger les utilisateurs à accéder au modèle ou à l’exécuter de manière indépendante.
Les preuves cryptographiques vérifient les sorties
FlashProve utilise une technique cryptographique appelée argument de connaissance succinct non interactif sans connaissance (zkSNARK). Il permet à un fournisseur de démontrer qu’un calcul a été effectué correctement sans révéler d’informations sensibles sur le modèle sous-jacent.
Le système fonctionne en deux étapes. Premièrement, le fournisseur publie un engagement cryptographique concernant les pondérations de son modèle, créant ainsi une empreinte digitale du modèle exact utilisé tout en gardant les pondérations privées.
Lorsqu’un utilisateur soumet une demande, le fournisseur peut ensuite générer une preuve que le modèle validé a produit les jetons de sortie correspondants. Toute personne ayant l’engagement, la rapidité et la réponse peut vérifier la preuve sans accéder aux poids du modèle.
Anthropic a démontré l’approche en utilisant Llama 4 Maverick, un modèle de mélange d’experts de 400 milliards de paramètres. Fonctionnant sur un seul GPU NVIDIA H100, FlashProve a généré des épreuves à environ 110 jetons par seconde, chaque épreuve mesurant environ 19 Mo pour une requête de 1 024 jetons.
La vérification prend environ 17 secondes en utilisant un processeur à 24 cœurs, sans nécessiter de GPU.
La sécurité répond à des défis pratiques
La technologie pourrait avoir des applications allant au-delà de la vérification si les clients reçoivent le modèle qu’ils ont sélectionné. Anthropic pense que les preuves d’inférence cryptographique pourraient aider à détecter la falsification des réponses des modèles, soutenir des évaluations indépendantes et donner aux régulateurs un moyen de vérifier quels modèles les fournisseurs servent.
Par exemple, une entreprise pourrait exiger d’un fournisseur qu’il démontre que son logiciel de cybersécurité a été examiné par un modèle particulier plutôt que par un substitut moins cher. Les régulateurs pourraient également utiliser ces preuves pour vérifier si les fournisseurs proposent des modèles approuvés ou respectent certains engagements en matière de développement de l’IA.
Cependant, FlashProve reste un prototype de recherche plutôt qu’une solution prête pour la production. La génération de preuves nécessite beaucoup plus de ressources informatiques que l’inférence ordinaire. Les mesures d’Anthropic montrent que le processus prend environ 70 à 95 fois le temps GPU requis par vLLM, un moteur d’inférence open source largement utilisé.
Le système actuel prend également en charge des contextes allant jusqu’à 1 024 jetons et prouve une version entière du modèle sous décodage glouton. Il ne couvre pas encore tous les résultats d’inférence à virgule flottante ou échantillonnés. De plus, il masque les poids du modèle mais pas l’architecture du modèle.
Anthropic a publié le code exécutable du système, le rapport technique, les spécifications du protocole et les preuves de vérification formelle sous la licence Apache 2.0. La société a déclaré que cette publication visait à encourager d’autres chercheurs à s’appuyer sur leurs travaux et à améliorer la technologie.
La recherche représente une première étape vers une vérification indépendante de l’identité des modèles et de l’intégrité des réponses, ce qui pourrait donner aux utilisateurs une plus grande confiance dans les systèmes qui alimentent leurs applications.
