Les conseils d’administration font pression pour obtenir des gains de productivité grâce aux modèles utilisant de grands langages et aux assistants IA. Pourtant, les mêmes fonctionnalités qui rendent l’IA utile (navigation sur des sites Web en direct, mémorisation du contexte utilisateur et connexion aux applications professionnelles) élargissent également la surface des cyberattaques.
Les chercheurs de Tenable ont publié un ensemble de vulnérabilités et d’attaques sous le titre « HackedGPT », montrant comment l’injection indirecte et les techniques associées pourraient permettre l’exfiltration de données et la persistance de logiciels malveillants. Certains problèmes ont été résolus, tandis que d’autres resteraient exploitables au moment de la divulgation de Tenable, selon un avis publié par la société.
La suppression des risques inhérents aux opérations des assistants IA nécessite une gouvernance, des contrôles et des méthodes d’exploitation qui traitent l’IA comme un utilisateur ou un appareil, dans la mesure où la technologie doit être soumise à un audit et à une surveillance stricts.
L’étude de Tenable montre les échecs qui peuvent transformer les assistants IA en problèmes de sécurité. L’injection d’invite indirecte masque les instructions dans le contenu Web que l’assistant lit pendant la navigation, instructions qui déclenchent un accès aux données que l’utilisateur n’avait jamais prévu. Un autre vecteur implique l’utilisation d’une requête frontale qui génère des instructions malveillantes.
L’impact commercial est clair, notamment la nécessité de réagir aux incidents, d’examiner les lois et réglementations et de prendre des mesures pour réduire les atteintes à la réputation.
Il existe déjà des recherches qui montrent que les assistants peuvent divulguer des informations personnelles ou sensibles grâce à des techniques d’injection, et que les fournisseurs d’IA et les experts en cybersécurité doivent corriger les problèmes dès leur apparition.
Ce modèle est familier à tous les acteurs du secteur technologique : à mesure que les fonctionnalités se développent, les modes de défaillance augmentent également. Traiter les assistants IA comme des applications en direct accessibles sur Internet – et non comme des moteurs de productivité – peut améliorer la résilience.
Comment gouverner les assistants IA, en pratique
1) Établir un registre du système d’IA
Inventoriez chaque modèle, assistant ou agent utilisé – dans le cloud public, sur site et en tant que logiciel en tant que service, conformément au NIST AI RMF Playbook. Propriétaire de l’enregistrement, objectif, fonctionnalités (navigation, connecteurs API) et domaines de données consultés. Même sans cette liste d’actifs de l’IA, les « agents fantômes » peuvent persister avec des privilèges que personne ne suit. Shadow AI – encouragé à un moment donné par Microsoft, qui encourageait les utilisateurs à déployer des licences Copilot à domicile au travail – constitue une menace importante.
2) Identités distinctes pour les humains, les services et les agents
La gestion des identités et des accès confond les comptes d’utilisateurs, les comptes de service et les dispositifs d’automatisation. Les assistants qui accèdent à des sites Web, appellent des outils et écrivent des données doivent avoir des identités distinctes et être soumis à des politiques de confiance zéro de moindre privilège. Cartographier les chaînes d’agent à agent (qui a demandé à qui faire quoi, sur quelles données et quand) est une piste minimale qui peut garantir un certain degré de responsabilité. Il convient de noter que l’IA agentique est susceptible de produire des résultats et des actions « créatifs », mais contrairement au personnel humain, elle n’est pas limitée par des politiques disciplinaires.
3) Limiter les fonctionnalités à risque par contexte
Rendre la navigation et les actions indépendantes entreprises par les assistants IA opt-in par cas d’utilisation. Pour les assistants en contact avec les clients, fixez des délais de rétention courts, sauf s’il existe une raison solide et une base légale contraire. Pour l’ingénierie interne, utilisez des assistants IA, mais uniquement dans des projets séparés avec une journalisation stricte. Appliquez la prévention contre la perte de données au trafic des connecteurs si les assistants peuvent accéder aux magasins de fichiers, à la messagerie ou au courrier électronique. Les problèmes précédents liés aux plugins et aux connecteurs démontrent comment les intégrations augmentent l’exposition.
4) Surveillez comme n’importe quelle application Internet
- Capturez les actions de l’assistant et les appels d’outils sous forme de journaux structurés.
- Alerte sur les anomalies : pics soudains de navigation vers des domaines inconnus ; tente de résumer des blocs de code opaques ; des rafales inhabituelles d’écriture en mémoire ; ou un accès au connecteur en dehors des limites de la politique.
- Intégrez des tests d’injection aux contrôles de pré-production.
5) Développer le muscle humain
Formez les développeurs, les ingénieurs cloud et les analystes à reconnaître les symptômes d’injection. Encouragez les utilisateurs à signaler un comportement étrange (par exemple, un assistant résumant de manière inattendue le contenu d’un site qu’ils n’ont pas ouvert). Rendre normal la mise en quarantaine d’un assistant, l’effacement de la mémoire et la rotation de ses informations d’identification après des événements suspects. Le déficit de compétences est réel ; sans perfectionnement des compétences, la gouvernance prendra du retard dans son adoption.
Points de décision pour les responsables informatiques et cloud
| Question | Pourquoi c’est important |
|---|---|
| Quels assistants peuvent naviguer sur le Web ou écrire des données ? | La navigation et la mémoire sont des chemins d’injection et de persistance courants ; contrainte par cas d’utilisation. |
| Les agents ont-ils des identités distinctes et une délégation vérifiable ? | Empêche « qui a fait quoi ? » des lacunes lorsque les instructions sont semées indirectement. |
| Existe-t-il un registre des systèmes d’IA avec les propriétaires, les portées et la conservation ? | Prend en charge la gouvernance, le bon dimensionnement des contrôles et la visibilité du budget. |
| Comment les connecteurs et plugins sont-ils régis ? | Les intégrations tierces ont un historique de problèmes de sécurité ; appliquer le moindre privilège et DLP. |
| Devons-nous tester les vecteurs 0 clic et 1 clic avant la mise en ligne ? | Des recherches publiques montrent que les deux sont réalisables via des liens ou du contenu spécialement conçus. |
| Les fournisseurs appliquent-ils rapidement les correctifs et publient-ils les correctifs ? | La vélocité des fonctionnalités signifie que de nouveaux problèmes apparaîtront ; vérifier la réactivité. |
Risques, visibilité des coûts et facteur humain
- Coût caché : les assistants qui parcourent ou conservent la mémoire consomment du calcul, du stockage et de la sortie d’une manière que les équipes financières et celles qui surveillent l’utilisation de Xaas par cycle n’ont peut-être pas modélisé. Un registre et un comptage réduisent les surprises.
- Lacunes en matière de gouvernance : les cadres d’audit et de conformité conçus pour les utilisateurs humains ne captureront pas automatiquement la délégation d’agent à agent. Alignez les contrôles en fonction des risques OWASP LLM et des catégories NIST AI RMF.
- Risque de sécurité : l’injection indirecte d’invites peut être invisible pour les utilisateurs, transmise par le formatage des médias, du texte ou du code, comme le montrent les recherches.
- Manque de compétences : de nombreuses équipes n’ont pas encore fusionné les pratiques d’IA/ML et de cybersécurité. Investissez dans une formation couvrant la modélisation des menaces et les tests d’injection.
- Posture évolutive : attendez-vous à une cadence de nouveaux défauts et correctifs. La correction par OpenAI d’un chemin sans clic fin 2025 rappelle que la posture du fournisseur change rapidement et doit être vérifiée.
Conclusion
La leçon pour les dirigeants est simple : traitez les assistants IA comme des applications puissantes et en réseau avec leur propre cycle de vie et une propension à la fois à faire l’objet d’attaques et à prendre des mesures imprévisibles. Mettez en place un registre, séparez les identités, limitez les fonctionnalités à risque par défaut, enregistrez tout ce qui est significatif et répétez le confinement.
Avec ces garde-fous en place, l’IA agentique est plus susceptible d’offrir une efficacité et une résilience mesurables – sans devenir discrètement votre nouveau vecteur de violation.
(Source de l’image : « The Enemy Within Unleashed » par aha42 | tehaha est sous licence CC BY-NC 2.0.)
