Un nouveau rapport de Deloitte avertit que les entreprises déploient des agents d’IA plus rapidement que leurs protocoles de sécurité et leurs mesures de protection ne peuvent suivre. Par conséquent, de sérieuses inquiétudes concernant la sécurité, la confidentialité des données et la responsabilité se multiplient.
Selon l’enquête, les systèmes agents passent si rapidement du stade pilote à la production que les contrôles de risque traditionnels, conçus pour des opérations davantage centrées sur l’humain, ont du mal à répondre aux exigences de sécurité.
Seulement 21 % des organisations ont mis en place une gouvernance ou une surveillance stricte pour les agents d’IA, malgré le taux d’adoption accru. Alors que 23 % des entreprises déclarent utiliser actuellement des agents d’IA, ce chiffre devrait atteindre 74 % au cours des deux prochaines années. La part des entreprises qui n’ont pas encore adopté cette technologie devrait passer de 25 % à seulement 5 % au cours de la même période.
La mauvaise gouvernance est la menace
Deloitte ne souligne pas que les agents d’IA sont intrinsèquement dangereux, mais affirme que les risques réels sont associés à un mauvais contexte et à une mauvaise gouvernance. Si les agents opèrent comme leurs propres entités, leurs décisions et actions peuvent facilement devenir opaques. Sans une gouvernance solide, il devient difficile à gérer et presque impossible à garantir contre les erreurs.
Selon Ali Sarrafi, PDG et fondateur de Kovant, la réponse est l’autonomie gouvernée. « Des agents bien conçus, dotés de limites, de politiques et de définitions claires, gérés de la même manière qu’une entreprise gère n’importe quel travailleur, peuvent agir rapidement sur un travail à faible risque à l’intérieur de garde-fous clairs, mais se transmettre aux humains lorsque les actions dépassent les seuils de risque définis. »
« Grâce à des journaux d’actions détaillés, à l’observabilité et à un contrôle humain pour les décisions à fort impact, les agents cessent d’être de mystérieux robots et deviennent des systèmes que vous pouvez inspecter, auditer et auxquels vous pouvez faire confiance. »
Comme le suggère le rapport de Deloitte, l’adoption des agents d’IA devrait s’accélérer dans les années à venir, et seules les entreprises qui déploient la technologie avec visibilité et contrôle auront le dessus sur leurs concurrents, et non celles qui les déploient le plus rapidement.
Pourquoi les agents IA ont besoin de garde-fous robustes
Les agents d’IA peuvent donner de bons résultats dans les démonstrations contrôlées, mais ils rencontrent des difficultés dans des contextes professionnels réels où les systèmes peuvent être fragmentés et les données peuvent être incohérentes.
Sarrafi a commenté la nature imprévisible des agents d’IA dans ces scénarios. « Lorsqu’un agent reçoit trop de contexte ou de portée à la fois, il devient sujet à des hallucinations et à un comportement imprévisible. »
« En revanche, les systèmes de production limitent la portée des décisions et du contexte avec lesquels les modèles fonctionnent. Ils décomposent les opérations en tâches plus étroites et ciblées pour des agents individuels, rendant le comportement plus prévisible et plus facile à contrôler. Cette structure permet également la traçabilité et l’intervention, de sorte que les échecs peuvent être détectés tôt et transmis de manière appropriée plutôt que de provoquer des erreurs en cascade. »
Responsabilité pour l’IA assurable
Les agents prenant des mesures réelles dans les systèmes d’entreprise, comme la tenue de journaux d’actions détaillés, les risques et la conformité sont perçus différemment. Avec chaque action enregistrée, les activités des agents deviennent claires et évaluables, permettant aux organisations d’inspecter les actions en détail.
Une telle transparence est cruciale pour les assureurs, qui hésitent à couvrir les systèmes d’IA opaques. Ce niveau de détail aide les assureurs à comprendre ce que les agents ont fait et les contrôles impliqués, facilitant ainsi l’évaluation des risques. Grâce à une surveillance humaine des actions critiques et à des flux de travail vérifiables et rejouables, les organisations peuvent produire des systèmes plus faciles à gérer pour l’évaluation des risques.
Les normes AAIF, un bon premier pas
Les normes partagées, comme celles développées par l’Agentic AI Foundation (AAIF), aident les entreprises à intégrer différents systèmes d’agents, mais les efforts de normalisation actuels se concentrent sur ce qui est le plus simple à construire, et non sur ce dont les grandes organisations ont besoin pour exploiter leurs systèmes d’agents en toute sécurité.
Sarrafi affirme que les entreprises ont besoin de normes qui prennent en charge le contrôle des opérations et qui incluent « des autorisations d’accès, des flux de travail d’approbation pour les actions à fort impact, ainsi que des journaux et une observabilité vérifiables, afin que les équipes puissent surveiller le comportement, enquêter sur les incidents et prouver la conformité ».
Identité et autorisations, première ligne de défense
Il est important de limiter l’accès des agents d’IA et les actions qu’ils peuvent effectuer pour garantir la sécurité dans les environnements professionnels réels. Sarrafi a déclaré : « Lorsque les agents bénéficient de privilèges étendus ou de trop de contexte, ils deviennent imprévisibles et présentent des risques en matière de sécurité ou de conformité. »
La visibilité et la surveillance sont importantes pour maintenir les agents dans les limites imposées. Ce n’est qu’à ce moment-là que les parties prenantes pourront avoir confiance dans l’adoption de la technologie. Si chaque action est enregistrée et gérable, les équipes peuvent alors voir ce qui s’est passé, identifier les problèmes et mieux comprendre pourquoi les événements se sont produits.
Sarrafi a poursuivi : « Cette visibilité, combinée à la supervision humaine là où cela est important, transforme les agents d’IA de composants impénétrables en systèmes qui peuvent être inspectés, rejoués et audités. Elle permet également une enquête et une correction rapides lorsque des problèmes surviennent, ce qui renforce la confiance entre les opérateurs, les équipes de gestion des risques et les assureurs. »
Le plan de Deloitte
La stratégie de Deloitte pour une gouvernance sécurisée des agents d’IA définit des limites définies pour les décisions que les systèmes agents peuvent prendre. Par exemple, ils peuvent fonctionner avec une autonomie à plusieurs niveaux, où les agents peuvent uniquement consulter des informations ou proposer des suggestions. À partir de là, ils peuvent être autorisés à entreprendre des actions limitées, mais avec l’approbation humaine. Une fois qu’ils ont prouvé leur fiabilité dans les zones à faible risque, ils peuvent être autorisés à agir automatiquement.
Les « Cyber AI Blueprints » de Deloitte suggèrent des couches de gouvernance et intègrent des politiques et des feuilles de route en matière de capacités de conformité dans les contrôles organisationnels. En fin de compte, les structures de gouvernance qui suivent l’utilisation et les risques de l’IA, et intègrent la surveillance dans les opérations quotidiennes sont importantes pour une utilisation sûre de l’IA agentique.
Préparer la main-d’œuvre avec une formation est un autre aspect d’une gouvernance sûre. Deloitte recommande de former les employés sur ce qu’ils ne doivent pas partager avec les systèmes d’IA, sur ce qu’il faut faire si les agents déraillent et sur la façon de détecter les comportements inhabituels et potentiellement dangereux. Si les employés ne comprennent pas le fonctionnement des systèmes d’IA et leurs risques potentiels, ils peuvent affaiblir les contrôles de sécurité, même involontairement.
Une gouvernance et un contrôle solides, ainsi qu’une alphabétisation partagée, sont fondamentaux pour le déploiement et le fonctionnement en toute sécurité des agents d’IA, permettant des performances sécurisées, conformes et responsables dans des environnements du monde réel.
(Source de l’image : « Global Hawk, le nouvel avion télécommandé de la NASA » par NASA Goddard Photo and Video est sous licence CC BY 2.0.)
