Malgré toutes les possibilités que nous offre l’IA, il existe toujours un risque que la technologie fonctionne mal ou soit compromise. En cas de crise du système d’IA, une nouvelle étude de l’ISACA a révélé que la majorité des organisations interrogées ne pouvaient pas expliquer à quelle vitesse elles pourraient mettre fin à une urgence du système d’IA, ni même rendre compte de la cause du problème.
Selon le rapport de l’ISACA, 59 % des professionnels de la confiance numérique ne comprenaient pas à quelle vitesse leur organisation pouvait interrompre et arrêter un système d’IA lors d’un incident de sécurité. Seulement 21 % ont déclaré qu’ils pouvaient intervenir de manière significative en une demi-heure. Cela indique un paysage dans lequel les systèmes d’IA corrompus peuvent continuer à fonctionner sans contrôle, entraînant un risque de dommages irréversibles.
Ali Sarrafi, PDG et fondateur de Kovant, une plateforme d’entreprise autonome, a déclaré : « Les conclusions de l’ISACA mettent en évidence un problème structurel majeur dans la manière dont les organisations déploient l’IA. Les systèmes sont intégrés dans des flux de travail critiques sans la couche de gouvernance nécessaire pour superviser et auditer leurs actions. Si une entreprise ne peut pas arrêter rapidement un système d’IA, expliquer son comportement ou même identifier qui doit être tenu responsable, l’entreprise n’a pas le contrôle de ce système. »
Échecs et risques de l’IA
Au total, seulement 42 % des personnes interrogées ont exprimé leur confiance dans la capacité de leur organisation à analyser et à clarifier les incidents graves d’IA, entraînant ainsi d’éventuelles défaillances opérationnelles et risques de sécurité. De plus, sans expliquer ces incidents aux régulateurs et aux dirigeants, les entreprises pourraient être confrontées à des sanctions juridiques et à des réactions négatives du public.
Une analyse appropriée est nécessaire pour apprendre de ses erreurs. Sans une compréhension claire, la probabilité d’incidents répétés ne fait qu’augmenter. Il est important de gérer l’IA de manière responsable, avec une gouvernance efficace de l’IA, mais les conclusions de l’ISACA indiquent que cela fait souvent défaut.
La responsabilité est un autre domaine flou : 20 % déclarent ne pas savoir qui serait responsable si un système d’IA causait des dommages. Seulement 38 % ont identifié le conseil d’administration ou un exécutif comme responsable ultime.
Sarrafi a souligné que ralentir l’adoption de l’IA n’est pas la solution ; il est plutôt essentiel de repenser la façon dont il est géré. « Les systèmes d’IA doivent s’intégrer dans une couche de gestion structurée qui les traite comme des employés numériques, avec une propriété claire, des chemins d’escalade définis et la possibilité d’être suspendus ou remplacés instantanément lorsque les seuils de risque sont franchis. De cette manière, les agents cessent d’être des robots mystérieux et deviennent des systèmes que vous pouvez inspecter et auxquels vous pouvez faire confiance. À mesure que l’IA est de plus en plus profondément ancrée dans les fonctions commerciales essentielles, la gouvernance ne peut pas être une réflexion après coup. Elle doit être intégrée dans l’architecture dès le premier jour, avec une visibilité et un contrôle conçus à tous les niveaux. Les organisations qui y parviendront le feront. ne réduisent pas les risques, ce seront eux qui pourront faire évoluer l’IA en toute confiance dans l’entreprise.
Il y a cependant une certaine assurance : 40 % des personnes interrogées déclarent que les humains approuvent presque toutes les actions de l’IA avant leur déploiement, et 26 % évaluent les résultats de l’IA. Cela étant dit, sans une infrastructure de gouvernance améliorée, il est peu probable que la surveillance humaine suffise à identifier et à résoudre les problèmes avant qu’ils ne dégénèrent.
Les conclusions de l’ISACA mettent en évidence un problème structurel majeur dans la manière dont l’IA est déployée dans différents secteurs. Alors que plus d’un tiers des organisations n’exigent pas de leurs employés qu’ils divulguent où et quand l’IA est utilisée dans les produits professionnels, le risque d’angles morts augmente.
Malgré des réglementations plus strictes qui responsabilisent davantage les hauts dirigeants, les organisations ne parviennent pas à mettre en œuvre et à utiliser l’IA de manière sûre et efficace. Il semble que de nombreuses entreprises traitent le risque lié à l’IA comme un problème technique et non comme quelque chose qui nécessite une gestion prudente au sein de l’ensemble de l’organisation.
Il est essentiel de changer la façon dont l’intégration et les actions de l’IA sont gérées. Sans une gouvernance et une responsabilité appropriées, les entreprises ne contrôlent pas leurs systèmes d’IA. Sans contrôle, même les plus petites erreurs pourraient causer des dommages à la réputation et aux finances dont de nombreuses entreprises ne pourraient pas se remettre.
(Image de Foundry Co de Pixabay)
