Autonomie sans responsabilité : le vrai risque de l’IA

Si vous avez déjà pris un Uber autonome dans le centre-ville de Los Angeles, vous reconnaîtrez peut-être l’étrange sentiment d’incertitude qui s’installe lorsqu’il n’y a pas de chauffeur ni de conversation, juste une voiture silencieuse qui fait des hypothèses sur le monde qui l’entoure. Le voyage se déroule bien jusqu’à ce que la voiture interprète mal une ombre ou ralentisse brusquement pour quelque chose d’inoffensif. À ce moment-là, vous voyez le vrai problème de l’autonomie. Il ne panique pas quand il le devrait, et c’est dans cet écart entre la confiance et le jugement que la confiance se gagne ou se perd. Une grande partie de l’IA d’entreprise actuelle semble remarquablement similaire. Il est compétent sans être confiant, et efficace sans être empathique, c’est pourquoi le facteur déterminant de tout déploiement réussi n’est plus la puissance de calcul mais la confiance.

Le rapport MLQ State of AI in Business 2025 (PDF) donne un chiffre précis à ce sujet. 95 % des premiers projets pilotes d’IA ne parviennent pas à produire un retour sur investissement mesurable, non pas parce que la technologie est faible, mais parce qu’elle ne correspond pas aux problèmes que les organisations tentent de résoudre. Le schéma se répète dans les industries. Les dirigeants sont inquiets lorsqu’ils ne peuvent pas dire si le résultat est correct, les équipes ne savent pas si les tableaux de bord sont fiables et les clients perdent rapidement patience lorsqu’une interaction semble automatisée plutôt que prise en charge. Quiconque a été bloqué sur son compte bancaire alors que le système de récupération automatisé insiste sur le fait que ses réponses sont fausses sait à quelle vitesse la confiance s’évapore.

Klarna reste l’exemple le plus médiatisé d’automatisation à grande échelle en action. L’entreprise a désormais réduit de moitié ses effectifs depuis 2022 et affirme que les systèmes d’IA internes effectuent le travail de 853 postes à temps plein, contre 700 plus tôt cette année. Les revenus ont augmenté de 108 %, tandis que la rémunération moyenne des employés a augmenté de 60 %, financée en partie par ces gains opérationnels. Mais la situation est plus complexe. Klarna a tout de même fait état d’une perte trimestrielle de 95 millions de dollars et son PDG a prévenu que de nouvelles réductions d’effectifs seraient probables. Cela montre que l’automatisation à elle seule ne crée pas la stabilité. Sans responsabilité ni structure, l’expérience s’effondre bien avant l’IA. Comme le dit Jason Roos, PDG du fournisseur CCaaS Cirrus, « toute transformation qui ébranle la confiance, à l’intérieur ou à l’extérieur de l’entreprise, entraîne un coût que vous ne pouvez pas ignorer. Elle peut vous aggraver la situation ».

Nous avons déjà vu ce qui se produit lorsque l’autonomie prend le pas sur la responsabilité. Le ministère britannique du Travail et des Retraites a utilisé un algorithme qui a signalé à tort environ 200 000 demandes d’allocations de logement comme potentiellement frauduleuses, même si la majorité étaient légitimes. Le problème n’était pas la technologie. C’était l’absence d’une appropriation claire de ses décisions. Lorsqu’un système automatisé suspend le mauvais compte, rejette la mauvaise réclamation ou crée une peur inutile, la question n’est jamais simplement « pourquoi le modèle a-t-il raté ? » C’est « à qui appartient le résultat ? » Sans cette réponse, la confiance devient fragile.

«L’étape manquante est toujours la préparation», explique Roos. « Si le processus, les données et les garde-fous ne sont pas en place, l’autonomie n’accélère pas les performances, elle amplifie les faiblesses. La responsabilité doit venir en premier. Commencez par le résultat, trouvez où les efforts sont gaspillés, vérifiez votre état de préparation et votre gouvernance, et ensuite seulement automatisez. Sautez ces étapes et la responsabilité disparaît aussi vite que les gains d’efficacité arrivent. »

Une partie du problème réside dans l’obsession de l’échelle sans les fondements qui la rendent durable. De nombreuses organisations s’orientent vers des agents autonomes capables d’agir de manière décisive, mais très peu d’entre elles s’arrêtent pour réfléchir à ce qui se passe lorsque ces actions dépassent les limites attendues. Le Baromètre de confiance Edelman (PDF) montre un déclin constant de la confiance du public dans l’IA au cours des cinq dernières années, et une étude conjointe de KPMG et de l’Université de Melbourne a révélé que les travailleurs préfèrent une plus grande implication humaine dans près de la moitié des tâches examinées. Les résultats renforcent un point simple. La confiance vient rarement du fait de pousser plus fort les modèles. Cela vient du fait que les gens prennent le temps de comprendre comment les décisions sont prises et d’une gouvernance qui se comporte moins comme une pédale de frein que comme un volant.

La même dynamique apparaît du côté des clients. L’étude de PwC sur la confiance révèle un large fossé entre la perception et la réalité. La plupart des dirigeants estiment que les clients font confiance à leur organisation, alors que seule une minorité de clients est de cet avis. D’autres enquêtes montrent que la transparence contribue à combler cet écart, une grande majorité de consommateurs souhaitant une information claire lorsque l’IA est utilisée dans les expériences de service. Sans cette clarté, les gens ne se sentent pas rassurés. Ils se sentent induits en erreur et la relation devient tendue. Les entreprises qui communiquent ouvertement sur leur utilisation de l’IA protègent non seulement la confiance, mais normalisent également l’idée selon laquelle la technologie et le soutien humain peuvent coexister.

Une partie de la confusion vient du terme « IA agentique » lui-même. Une grande partie du marché le traite comme quelque chose d’imprévisible ou d’auto-dirigé, alors qu’en réalité il s’agit d’une automatisation du flux de travail avec raisonnement et rappel. Il s’agit d’une manière structurée permettant aux systèmes de prendre des décisions modestes dans le cadre de paramètres conçus par les utilisateurs. Les déploiements qui évoluent en toute sécurité suivent tous la même séquence. Ils commencent par le résultat qu’ils souhaitent améliorer, puis examinent où se situent les efforts inutiles dans le flux de travail, puis évaluent si leurs systèmes et leurs équipes sont prêts à l’autonomie, et choisissent ensuite la technologie. Inverser cet ordre n’accélère rien. Cela crée simplement des erreurs plus rapides. Comme le dit Roos, l’IA devrait élargir le jugement humain, et non le remplacer.

Tout cela pointe vers une vérité plus large. Chaque vague d’automatisation finit par devenir une question sociale plutôt que purement technique. Amazon a construit sa domination grâce à la cohérence opérationnelle, mais il a également construit un niveau de confiance dans l’arrivée du colis. Lorsque cette confiance diminue, les clients passent à autre chose. L’IA suit le même schéma. Vous pouvez déployer des systèmes sophistiqués et auto-correctifs, mais si le client se sent trompé ou induit en erreur à un moment donné, la confiance se brise. En interne, les mêmes pressions s’appliquent. L’étude mondiale de KPMG (PDF) met en évidence la rapidité avec laquelle les employés se désengagent lorsqu’ils ne comprennent pas comment les décisions sont prises ou qui en est responsable. Sans cette clarté, l’adoption stagne.

À mesure que les systèmes agentiques assument davantage de rôles conversationnels, la dimension émotionnelle devient encore plus importante. Les premières analyses des interactions par chat autonome montrent que les gens jugent désormais leur expérience non seulement en fonction de l’aide qu’ils ont reçue, mais également en fonction de l’attention et du respect qu’ils ont ressentis dans l’interaction. Un client qui se sent licencié garde rarement sa frustration pour lui. Le ton émotionnel de l’IA devient un véritable facteur opérationnel, et les systèmes qui ne peuvent pas répondre à cette attente risquent de devenir un handicap.

La difficile vérité est que la technologie continuera d’évoluer plus rapidement que l’aisance instinctive des gens à l’égard de celle-ci. La confiance sera toujours à la traîne de l’innovation. Ce n’est pas un argument contre le progrès. C’est un argument de maturité. Chaque leader de l’IA devrait se demander s’il ferait confiance au système avec ses propres données, s’il peut expliquer sa dernière décision dans un langage simple et qui intervient en cas de problème. Si ces réponses ne sont pas claires, l’organisation ne mène pas la transformation. Il prépare des excuses.

Roos le dit simplement : « L’IA agentique n’est pas le problème. L’IA inexplicable l’est. »

Lorsque la confiance disparaît, l’adoption disparaît, et le projet qui semblait transformateur devient une autre entrée dans le taux d’échec de 95 %. L’autonomie n’est pas l’ennemi. Oublier qui est responsable l’est. Les organisations qui gardent une main humaine sur le volant seront celles qui garderont le contrôle lorsque le battage médiatique de la conduite autonome finira par s’estomper.

Solène Vernet
Solène Vernet
Journaliste française passionnée par la science et les politiques d’innovation, j’écris pour rendre accessibles des sujets complexes. Mon parcours mêle recherche universitaire, communication scientifique et journalisme. J’aime explorer les liens entre technologie, société et transformation du monde.