Les systèmes d’IA autonomes commencent à dépasser les environnements logiciels et à s’étendre aux entrepôts, aux réseaux de livraison et aux espaces publics. Le développement attire l’attention sur la question de savoir si les règles actuelles en matière d’IA couvrent les systèmes qui fonctionnent dans des environnements physiques.
La plupart des cadres de gouvernance de l’IA existants se sont concentrés sur les préjudices en ligne et les résultats des modèles, notamment les préjugés, la désinformation et les contenus préjudiciables. Les systèmes d’IA incorporés comportent des risques dans des environnements physiques, où les pannes peuvent affecter les infrastructures, les biens ou la sécurité humaine.
L’Infocomm Media Development Authority de Singapour a publié le 20 mai la version 1.5 de son modèle de gouvernance de l’IA pour l’IA agentique. Le cadre fournit des conseils aux organisations qui déploient des agents d’IA qui peuvent planifier, prendre des décisions et entreprendre des actions en plusieurs étapes pour atteindre les objectifs définis par l’utilisateur.
Le cadre indique que les agents peuvent interagir avec des outils, des systèmes externes et d’autres agents, y compris des systèmes qui mettent à jour des bases de données, écrivent des fichiers, contrôlent des appareils ou effectuent des transactions. Il répertorie les contrôles d’accès, la surveillance et l’approbation humaine parmi les mesures de gouvernance pour le déploiement.
L’IA s’installe dans les systèmes physiques
Lors d’un sommet sur l’IA à Singapour la semaine dernière, les discussions autour de la robotique et de l’IA incorporée se sont concentrées sur les problèmes de sécurité opérationnelle plus communément associés à la surveillance de l’aviation, des systèmes industriels et des infrastructures critiques que sur la réglementation conventionnelle des logiciels.
Les intervenants ont également discuté de la question de savoir si les systèmes autonomes peuvent fonctionner de manière sûre et fiable dans des environnements réels imprévisibles sur de longues périodes.
Le Dr Ya-Qin Zhang, doyen fondateur de l’Institut de recherche sur l’industrie de l’IA de l’Université Tsinghua, a déclaré que les systèmes d’IA incorporés amplifient les risques déjà associés aux logiciels autonomes. Il a déclaré que les pannes peuvent affecter directement les systèmes de transport, les drones, les réseaux logistiques et les infrastructures critiques.
« Tout risque dans le domaine numérique sera amplifié dans le domaine physique, et le domaine physique aura une conséquence physique », a déclaré Zhang. MLex en marge du sommet.
Il a ajouté que les véhicules, les drones, les réseaux intelligents et d’autres infrastructures pourraient être exposés à mesure que les systèmes d’IA sont intégrés plus profondément dans les opérations physiques.
Les intervenants ont discuté de la fiabilité, de la surveillance opérationnelle et de l’assurance post-déploiement en tant que problèmes de gouvernance. Les discussions du sommet ont mis en avant des modèles de gouvernance basés sur le déploiement, construits autour de la simulation, de la télémétrie et des tests itératifs, plutôt que sur une seule certification ponctuelle.
Le cadre de l’IMDA recommande également des déploiements progressifs, une surveillance continue et des tests supplémentaires après le déploiement. Il indique que les agents interagissent de manière dynamique avec leur environnement et que tous les risques ne peuvent pas être anticipés avant leur libération.
La surveillance devient un problème de déploiement
Grab, qui pilote des véhicules autonomes et des robots de livraison dans le district de Punggol à Singapour, a déclaré que la gouvernance du déploiement dépend fortement de la simulation, des tests et de la surveillance continue.
« Nous faisons beaucoup de simulation, nous effectuons beaucoup de tests dans des cours fermés et des cours ouverts afin de nous assurer que nos robots sont fiables », a déclaré Suthen Thomas Paradatheth, directeur de la technologie de Grab, lors de l’un des panels du sommet.
« Avant de passer à des centaines de robots, nous nous assurons de le déchiffrer d’abord en simulation et avec quelques robots », a-t-il ajouté.
Grab a également souligné les systèmes de surveillance conçus pour suivre les performances des robots et détecter les pannes inattendues après le déploiement.
« De nombreux problèmes pourraient surgir », a déclaré Paradatheth.
Le cadre IMDA indique que les organisations devraient évaluer les cas d’utilisation de l’IA agentique en fonction de l’accès aux données, de l’accès aux systèmes externes, de l’autonomie et de la complexité des tâches. Cela souligne également la portée et la réversibilité des actions des agents, l’implication de tiers et la complexité globale du système.
Il recommande également de limiter l’accès des agents aux outils et aux systèmes, d’appliquer les autorisations de moindre privilège et de définir des procédures opérationnelles standard pour les flux de travail des agents. Les organisations doivent également mettre en place des mécanismes pour mettre les agents hors ligne en cas de dysfonctionnement.
La responsabilité s’étend à un plus grand nombre d’acteurs
MLex a rapporté que les systèmes d’IA incorporés peuvent impliquer plusieurs parties à travers le développement, la fabrication et le déploiement. Il s’agit notamment des développeurs d’IA, des fabricants de robotique, des fournisseurs de semi-conducteurs et des opérateurs d’infrastructures.
MLex a également noté que la responsabilité peut être plus difficile à attribuer lorsque les systèmes continuent de s’adapter après le déploiement via des mises à jour logicielles, la télémétrie et les données opérationnelles.
L’IMDA affirme que les organisations et les humains restent responsables des actions des agents, même lorsque les agents opèrent de manière autonome. Le cadre appelle à une responsabilité claire tout au long de la chaîne de valeur de l’IA agentique, depuis les fournisseurs de modèles et de plateformes jusqu’aux déployeurs, fournisseurs d’outils et utilisateurs finaux.
Applied Materials a déclaré que le déploiement de la robotique à grande échelle est également lié à l’économie des semi-conducteurs et à l’intégration des systèmes. Om Nalamasu, directeur de la technologie de l’entreprise, a déclaré que les systèmes robotiques dépendront de meilleurs capteurs, d’une meilleure efficacité énergétique, d’un emballage avancé et d’architectures informatiques.
Nalamasu a déclaré que les systèmes robotiques nécessiteraient des conceptions spécialement conçues et adaptées à des écosystèmes industriels spécifiques plutôt qu’une solution unique pour tous les environnements.
Zhao Yuli, directeur de la stratégie de la start-up chinoise de robotique Galbot, a déclaré que Pékin donne la priorité au déploiement à grande échelle et à la commercialisation industrielle par le biais de bancs d’essai soutenus par le gouvernement, de partenariats industriels et d’initiatives de financement à long terme.
Galbot a déployé des systèmes robotiques humanoïdes dans des opérations de vente au détail, d’entrepôt et pharmaceutiques en Chine. Il s’agit notamment de magasins autonomes fonctionnant 24 heures sur 24. Zhao a déclaré que les environnements industriels semi-structurés sont susceptibles de devenir une première voie de commercialisation car ils offrent des conditions d’exploitation plus contrôlables.
Le Japon met davantage l’accent sur l’établissement de normes, les ensembles de données robotiques et la gouvernance de la sécurité. Le professeur Yutaka Matsuo de la Graduate School of Engineering de l’Université de Tokyo a souligné un projet de « l’AI Association » visant à collecter 100 000 heures de données robotiques pour soutenir des modèles de base robotiques.
Matsuo a également fait référence à l’Institut japonais de sécurité de l’IA et au processus d’IA d’Hiroshima dans le cadre d’efforts plus larges visant à développer des normes de gouvernance pour les systèmes d’IA incorporés avec Singapour et d’autres pays asiatiques.
Singapour impose des contrôles aux agents
Le cadre de Singapour définit quatre domaines de gouvernance pour l’IA agentique. Ceux-ci couvrent l’évaluation initiale des risques, la responsabilité humaine, les contrôles techniques et la responsabilité de l’utilisateur final. Le cadre les décrit comme un processus itératif plutôt que comme une évaluation ponctuelle.
Le cadre indique que la surveillance humaine doit être adaptée aux systèmes agents, car l’examen continu de tous les flux de travail devient peu pratique à grande échelle. Il recommande l’approbation humaine aux points de contrôle importants, y compris les actions à enjeux élevés, les actions irréversibles et les comportements aberrants.
L’IMDA identifie également les biais d’automatisation et la fatigue des alertes comme des risques lorsque des humains supervisent des agents compétents. Il recommande d’auditer la surveillance au moyen d’indicateurs tels que les taux de neutralisation humaine et les temps de réponse, et d’utiliser une surveillance automatisée en temps réel pour signaler les comportements inattendus.
Le cadre indique que les utilisateurs doivent être informés des actions qu’un agent peut entreprendre, des données auxquelles il peut accéder et des responsabilités qui lui restent. Il recommande également une formation des employés sur l’interaction homme-agent, la surveillance et les compétences professionnelles nécessaires pour évaluer les résultats des agents.
Les entreprises testent l’IA dans des flux de travail réglementés
JPMorgan met en œuvre des outils d’IA dans l’ensemble de ses activités mondiales de banque d’investissement, a déclaré Paul Uren, responsable de la banque d’investissement pour la région Asie-Pacifique. Reuters. La banque a déclaré que ces outils aident les banquiers à accéder à davantage d’informations et à les synthétiser avec les systèmes internes. Ils sont également utilisés pour préparer le contenu et soutenir l’engagement des clients.
Le PDG de JPMorgan, Jamie Dimon, a déclaré Actualités Bloomberg que la banque embaucherait davantage de spécialistes de l’IA et moins de banquiers traditionnels. Reuters a rapporté que les banques mondiales augmentent leurs investissements dans l’IA, remodèlent leur main-d’œuvre et changent leurs rôles.
La banque fait également partie des organisations sélectionnées autorisées par Anthropic à utiliser son modèle de cybersécurité Mythos dans le cadre d’une initiative contrôlée connue sous le nom de Project Glasswing. Selon Anthropic, Mythos peut détecter d’anciennes vulnérabilités dans les navigateurs, l’infrastructure et les logiciels.
Reuters a rapporté que Goldman Sachs, Citigroup, Bank of America et Morgan Stanley ont également accès à Mythos ou sont en train de le tester, citant des sources et des dirigeants de l’entreprise.
Le cadre de l’IMDA comprend une étude de cas de l’OCBC Bank of Singapore sur l’analyse de la source de richesse. Le système analyse les documents liés aux revenus et rédige une note sur la source de richesse. Il ne prend pas de décisions en matière de crédit, d’intégration ou de risque de manière autonome.
Dans ce cas, le workflow est limité à une autonomie au niveau des tâches et ne fonctionne que lorsqu’il est déclenché par des workflows prédéfinis. Un examen humain est requis aux points de décision critiques, et la validation finale revient aux évaluateurs désignés.
Les robots entrent dans l’usage industriel
Au Japon, un tiers des entreprises utilisent déjà ou envisagent des robots basés sur l’IA, selon une étude. Reuters enquête menée par Nikkei Research du 1er au 15 mai. L’enquête a contacté 492 entreprises, dont 220 ont répondu sous couvert d’anonymat.
Environ 4 % des personnes interrogées ont déclaré utiliser déjà des robots IA, 5 % envisagent de les déployer et 25 % envisagent de le faire. Les 66 % restants ont déclaré ne pas avoir de tels projets.
Les fabricants de matériel de transport constituaient le groupe le plus actif dans l’enquête, avec 80 % d’entre eux utilisant déjà des robots IA ou envisageant de les déployer. À titre de comparaison, 94 % des personnes interrogées dans le secteur du commerce de gros ont déclaré qu’elles n’envisageaient pas de déployer des robots IA.
Parmi les entreprises utilisant, prévoyant d’utiliser ou envisageant des robots IA, 71 % ont choisi la fabrication comme cas d’utilisation. 19 % supplémentaires ont sélectionné des tâches dangereuses, tandis que 11 % ont sélectionné des services orientés client.
Le gouvernement japonais espère que les robots IA contribueront à remédier à la pénurie chronique de main-d’œuvre du pays et à soutenir sa position dans le domaine de la robotique industrielle. Le Japon abrite des entreprises de robotique, notamment Fanuc, Yaskawa Electric et Kawasaki Heavy Industries, mais est confronté à la concurrence de la Chine et des États-Unis dans le domaine de la robotique basée sur l’IA.
Les agents de vente au détail s’étendent au-delà de la recherche
Walmart a présenté son intention d’utiliser l’IA agentique dans les flux de travail des achats, des employés, des fournisseurs et des développeurs.
En juillet 2025, le détaillant a annoncé son intention de créer quatre « super agents » alimentés par l’IA. Ils sont conçus pour les acheteurs, les employés des magasins, les fournisseurs et vendeurs, ainsi que les développeurs de logiciels. Walmart a déclaré que ces agents deviendraient le principal point d’entrée pour les interactions de l’IA entre ces groupes.
L’un des outils, Sparky, est déjà disponible dans l’application Walmart en tant qu’assistant d’achat génératif alimenté par l’IA. Hari Vasudev, directeur de la technologie de Walmart aux États-Unis, a déclaré que sa version étendue permettrait de réorganiser des articles et de planifier des événements. Il utiliserait également la vision par ordinateur pour suggérer des recettes basées sur le contenu du réfrigérateur d’un acheteur.
Walmart développe également un super agent associé pour les employés des magasins et le personnel de l’entreprise. Un agent Marty distinct est en cours de création pour les vendeurs, les fournisseurs et les annonceurs. Le détaillant travaille également sur un super agent de développement pour tester, créer et lancer les futurs outils d’IA.
L’entreprise a refusé de dire si les agents remplaceraient les emplois. Dave Glick, vice-président senior des systèmes d’entreprise, a déclaré que ces outils créeraient de nouveaux emplois, sans donner plus de détails.
(Photo de Growtika)
