Les assistants IA de nouvelle génération sont développés dans l’écosystème Apple et par des fabricants de puces comme Qualcomm, mais les premiers rapports suggèrent qu’ils sont conçus avec des limites.
Le guide de Tom a décrit les premières versions de ces assistants comme capables de naviguer dans les applications, d’effectuer des réservations et de gérer des tâches dans les services. Par exemple, un système agent bêta privé a effectué des tâches telles que la réservation de services ou la publication de contenu dans des applications. Lors d’un test, il a parcouru un flux de travail d’application et a atteint un écran de paiement avant de demander une confirmation à l’utilisateur.
Les agents IA sont construits avec des points de contrôle d’approbation. Les actions sensibles, notamment celles liées aux paiements ou aux modifications de compte, nécessitent une confirmation de l’utilisateur avant d’être terminées. Le modèle « humain dans la boucle » permet au système de préparer une action, mais laisse l’approbation à l’utilisateur. Les recherches liées aux travaux d’Apple sur l’IA ont exploré les moyens de garantir que les systèmes s’arrêtent avant d’entreprendre des actions que les utilisateurs n’ont pas explicitement demandées.
Les applications bancaires nécessitent déjà une confirmation pour les virements. La même idée est désormais appliquée aux actions basées sur l’IA dans plusieurs services.
Limites et contrôle
Une couche de contrôle consiste à restreindre ce à quoi l’IA peut accéder. Plutôt que de fournir au système un accès complet aux applications et aux données, les entreprises établissent des limites, telles que les applications avec lesquelles l’IA peut interagir et le moment où les actions peuvent être déclenchées.
En pratique, cela signifie que l’IA peut rédiger un achat ou préparer une réservation, mais pas le finaliser sans approbation. Cela signifie également que le système ne peut pas se déplacer librement dans tous les services sans autorisation.
Selon Le guide de Toml’installation est destinée à la confidentialité. Si les données restent sur l’appareil, cela élimine le besoin d’envoyer des informations sensibles à des serveurs externes.
Dans des domaines tels que les paiements, les systèmes d’IA devraient travailler avec des partenaires qui ont déjà mis en place des règles strictes. Dans un exemple rapporté, les services des prestataires de paiement sont intégrés pour fournir une authentification sécurisée avant la fin des transactions, bien que de telles garanties soient encore en cours de développement. Les systèmes existants agissent comme un niveau de surveillance supplémentaire. Ils peuvent fixer des limites de transaction ou exiger une vérification supplémentaire.
Une grande partie du débat autour de la gouvernance de l’IA s’est concentrée sur l’utilisation en entreprise. Cela inclut des domaines tels que la cybersécurité et l’automatisation à grande échelle. Le côté consommateur introduit un défi différent et les entreprises doivent concevoir des contrôles qui fonctionnent pour les utilisateurs quotidiens. Cela signifie des étapes d’approbation claires et des protections de confidentialité intégrées.
Une autonomie avec des limites
À mesure que l’IA acquiert la capacité d’effectuer des actions, les risques deviennent plus grands, car des erreurs peuvent entraîner des pertes financières ou une exposition des données.
En plaçant des contrôles à plusieurs points, y compris l’approbation et l’infrastructure, les entreprises tentent de gérer ces risques.
Cette approche pourrait façonner le développement de l’IA agentique à court terme. Plutôt que de viser une indépendance totale, les entreprises semblent se concentrer sur des environnements contrôlés où les risques peuvent être gérés.
(Photo de Junseong Lee)
