Comment les systèmes d'IA autonomes mettent à l'épreuve la gouvernance dans les environnements physiques

Les systèmes d'IA autonomes commencent à s'étendre au-delà des environnements logiciels et à s'intégrer entrepôts, réseaux de livraison et espaces publicsCette évolution met en lumière la question de savoir si les règles actuelles en matière d'IA s'appliquent aux systèmes qui fonctionnent dans des environnements physiques.

La plupart des cadres de gouvernance de l'IA existants se sont concentrés sur les préjudices en ligne et les résultats des modèles, notamment les biais, la désinformation et les contenus nuisibles. Les systèmes d'IA incarnés comportent des risques dans les environnements physiques, où les défaillances peuvent affecter les infrastructures, les biens ou la sécurité des personnes.

📋 Nouveau cadre de gouvernance de l'IA à Singapour

L'Autorité de développement des médias et des technologies de l'information de Singapour a publié version 1.5 de son cadre de gouvernance de l'IA modèle pour l'IA agentique Le 20 mai, ce cadre a établi des lignes directrices à l'intention des organisations déployant des agents d'IA capables de planifier, de prendre des décisions et d'entreprendre des actions en plusieurs étapes pour atteindre des objectifs définis par l'utilisateur.

Ce cadre de référence indique que les agents peuvent interagir avec des outils, des systèmes externes et d'autres agents, notamment des systèmes qui mettent à jour des bases de données, écrivent des fichiers, contrôlent des périphériques ou effectuent des transactions. Il mentionne le contrôle d'accès, la surveillance et l'approbation humaine parmi les mesures de gouvernance du déploiement.

🤖 L'IA s'intègre aux systèmes physiques

Lors d'un sommet sur l'IA qui s'est tenu à Singapour la semaine dernière, les discussions autour de la robotique et de l'IA incarnée se sont concentrées sur problèmes de sécurité opérationnelle Elle est plus souvent associée à l'aviation, aux systèmes industriels et à la surveillance des infrastructures critiques qu'à la réglementation logicielle classique.

Les intervenants ont également discuté de la capacité des systèmes autonomes à fonctionner de manière sûre et fiable dans des environnements réels imprévisibles sur de longues périodes.

Le Dr Ya-Qin Zhang, doyen fondateur de l'Institut de recherche sur l'industrie de l'IA de l'Université Tsinghua, a déclaré Les systèmes d'IA intégrés amplifient les risques déjà associés aux logiciels autonomes.Il a indiqué que les défaillances peuvent affecter directement les systèmes de transport, les drones, les réseaux logistiques et les infrastructures critiques.

« Tout risque dans le domaine numérique sera amplifié dans le domaine physique, et le domaine physique aura des conséquences physiques », a déclaré Zhang à MLex en marge du sommet.

Il a ajouté que véhicules, drones, réseaux intelligents et autres infrastructures Cela pourrait devenir problématique à mesure que les systèmes d'IA s'intègrent plus profondément dans les opérations physiques.

Les intervenants ont abordé la fiabilité, la surveillance opérationnelle et l'assurance post-déploiement comme autant d'enjeux de gouvernance. Les discussions du sommet ont mis en lumière… modèles de gouvernance basés sur le déploiement elle repose sur la simulation, la télémétrie et les tests itératifs, plutôt que sur une simple certification ponctuelle.

📊 La surveillance devient un problème de déploiement

Grab, qui teste des véhicules autonomes et des robots de livraison dans le quartier de Punggol à Singapour, a déclaré que la gouvernance du déploiement dépend fortement de simulation, tests et surveillance continue.

« Nous effectuons de nombreuses simulations et de nombreux tests sur des parcours fermés et ouverts afin de garantir la fiabilité de nos robots », a déclaré Suthen Thomas Paradatheth, directeur technique de Grab, lors d'une table ronde du sommet.

« Avant de passer à des centaines de robots, nous nous assurons d'abord de maîtriser le problème en simulation et avec quelques robots », a-t-il ajouté.

Grab a également évoqué les systèmes de surveillance conçus pour suivre les performances des robots et détecter les pannes inattendues après leur déploiement. « De nombreux problèmes pourraient survenir », a déclaré Paradatheth.

👥 La responsabilité s'étend à un plus grand nombre d'acteurs

MLex a indiqué que les systèmes d'IA embarqués peuvent impliquer plusieurs parties prenantes tout au long des phases de développement, de fabrication et de déploiement. Parmi celles-ci figurent : Développeurs d'IA, fabricants de robots, fournisseurs de semi-conducteurs et opérateurs d'infrastructures.

MLex a également noté que Il peut être plus difficile d'attribuer les responsabilités. lorsque les systèmes continuent de s'adapter après leur déploiement grâce aux mises à jour logicielles, à la télémétrie et aux données opérationnelles.

L'IMDA affirme que les organisations et les individus restent responsables des actions de leurs agents, même lorsque ces derniers agissent de manière autonome. Ce cadre préconise : responsabilité claire tout au long de la chaîne de valeur de l'IA agentielle, des fournisseurs de modèles et de plateformes aux déployeurs, fournisseurs d'outils et utilisateurs finaux.

Selon Applied Materials, le déploiement à grande échelle de la robotique est également lié à l'économie des semi-conducteurs et à l'intégration des systèmes. Om Nalamasu, directeur technique de l'entreprise, a déclaré que les systèmes robotiques dépendront de capteurs plus performants, d'une meilleure efficacité énergétique, de procédés d'encapsulation avancés et d'architectures informatiques modernes.

🌏 Approches régionales de la robotique IA

🇨🇳 Chine : Zhao Yuli, directrice de la stratégie de la start-up chinoise de robotique Galbot, a déclaré que Pékin accordait la priorité à échelle de déploiement et commercialisation industrielle par le biais de plateformes d'essai soutenues par le gouvernement, de partenariats industriels et d'initiatives de financement à long terme.

Galbot a déployé des systèmes robotiques humanoïdes dans les secteurs du commerce de détail, de l'entreposage et de l'industrie pharmaceutique en Chine, notamment des magasins autonomes fonctionnant 24 h/24. Selon Zhao, les environnements industriels semi-structurés devraient constituer une voie de commercialisation précoce, car ils offrent des conditions d'exploitation plus facilement contrôlables.

🇯🇵 Japon : Le Japon accorde une plus grande importance à définition des normes, ensembles de données en robotique et gouvernance de la sécuritéLe professeur Yutaka Matsuo de l'École supérieure d'ingénierie de l'Université de Tokyo a évoqué un projet de « l'Association pour l'IA » visant à collecter 100 000 heures de données robotiques afin de soutenir les modèles de base de la robotique.

Matsuo a également évoqué l'Institut japonais de sécurité de l'IA et le processus d'IA d'Hiroshima dans le cadre d'efforts plus larges visant à développer des normes de gouvernance pour les systèmes d'IA embarqués avec Singapour et d'autres pays asiatiques.

🔒 Singapour met en place des contrôles pour les agents

Le cadre de Singapour définit quatre domaines de gouvernance pour l'IA agentielle:

Le cadre stipule La supervision humaine doit être adaptée aux systèmes agents. En effet, la vérification continue de tous les flux de travail devient impraticable à grande échelle. Il est donc recommandé de procéder à une validation humaine aux étapes clés, notamment pour les actions à fort enjeu, les actions irréversibles et les comportements atypiques.

L'IMDA identifie également biais d'automatisation et fatigue liée aux alertes Il existe des risques liés à la supervision humaine d'agents compétents. Il est recommandé d'auditer cette supervision au moyen d'indicateurs tels que les taux de prise en charge humaine et les temps de réponse, et d'utiliser une surveillance automatisée en temps réel pour détecter les comportements anormaux.

Ce cadre de référence stipule que les utilisateurs doivent être informés des actions qu'un agent peut entreprendre, des données auxquelles il peut accéder et des responsabilités qui incombent à l'utilisateur. Il recommande également la formation des employés à l'interaction homme-agent, à la supervision et aux compétences professionnelles nécessaires à l'évaluation des résultats des agents.

🏦 Les entreprises testent l'IA dans des flux de travail réglementés

JPMorgan Paul Uren, responsable des activités de banque d'investissement de la banque en Asie-Pacifique, a déclaré que la banque mettait en œuvre des outils d'IA dans l'ensemble de ses activités mondiales de banque d'investissement. ReutersLa banque a indiqué que ces outils permettent aux banquiers d'accéder à davantage d'informations et de les intégrer aux systèmes internes. Ils servent également à la préparation de contenus et au soutien de la relation client.

Le PDG de JPMorgan, Jamie Dimon, a déclaré Actualités Bloomberg que la banque embaucherait davantage de spécialistes en IA et moins de banquiers traditionnels. Reuters Les banques mondiales ont annoncé qu'elles augmentent leurs investissements dans l'IA, restructurent leurs effectifs et modifient les rôles professionnels.

La banque figure également parmi les organisations sélectionnées autorisées par Anthropic à utiliser son Modèle de cybersécurité Mythos Dans le cadre d'une initiative contrôlée appelée Projet Glasswing, Mythos, selon Anthropic, peut détecter d'anciennes vulnérabilités dans les navigateurs, l'infrastructure et les logiciels.

Reuters Goldman Sachs, Citigroup, Bank of America et Morgan Stanley auraient également accès à Mythos, ou seraient en train de le tester, selon des sources et des dirigeants d'entreprises cités.

🏭 Les robots s'intègrent à l'industrie

Au Japon, Un tiers des entreprises utilisent déjà ou envisagent d'utiliser des robots dotés d'intelligence artificielle., selon un Reuters Sondage réalisé par Nikkei Research du 1er au 15 mai. L'enquête a contacté 492 entreprises, dont 220 ont répondu sous couvert d'anonymat.

fabricants de matériel de transport Les entreprises étaient le groupe le plus actif de l'enquête, 80 % d'entre elles utilisant déjà des robots dotés d'IA ou envisageant leur déploiement. À titre de comparaison, 94 % des répondants du secteur de la vente en gros ont déclaré n'avoir aucun projet de déploiement de robots dotés d'IA.

Parmi les entreprises qui utilisent, prévoient d'utiliser ou envisagent d'utiliser des robots dotés d'intelligence artificielle :

• 71% la fabrication sélectionnée comme cas d'utilisation
• 19% tâches dangereuses sélectionnées
• 11% services sélectionnés destinés à la clientèle

Le gouvernement japonais compte sur les robots dotés d'intelligence artificielle pour pallier la pénurie chronique de main-d'œuvre du pays et consolider sa position dans le secteur de la robotique industrielle. Le Japon abrite de nombreuses entreprises de robotique, notamment Fanuc, Yaskawa Electric et Kawasaki Heavy Industriesmais elle doit faire face à la concurrence de la Chine et des États-Unis dans le domaine de la robotique basée sur l'IA.

🛒 Les agents immobiliers spécialisés dans le commerce de détail étendent leurs activités au-delà de la recherche.

Walmart a présenté des plans visant à utiliser l'IA agentielle dans les flux de travail liés aux achats, aux employés, aux fournisseurs et aux développeurs.

En juillet 2025, le détaillant a annoncé ses projets pour quatre « super agents » dotés d'intelligence artificielle Conçus pour les clients, les employés des magasins, les fournisseurs, les vendeurs et les développeurs de logiciels, ces agents deviendront le principal point d'entrée pour les interactions avec l'IA au sein de ces différents groupes, selon Walmart.

Un des outils, SparkyCette fonctionnalité est déjà disponible dans l'application Walmart sous la forme d'un assistant d'achat basé sur l'IA générative. Hari Vasudev, directeur technique de Walmart aux États-Unis, a indiqué que sa version étendue permettrait de commander à nouveau des articles et de planifier des événements. Elle utiliserait également la vision par ordinateur pour suggérer des recettes en fonction du contenu du réfrigérateur du client.

L'entreprise a refusé de préciser si ces agents entraîneraient des suppressions d'emplois. Dave Glick, vice-président senior des systèmes d'information d'entreprise, a indiqué que ces outils créeraient de nouveaux emplois, sans donner plus de détails.

(Photo par Growtika)