Cómo los sistemas de IA autónomos están poniendo a prueba la gobernanza en entornos físicos

Los sistemas de IA autónomos están comenzando a ir más allá de los entornos de software y a entrar en almacenes, redes de distribución y espacios públicosEste desarrollo está poniendo de relieve si las normas actuales de IA abarcan los sistemas que operan en entornos físicos.

La mayoría de los marcos de gobernanza de la IA existentes se han centrado en los daños en línea y los resultados de los modelos, incluidos los sesgos, la desinformación y el contenido dañino. Los sistemas de IA incorporados conllevan riesgos en entornos físicos.donde los fallos pueden afectar a la infraestructura, la propiedad o la seguridad humana.

📋 Nuevo marco de gobernanza de la IA de Singapur

La Autoridad de Desarrollo de Medios de Información y Comunicación de Singapur publicó: versión 1.5 de su Marco de Gobernanza de IA Modelo para IA Agenteica El 20 de mayo, el marco de trabajo estableció directrices para las organizaciones que implementan agentes de IA capaces de planificar, tomar decisiones y realizar acciones en múltiples etapas para alcanzar objetivos definidos por el usuario.

El marco establece que los agentes pueden interactuar con herramientas, sistemas externos y otros agentes, incluidos sistemas que actualizan bases de datos, escriben archivos, controlan dispositivos o realizan transacciones. Entre las medidas de gobernanza para la implementación, enumera los controles de acceso, la monitorización y la aprobación humana.

🤖 La IA se integra en los sistemas físicos

En una cumbre de IA celebrada en Singapur la semana pasada, los debates sobre robótica e IA incorporada se centraron en: problemas de seguridad operativa Se asocia más comúnmente con la aviación, los sistemas industriales y la supervisión de infraestructuras críticas que con la regulación convencional del software.

Los ponentes también debatieron sobre si los sistemas autónomos pueden operar de forma segura y fiable en entornos reales impredecibles durante períodos prolongados.

La Dra. Ya-Qin Zhang, decana fundadora del Instituto de Investigación de la Industria de la IA en la Universidad de Tsinghua, dijo: Los sistemas de IA incorporados amplifican los riesgos ya asociados con el software autónomo.Afirmó que los fallos pueden afectar directamente a los sistemas de transporte, los drones, las redes logísticas y la infraestructura crítica.

"Cualquier riesgo en el ámbito digital se verá amplificado en el ámbito físico, y el ámbito físico tendrá una consecuencia física", declaró Zhang a MLex al margen de la cumbre.

Añadió que vehículos, drones, redes inteligentes y otras infraestructuras Podrían quedar expuestos a medida que los sistemas de IA se integren más profundamente en las operaciones físicas.

Los oradores discutieron la confiabilidad, el monitoreo operativo y la garantía posterior al despliegue como preocupaciones de gobernanza. Las discusiones de la cumbre señalaron modelos de gobernanza basados ​​en el despliegue Se basa en la simulación, la telemetría y las pruebas iterativas, en lugar de en una certificación única.

📊 La monitorización se convierte en un problema de implementación.

Grab, que está probando vehículos autónomos y robots de entrega en el distrito de Punggol de Singapur, dijo que la gobernanza del despliegue depende en gran medida de simulación, pruebas y monitoreo continuo.

"Realizamos muchas simulaciones y muchas pruebas en circuitos cerrados y abiertos para asegurarnos de que nuestros robots sean fiables", dijo Suthen Thomas Paradatheth, director de tecnología de Grab, durante uno de los paneles de la cumbre.

"Antes de pasar a utilizar cientos de robots, nos aseguramos de resolver el problema primero mediante simulación y con unos pocos robots", añadió.

Grab también mencionó los sistemas de monitoreo diseñados para rastrear el rendimiento de los robots y detectar fallas inesperadas después de su despliegue. "Existe una larga lista de problemas que podrían surgir", dijo Paradatheth.

👥 La responsabilidad se extiende a más actores

MLex informó que los sistemas de IA incorporados pueden involucrar a varias partes en el desarrollo, la fabricación y la implementación. Estos incluyen: desarrolladores de IA, fabricantes de robótica, proveedores de semiconductores y operadores de infraestructura.

MLex también señaló que Asignar responsabilidades puede ser más difícil. cuando los sistemas continúan adaptándose después de su implementación a través de actualizaciones de software, telemetría y datos operativos.

IMDA afirma que las organizaciones y los humanos siguen siendo responsables de las acciones de los agentes, incluso cuando estos operan de forma autónoma. El marco exige que Responsabilidad clara en toda la cadena de valor de la IA con agentesDesde proveedores de modelos y plataformas hasta implementadores, proveedores de herramientas y usuarios finales.

Applied Materials afirmó que el despliegue de robótica a gran escala también está ligado a la economía de los semiconductores y la integración de sistemas. Om Nalamasu, director de tecnología de la compañía, señaló que los sistemas robóticos dependerán de mejores sensores, eficiencia energética, empaquetado avanzado y arquitecturas informáticas.

🌏 Enfoques regionales para la robótica con IA

🇨🇳 China: Zhao Yuli, director de estrategia de la empresa emergente china de robótica Galbot, dijo que Pekín está dando prioridad a Escala de despliegue y comercialización industrial a través de plataformas de prueba respaldadas por el gobierno, asociaciones industriales e iniciativas de financiación a largo plazo.

Galbot ha implementado sistemas robóticos humanoides en operaciones minoristas, de almacenamiento y farmacéuticas en China, incluyendo tiendas autónomas que operan las 24 horas. Zhao afirmó que los entornos industriales semiestructurados probablemente se conviertan en una vía de comercialización temprana, ya que ofrecen condiciones operativas más controlables.

🇯🇵 Japón: Japón está poniendo mayor énfasis en Establecimiento de estándares, conjuntos de datos de robótica y gobernanza de la seguridadEl profesor Yutaka Matsuo, de la Escuela de Posgrado de Ingeniería de la Universidad de Tokio, mencionó un proyecto de la "Asociación de IA" cuyo objetivo es recopilar 100.000 horas de datos robóticos para respaldar los modelos fundamentales de robótica.

Matsuo también hizo referencia al Instituto de Seguridad de la IA de Japón y al Proceso de IA de Hiroshima como parte de esfuerzos más amplios para desarrollar estándares de gobernanza para sistemas de IA incorporados con Singapur y otros países asiáticos.

🔒 Singapur establece controles para agentes inmobiliarios

El marco de Singapur establece cuatro áreas de gobernanza para la IA con agentes:

El marco dice La supervisión humana debe adaptarse a los sistemas de agentes. Dado que la revisión continua de todos los flujos de trabajo resulta poco práctica a gran escala, se recomienda la aprobación humana en puntos de control importantes, incluidas las acciones de alto riesgo, las acciones irreversibles y los comportamientos atípicos.

IMDA también identifica sesgo de automatización y fatiga por alertas como riesgos cuando los humanos supervisan agentes capacitados. Recomienda auditar la supervisión mediante indicadores como las tasas de anulación humana y los tiempos de respuesta, y utilizar la monitorización automatizada en tiempo real para detectar comportamientos inesperados.

El marco de trabajo establece que se debe informar a los usuarios sobre las acciones que un agente puede realizar, los datos a los que puede acceder y las responsabilidades que recaen sobre ellos. Asimismo, recomienda capacitar a los empleados en la interacción entre humanos y agentes, la supervisión y las habilidades profesionales necesarias para evaluar los resultados de los agentes.

🏦 Empresas prueban la IA en flujos de trabajo regulados

JPMorgan está implementando herramientas de IA en todo su negocio global de banca de inversión, dijo Paul Uren, director de banca de inversión de Asia Pacífico del banco. ReutersEl banco afirmó que estas herramientas ayudan a los banqueros a acceder a más información y a integrarla con los sistemas internos. También se utilizan para preparar contenido y mejorar la interacción con los clientes.

El director ejecutivo de JPMorgan, Jamie Dimon, dijo: Noticias de Bloomberg que el banco contrataría a más especialistas en inteligencia artificial y a menos banqueros tradicionales. Reuters Según los informes, los bancos globales están aumentando la inversión en inteligencia artificial, reestructurando sus plantillas y cambiando los puestos de trabajo.

El banco también se encuentra entre las organizaciones seleccionadas a las que Anthropic permite utilizar su Modelo de ciberseguridad Mythos bajo una iniciativa controlada conocida como Proyecto Glasswing. Según Anthropic, Mythos puede detectar vulnerabilidades antiguas en navegadores, infraestructura y software.

Reuters Según fuentes y ejecutivos de las empresas, Goldman Sachs, Citigroup, Bank of America y Morgan Stanley también tienen acceso a Mythos o lo están probando.

🏭 Los robots se incorporan al uso industrial

En Japón, Un tercio de las empresas ya están utilizando o considerando utilizar robots con inteligencia artificial., según un Reuters Encuesta realizada por Nikkei Research del 1 al 15 de mayo. La encuesta contactó a 492 empresas, de las cuales 220 respondieron bajo condición de anonimato.

Fabricantes de equipos de transporte El grupo más activo de la encuesta fue el de los robots con IA, con un 80 % que ya utilizaba o consideraba su implementación. En comparación, el 94 % de los encuestados del sector mayorista afirmó no tener planes de implementar robots con IA.

Entre las empresas que utilizan, planean utilizar o están considerando utilizar robots con IA:

• 71% La fabricación seleccionada como caso de uso
• 19% Tareas peligrosas seleccionadas
• 11% servicios seleccionados de atención al cliente

El gobierno japonés espera que los robots con IA ayuden a abordar la escasez crónica de mano de obra del país y a consolidar su posición en la robótica industrial. Japón alberga empresas de robótica, entre ellas: Fanuc, Yaskawa Electric y Kawasaki Heavy Industriespero se enfrenta a la competencia de China y Estados Unidos en el campo de la robótica con inteligencia artificial.

🛒 Los agentes minoristas van más allá de la búsqueda.

Walmart ha presentado planes para utilizar IA agente en los flujos de trabajo de compras, empleados, proveedores y desarrolladores.

En julio de 2025, el minorista anunció planes para cuatro "superagentes" impulsados ​​por IA Diseñado para compradores, empleados de tiendas, proveedores, vendedores y desarrolladores de software. Walmart afirmó que estos agentes se convertirían en el principal punto de entrada para las interacciones con IA entre estos grupos.

Una de las herramientas, ChispaYa está disponible en la aplicación de Walmart como un asistente de compras generativo impulsado por IA. Hari Vasudev, director de tecnología de Walmart en EE. UU., afirmó que su versión ampliada podrá reordenar artículos y planificar eventos. También utilizará visión artificial para sugerir recetas basadas en el contenido del refrigerador del cliente.

La empresa se negó a aclarar si los agentes reemplazarían puestos de trabajo. Dave Glick, vicepresidente sénior de sistemas empresariales, afirmó que las herramientas crearían nuevos empleos, sin ofrecer más detalles.

(Foto por Growtika)