Como os sistemas autônomos de IA estão testando a governança em ambientes físicos

Os sistemas autônomos de IA estão começando a ir além dos ambientes de software e a se expandir para outros contextos. armazéns, redes de distribuição e espaços públicosO desenvolvimento está chamando a atenção para a questão de se as regras atuais de IA abrangem sistemas que operam em ambientes físicos.

A maioria das estruturas de governança de IA existentes tem se concentrado em danos online e resultados de modelos, incluindo viés, desinformação e conteúdo prejudicial. Sistemas de IA incorporados apresentam riscos em ambientes físicos., onde as falhas podem afetar a infraestrutura, a propriedade ou a segurança humana.

📋 Novo Quadro de Governança de IA de Singapura

A Autoridade de Desenvolvimento de Mídia e Infocomunicações de Singapura publicou versão 1.5 de sua Estrutura de Governança de IA Modelo para IA Agente Em 20 de maio, o framework estabeleceu diretrizes para organizações que implementam agentes de IA capazes de planejar, tomar decisões e executar ações em várias etapas para atingir objetivos definidos pelo usuário.

A estrutura define que os agentes podem interagir com ferramentas, sistemas externos e outros agentes, incluindo sistemas que atualizam bancos de dados, gravam arquivos, controlam dispositivos ou realizam transações. Ela lista controles de acesso, monitoramento e aprovação humana entre as medidas de governança para a implementação.

🤖 A IA chega aos sistemas físicos

Em uma cúpula de IA realizada em Singapura na semana passada, as discussões sobre robótica e IA incorporada se concentraram em questões de segurança operacional Mais comumente associada à aviação, sistemas industriais e supervisão de infraestrutura crítica do que à regulamentação de software convencional.

Os palestrantes também discutiram se os sistemas autônomos podem operar com segurança e confiabilidade em ambientes imprevisíveis do mundo real por períodos prolongados.

O Dr. Ya-Qin Zhang, reitor fundador do Instituto de Pesquisa da Indústria de IA da Universidade de Tsinghua, disse: Sistemas de IA incorporados amplificam os riscos já associados a softwares autônomos.Ele afirmou que as falhas podem afetar diretamente os sistemas de transporte, drones, redes logísticas e infraestrutura crítica.

"Qualquer risco no domínio digital será amplificado no domínio físico, e o domínio físico terá uma consequência física", disse Zhang à MLex à margem da cúpula.

Ele acrescentou que veículos, drones, redes inteligentes e outras infraestruturas podem ficar expostos à medida que os sistemas de IA forem incorporados mais profundamente às operações físicas.

Os palestrantes discutiram a confiabilidade, o monitoramento operacional e a garantia pós-implantação como questões de governança. As discussões da cúpula apontaram para modelos de governança baseados em implantação Construído em torno de simulação, telemetria e testes iterativos, em vez de apenas certificação única.

📊 O monitoramento se torna um problema de implantação

A Grab, que está testando veículos autônomos e robôs de entrega no distrito de Punggol, em Singapura, afirmou que a governança da implantação depende muito de simulação, testes e monitoramento contínuo.

"Realizamos muitas simulações e muitos testes em circuitos fechados e abertos para garantir que nossos robôs sejam confiáveis", disse Suthen Thomas Paradatheth, diretor de tecnologia da Grab, durante um dos painéis da conferência.

"Antes de expandirmos para centenas de robôs, primeiro garantimos que o problema seja resolvido em simulação e com alguns robôs", acrescentou.

A Grab também mencionou sistemas de monitoramento projetados para acompanhar o desempenho dos robôs e detectar falhas inesperadas após a implantação. "Há uma longa lista de problemas que podem surgir", disse Paradatheth.

👥 A responsabilidade se estende a mais atores

A MLex relatou que os sistemas de IA incorporados podem envolver diversas partes nas etapas de desenvolvimento, fabricação e implantação. Entre elas, incluem-se: Desenvolvedores de IA, fabricantes de robótica, fornecedores de semicondutores e operadores de infraestrutura.

A MLex também observou que Atribuir responsabilidade pode ser mais difícil. Quando os sistemas continuam se adaptando após a implantação por meio de atualizações de software, telemetria e dados operacionais.

A IMDA afirma que as organizações e os indivíduos continuam responsáveis ​​pelas ações dos agentes, mesmo quando estes operam de forma autônoma. A estrutura exige que Responsabilidade clara em toda a cadeia de valor da IA ​​agente., desde fornecedores de modelos e plataformas até implementadores, fornecedores de ferramentas e usuários finais.

A Applied Materials afirmou que a implantação em larga escala de robôs também está ligada à economia dos semicondutores e à integração de sistemas. Om Nalamasu, diretor de tecnologia da empresa, disse que os sistemas robóticos dependerão de sensores melhores, eficiência energética, embalagens avançadas e arquiteturas de computação.

🌏 Abordagens regionais para a robótica com IA

🇨🇳 China: Zhao Yuli, diretor de estratégia da startup chinesa de robótica Galbot, afirmou que Pequim está priorizando escala de implantação e comercialização industrial por meio de plataformas de teste apoiadas pelo governo, parcerias industriais e iniciativas de financiamento de longo prazo.

A Galbot implantou sistemas de robótica humanoide em operações de varejo, armazenagem e indústria farmacêutica na China, incluindo lojas autônomas que operam 24 horas por dia. Zhao afirmou que ambientes industriais semiestruturados provavelmente se tornarão um caminho inicial para a comercialização, pois oferecem condições operacionais mais controláveis.

🇯🇵 Japão: O Japão está dando mais atenção a definição de padrões, conjuntos de dados de robótica e governança de segurançaO professor Yutaka Matsuo, da Escola de Engenharia da Universidade de Tóquio, mencionou um projeto da "Associação de IA" que visa coletar 100.000 horas de dados de robótica para apoiar modelos fundamentais de robótica.

Matsuo também mencionou o Instituto de Segurança de IA do Japão e o Processo de IA de Hiroshima como parte de esforços mais amplos para desenvolver padrões de governança para sistemas de IA incorporados com Singapura e outros países asiáticos.

🔒 Singapura estabelece controles para agentes

A estrutura de Singapura estabelece quatro áreas de governança para IA agente:

A estrutura diz A supervisão humana precisa ser adaptada para sistemas com agentes. Porque a revisão contínua de todos os fluxos de trabalho torna-se impraticável em grande escala. Recomenda-se a aprovação humana em pontos de verificação significativos, incluindo ações de alto risco, ações irreversíveis e comportamentos atípicos.

A IMDA também identifica viés de automação e fadiga de alertas como riscos quando humanos supervisionam agentes capazes. Recomenda-se auditar a supervisão por meio de indicadores como taxas de intervenção humana e tempos de resposta, e usar monitoramento automatizado em tempo real para sinalizar comportamentos inesperados.

A estrutura estabelece que os usuários devem ser informados sobre quais ações um agente pode realizar, a quais dados ele pode acessar e quais responsabilidades permanecem com o usuário. Também recomenda o treinamento de funcionários em interação humano-agente, supervisão e as habilidades profissionais necessárias para avaliar os resultados do agente.

🏦 Empresas testam IA em fluxos de trabalho regulamentados

JPMorgan Paul Uren, chefe de banco de investimento da instituição para a região Ásia-Pacífico, afirmou que a empresa está implementando ferramentas de IA em seus negócios globais de banco de investimento. ReutersO banco afirmou que as ferramentas ajudam os funcionários a acessar mais informações e integrá-las aos sistemas internos. Elas também estão sendo usadas para preparar conteúdo e apoiar o relacionamento com os clientes.

O CEO do JPMorgan, Jamie Dimon, disse Notícias da Bloomberg que o banco contrataria mais especialistas em IA e menos banqueiros tradicionais. Reuters Relataram que os bancos globais estão aumentando o investimento em IA, remodelando a força de trabalho e mudando as funções de trabalho.

O banco também está entre as organizações selecionadas autorizadas pela Anthropic a usar seus Modelo de cibersegurança Mythos sob uma iniciativa controlada conhecida como Projeto Glasswing. De acordo com a Anthropic, o Mythos consegue detectar vulnerabilidades antigas em navegadores, infraestrutura e software.

Reuters Segundo informações de fontes e executivos das empresas, Goldman Sachs, Citigroup, Bank of America e Morgan Stanley também têm acesso ao Mythos ou estão testando a plataforma.

🏭 Robôs entram em uso industrial

No Japão, Um terço das empresas já utiliza ou considera utilizar robôs com inteligência artificial., de acordo com um Reuters Pesquisa realizada pela Nikkei Research entre 1º e 15 de maio. A pesquisa contatou 492 empresas, das quais 220 responderam sob condição de anonimato.

Fabricantes de equipamentos de transporte Foram o grupo mais ativo na pesquisa, com 80% já utilizando robôs com IA ou considerando a implementação. Em comparação, 94% dos respondentes do setor atacadista disseram não ter planos de implementar robôs com IA.

Entre as empresas que utilizam, planejam utilizar ou estão considerando o uso de robôs com inteligência artificial:

• 71% A manufatura foi selecionada como um caso de uso.
• 19% tarefas perigosas selecionadas
• 11% serviços selecionados voltados para o cliente

O governo japonês espera que os robôs com inteligência artificial ajudem a resolver a escassez crônica de mão de obra no país e fortaleçam sua posição na robótica industrial. O Japão abriga diversas empresas de robótica, incluindo... Fanuc, Yaskawa Electric e Kawasaki Heavy Industriesmas enfrenta a concorrência da China e dos Estados Unidos na robótica com inteligência artificial.

🛒 Agentes de varejo expandem seus negócios para além das buscas

Walmart apresentou planos para usar IA ativa em fluxos de trabalho de compras, funcionários, fornecedores e desenvolvedores.

Em julho de 2025, a varejista anunciou planos para quatro "superagentes" com inteligência artificial Projetados para compradores, funcionários de lojas, fornecedores, vendedores e desenvolvedores de software, o Walmart afirmou que esses agentes se tornariam o principal ponto de entrada para interações de IA entre esses grupos.

Uma das ferramentas, FaíscaO recurso, já disponível no aplicativo do Walmart como um assistente de compras com inteligência artificial generativa, será expandido para incluir a opção de reordenar itens e planejar eventos. Além disso, utilizará visão computacional para sugerir receitas com base nos itens presentes na geladeira do cliente.

A empresa se recusou a dizer se os agentes substituiriam empregos. Dave Glick, vice-presidente sênior de sistemas empresariais, afirmou que as ferramentas criariam novos empregos, sem dar mais detalhes.

(Foto por Growtika)