自主人工智能系统如何在物理环境中测试治理能力

自主人工智能系统正开始超越软件环境，进入 仓库、配送网络和公共空间这一进展引发了人们对现有AI规则是否涵盖在物理环境中运行的系统这一问题的关注。

现有的大多数人工智能治理框架都侧重于网络危害和模型输出，包括偏见、错误信息和有害内容。 具身人工智能系统在物理环境中存在风险其中，故障可能会影响基础设施、财产或人身安全。

📋 新加坡新的人工智能治理框架

新加坡资讯通信媒体发展局发布 其面向智能体的人工智能治理框架1.5版 5 月 20 日发布。该框架为部署人工智能代理的组织制定了指导方针，这些代理可以规划、做出决策并采取多步骤行动来完成用户定义的目标。

该框架指出，代理可以与工具、外部系统和其他代理进行交互，包括更新数据库、写入文件、控制设备或执行交易的系统。它将访问控制、监控和人工审批列为部署治理措施。

🤖 人工智能进军物理系统

在上周于新加坡举行的人工智能峰会上，围绕机器人技术和具身人工智能的讨论主要集中在以下几个方面： 运行安全问题 与传统的软件监管相比，它更常与航空、工业系统和关键基础设施监管联系在一起。

发言者还讨论了自主系统能否在不可预测的现实世界环境中长时间安全可靠地运行。

清华大学人工智能产业研究院创始院长张亚琴博士表示 具身人工智能系统加剧了与自主软件相关的风险他表示，故障会直接影响运输系统、无人机、物流网络和关键基础设施。

张在峰会间隙告诉 MLex：“数字领域的任何风险都会在物理领域被放大，而物理领域也会产生物理后果。”

他补充说： 车辆、无人机、智能电网和其他基础设施 随着人工智能系统越来越深入地嵌入到物理操作中，其问题可能会暴露出来。

发言者们讨论了可靠性、运行监控和部署后保障等治理问题。峰会讨论指出： 基于部署的治理模型 以模拟、遥测和迭代测试为基础，而不是仅仅依靠一次性认证。

📊 监控成为部署问题

Grab公司正在新加坡榜鹅区试点自动驾驶汽车和送货机器人，该公司表示，部署管理很大程度上取决于…… 模拟、测试和持续监测。

Grab 首席技术官 Suthen Thomas Paradatheth 在峰会的一个小组讨论会上表示：“我们进行了大量的模拟，在封闭场地和开放场地进行了大量的测试，以确保我们的机器人是可靠的。”

“在将规模扩大到数百个机器人之前，我们会确保先在模拟环境中用少量机器人进行测试并取得成功，”他补充道。

Grab公司还指出，他们设计了监控系统，用于跟踪机器人性能并在部署后检测意外故障。“可能会出现一系列问题，”Paradatheth说道。

👥问责制扩展到更多参与者

MLex报告称，具身人工智能系统可能涉及开发、制造和部署等多个环节，其中包括： 人工智能开发商、机器人制造商、半导体供应商和基础设施运营商。

MLex还指出， 责任分配可能更难。 系统在部署后会通过软件更新、遥测和运行数据不断进行调整。

新加坡资讯通信媒体发展局（IMDA）表示，即使代理程序自主运行，组织和个人仍需对其行为负责。该框架要求： 明确整个智能体人工智能价值链的责任从模型和平台提供商到部署者、工具提供商和最终用户。

应用材料公司表示，大规模机器人部署也与半导体经济性和系统集成息息相关。该公司首席技术官奥姆·纳拉马苏表示，机器人系统将依赖于更先进的传感器、更高的能源效率、更先进的封装和计算架构。

🌏 人工智能机器人技术的区域性方法

🇨🇳 中国： 中国机器人初创公司高博（Galbot）首席战略官赵玉丽表示，北京正在优先考虑…… 部署规模和工业商业化 通过政府支持的试验平台、产业合作和长期资助计划。

Galbot已在中国零售、仓储和制药行业部署了人形机器人系统，包括全天候运营的自主商店。赵表示，半结构化的工业环境可能成为早期商业化路径，因为它们提供了更可控的运行条件。

🇯🇵 日本： 日本更加注重 标准制定、机器人数据集和安全治理东京大学工学研究生院的松尾裕教授指出，有一个名为“人工智能协会”的项目，旨在收集 10 万小时的机器人数据，以支持机器人基础模型。

松尾还提到了日本人工智能安全研究所和广岛人工智能进程，这是与新加坡和其他亚洲国家共同努力，为具身人工智能系统制定治理标准的更广泛举措的一部分。

🔒 新加坡出台代理人管控措施

新加坡的框架规定 智能体人工智能的四个治理领域：

该框架指出 人类监督必须适应智能体系统。 因为大规模地持续审查所有工作流程是不切实际的。它建议在关键节点进行人工审批，包括高风险操作、不可逆操作和异常行为。

IMDA也指出 自动化偏差和警报疲劳 当人类监督能力强的智能体时，会存在风险。报告建议通过人工干预率和响应时间等指标来审核监督工作，并使用自动化实时监控来标记异常行为。

该框架指出，应告知用户代理可以执行哪些操作、可以访问哪些数据以及用户仍需承担哪些责任。此外，该框架还建议对员工进行人机交互、监督以及评估代理输出所需专业技能方面的培训。

🏦 企业在受监管的工作流程中测试人工智能

摩根大通 该银行亚太区投资银行主管保罗·尤伦表示，该行正在其全球投资银行业务中部署人工智能工具。 路透社该银行表示，这些工具可以帮助银行家获取更多信息，并将其与内部系统整合。它们还被用于准备内容和支持客户互动。

摩根大通首席执行官杰米·戴蒙表示 彭博新闻 该银行将聘用更多人工智能专家，减少传统银行家的数量。 路透社 报告显示，全球各大银行正在加大对人工智能的投资，重塑员工队伍，并改变工作角色。

该银行也是Anthropic公司授权使用其平台的少数机构之一。 Mythos网络安全模型 在名为“玻璃之翼计划”（Project Glasswing）的受控项目中，据 Anthropic 公司称，Mythos 可以检测浏览器、基础设施和软件中存在的旧漏洞。

路透社 报道称，高盛、花旗集团、美国银行和摩根士丹利也已获得 Mythos 的使用权，或者正在测试 Mythos，报道援引了消息人士和公司高管的话。

🏭 机器人进军工业领域

在日本， 三分之一的公司已经在使用或考虑使用人工智能机器人。根据…… 路透社 该调查由日经研究公司于 5 月 1 日至 5 月 15 日进行。调查联系了 492 家公司，其中 220 家公司在匿名条件下作出了回应。

运输设备制造商 调查显示，该行业最为活跃，80%的受访者已经在使用人工智能机器人或正在考虑部署。相比之下，94%的批发行业受访者表示没有部署人工智能机器人的计划。

正在使用、计划使用或正在考虑使用人工智能机器人的公司包括：

• 71% 选择制造业作为用例
• 19% 选定的危险任务
• 11% 选定的面向客户的服务

日本政府期望人工智能机器人能够帮助解决该国长期存在的劳动力短缺问题，并巩固其在工业机器人领域的地位。日本拥有众多机器人公司，其中包括…… 发那科、安川电机和川崎重工但在人工智能机器人领域，它面临着来自中国和美国的竞争。

🛒 零售代理商拓展搜索范围

沃尔玛 已制定计划，在购物、员工、供应商和开发人员的工作流程中使用智能体人工智能。

2025年7月，该零售商宣布了以下计划： 四个人工智能驱动的“超级代理” 这些智能代理专为购物者、门店员工、供应商、销售人员和软件开发人员而设计。沃尔玛表示，这些代理将成为这些群体进行人工智能交互的主要入口。

其中一种工具是 斯帕基沃尔玛的应用程序中已经推出了一款名为“智能购物助手”（或类似功能）的人工智能购物助手。沃尔玛美国首席技术官哈里·瓦苏德夫表示，该助手的扩展版本将能够重新订购商品和规划活动，还会利用计算机视觉技术，根据顾客冰箱里的食材推荐食谱。

该公司拒绝透露这些代理是否会取代现有工作岗位。企业业务系统高级副总裁戴夫·格里克表示，这些工具将会创造新的就业机会，但未透露更多细节。

（照片由 格罗蒂卡）