德勤警告：人工智能代理部署速度超过安全框架和监管要求

📊 关键统计数据：

• 仅有的 21% 的组织 已对人工智能代理实施严格的治理。
• 23% 的公司 目前使用人工智能代理
• 预计将上涨至 74% 的人两年内
• 不采用者比例将从 25% 下降到仅 5% 同期

💡专家见解

据 Kovant 首席执行官兼创始人 Ali Sarrafi 称，解决方案在于 “受治理的自治”精心设计的智能体，拥有清晰的边界、策略和定义——以企业管理人类员工的方式进行管理——可以在定义的安全范围内快速执行低风险任务，但当行为超过既定的风险阈值时，则会升级到由人类处理。

🔧 生产级系统方法：

• 限制决策和背景范围 该模型与
• 分解操作 分解为更狭窄、更集中的任务，供各个代理人执行。
• 做出行为 更可预测且更容易控制
• 实现可追溯性和干预 用于早期故障检测
• 通过适当的升级措施防止连锁错误

✓ 通过对风险关键行动进行人工监督，以及建立可审计、可重现的工作流程，组织可以建立更易于管理的系统，从而进行全面的风险评估和保险覆盖。

🎯 企业真正需要什么：

• 访问权限 以及基于角色的控制
• 审批流程 针对高影响力行动
• 可审计日志和可观测性 系统
• 能力 监控行为并调查事件
• 工具 证明合规性 致监管机构和利益相关者

当每个操作都被记录并可管理时，团队可以准确地看到发生了什么，及时发现问题，并更好地了解特定事件发生的原因。 这种可见性，再加上在关键之处的人工监督，将人工智能代理从难以理解的黑箱转变为可以检查、重放和审计的系统。

• 🚫 他们提供什么信息 不应分享 人工智能系统
• ⚡ 如果代理人出现问题该怎么办 偏离轨道 或行为出乎意料
• 👁️ 如何 发现异常的、可能危险的行为 在人工智能系统中

🎯 结论： 健全的治理和控制，以及共同的组织知识，是安全部署和运行人工智能代理的基础，能够在现实世界环境中实现安全、合规和负责的绩效。

问题1：目前有多少百分比的组织对人工智能代理进行了适当的治理？

尽管人工智能代理的采用率迅速提高，但只有 21% 的组织机构实施了严格的治理或监督机制。随着人工智能代理的部署率在未来两年内预计将从 23% 加速增长至 74%，这种治理缺口构成了一项重大风险。

Q2：什么是“受治理的自治”，为什么它很重要？

受控自主是一种人工智能代理在明确的边界、策略和定义下运行的方法，类似于企业管理员工的方式。精心设计的代理可以在既定的安全范围内快速完成低风险工作，但当行为超出既定风险阈值时，则需要人类介入。这种框架使代理变得可检查、可审计且值得信赖，而不是神秘的黑箱。

问题3：为什么保险公司不愿承保人工智能系统？

保险公司不愿承保不透明的人工智能系统，因为如果不了解代理人的具体操作和已采取的控制措施，就无法充分评估风险。详细的操作日志、对关键风险操作的人工监督以及可审计的工作流程对于确保人工智能系统的可保性至关重要，因为这些要素能够提供保险公司评估风险并进行合理定价所需的透明度和问责机制。

问题 4：德勤分层自主方法的关键组成部分是什么？

德勤的分级自主模型分为三个级别：一级仅允许智能体查看信息并提供建议；二级允许智能体执行有限的操作，但需要人工批准；三级则允许智能体在已验证的低风险领域自动执行操作。这种循序渐进的方法确保智能体在获得更高自主权之前，必须先展现出可靠性。

Q5：为什么员工培训对人工智能代理的安全至关重要？

员工培训至关重要，因为不了解人工智能系统工作原理及其潜在风险的员工可能会在无意中削弱安全控制措施。培训内容应涵盖哪些信息不应与人工智能系统共享、当系统出现异常行为时应如何应对，以及如何识别异常或潜在危险行为。如果缺乏这种共同的认知，即使是精心设计的治理框架也可能失效。