欧盟2026年人工智能法案：智能体人工智能系统的治理挑战

人工智能代理有望自动在系统之间移动数据并触发决策，但在某些情况下，它们可能会在没有明确记录执行任务的内容、时间和原因的情况下采取行动。

这会造成 重大治理挑战 最终，IT领导者对此负有责任。如果组织无法追踪代理人的行为，并且对其权限缺乏适当的控制，那么领导者就无法向监管机构证明系统运行安全合法。

⚠️ 从今年8月起，这个问题变得至关重要。作为执法部门 欧盟人工智能法案 该法案规定，对于与人工智能相关的治理失职行为，特别是将其用于处理个人身份信息或进行金融操作等高风险领域时，将处以巨额罚款。

欧盟IT领导者需要考虑哪些因素

可以采取多种措施来降低高风险。关键考虑因素包括：

• 代理身份
• 完整日志
• 政策检查
• 人为监督
• 快速撤销能力
• 供应商文档可用性
• 监管申报的证据编制

决策者可以考虑多种方案来创建智能体系统活动的完整记录。例如，Python SDK（软件开发工具包）Asqav 可以对每个智能体的操作进行加密签名，并将所有记录链接到一个不可篡改的哈希链——这种技术通常与区块链技术相关联。 如果有人或某事更改或删除了记录，则链的验证将失败。

对于治理团队而言，实施 一个冗长、集中式、可能加密的记录系统 所有智能体人工智能提供的数据远超单个软件平台生成的零散文本日志。无论记录的生成和保存方式如何，IT 领导者都需要准确了解智能体实例在整个企业中的运行位置、时间和方式。

许多组织在记录自动化、人工智能驱动的活动这一第一步就失败了。必须维护一个所有运行代理的注册表，每个代理都应具有唯一标识符，并记录其功能和已授予的权限。

📋欧盟人工智能法案第9条要求

对于高风险地区， 人工智能风险管理必须是一个持续的、以证据为基础的过程。 融入部署的每个阶段（开发、准备、生产），并接受持续审查。

📋欧盟人工智能法案第13条要求

高风险人工智能系统的设计必须确保部署人员能够理解系统的输出结果。因此， 来自第三方的AI系统必须能够被其用户理解。 （不是晦涩难懂的代码块），并且应提供足够的文档以确保其安全合法使用。

这一要求意味着模型的选择及其部署方法都需要考虑。 技术和监管 考虑因素。

实施应急控制措施

对于任何代理部署而言，提供以下设施至关重要： 撤销人工智能的运行角色最好在几秒钟内即可撤销。快速撤销能力应成为应急响应流程的一部分。撤销选项应包括：

• 🔴 立即撤销权限
• 🔴 立即停止 API 访问
• 🔴 清除队列任务

人为监督的存在，再加上 为人类提供做出明智决策所需的足够背景信息这意味着人工操作员必须能够拒绝任何提议的行动。对于审核决策的人员来说，仅仅看到提示或置信度评分是不够的。有效的监督需要了解上下文信息、每个代理人的权限，以及足够的干预时间来防止失误。

多智能体系统考虑因素

虽然每个代理人的操作都应该被自动记录并保存， 多智能体过程的跟踪尤其复杂。因为代理链中可能会出现故障。因此，对于任何计划使用多个代理的系统而言，在开发过程中测试安全策略至关重要。

⚖️ 重要提示： 管理机构可能随时要求提供日志和技术文档，并且在他们知悉任何事件后肯定需要这些文档。

IT 领导者应注意的关键要点

对于考虑在敏感数据或高风险环境中使用人工智能的IT领导者来说，关键问题是这项技术的每个方面是否都能…… 已识别、受政策约束、已审计、已中断、已解释如果答案不明确，说明治理机制尚未到位。

图片来源：“Last Judgement”由 Lawrence OP 创作，并根据 CC BY-NC-ND 2.0 许可协议授权。如需查看此许可协议的副本，请访问 https://creativecommons.org/licenses/by-nc-nd/2.0

想向行业领袖学习更多关于人工智能和大数据方面的知识吗？请查看以下内容： 人工智能与大数据博览会 此次综合性活动将在阿姆斯特丹、加利福尼亚和伦敦举行。该活动是……的一部分 TechEx 并与其他领先的技术盛会同期举办。

AI News 由 AI 提供支持 TechForge Media探索其他即将举行的企业技术活动和网络研讨会。