微软发布用于 AI 代理运行时保护的开源安全工具包

新的 微软开源工具包 该版本专注于运行时安全，旨在对企业级人工智能代理实施严格的治理。此版本解决了一个日益令人担忧的问题： 自主语言模型现在执行代码和访问企业网络的速度远远超过传统策略控制所能达到的水平。。

人工智能集成以前意味着对话式界面和咨询助手。这些系统对特定数据集只有只读权限，严格限制了执行环节的进行。现在，各组织正在部署…… 能够独立采取行动的智能体框架将这些模型直接连接到内部应用程序编程接口（API）、云存储库和持续集成管道。

当一个自主代理能够读取电子邮件、决定编写脚本并将该脚本推送到服务器时，更严格的治理就变得至关重要。

静态代码分析和部署前漏洞扫描无法处理以下问题： 大型语言模型（LLM）的非确定性一次简单的提示注入攻击，甚至仅仅是一个基本的幻觉，就可能导致代理覆盖数据库或提取客户记录。

微软的新工具包强调运行时安全性该方法提供了在模型尝试执行操作时立即监控、评估和阻止操作的方法。这种方法优于仅仅依赖先前的训练或静态参数检查。

⚙️ 实时拦截工具调用层

通过分析智能体调用工具的机制，我们可以揭示其工作原理。当企业级人工智能智能体需要跳出其核心神经网络的局限——例如​​，查询库存系统——它会生成一个命令来访问外部工具。

微软的框架将策略执行引擎直接置于语言模型和企业网络之间。每次代理尝试触发外部功能时，工具包都会拦截该请求，并根据一套中央管理规则验证其意图操作。如果该操作违反策略（例如，仅被授权读取库存数据的代理尝试发起采购订单），工具包会阻止 API 调用并将该事件记录下来以供人工审核。

• 安全团队可获得可验证、可审计的跟踪记录。 每一个自主决策
• 开发者可以构建复杂的多智能体系统 无需将安全协议硬编码到每个单独的模型提示中
• 安全策略与核心应用程序逻辑解耦。 并在基础设施层面进行管理

大多数遗留系统最初设计时并未考虑与非确定性软件交互。老旧的大型机数据库或定制的企业资源计划 (ERP) 套件缺乏抵御机器学习模型发送错误请求的原生防御机制。 微软的工具包充当了保护性翻译层的角色。即使底层语言模型受到外部输入的破坏，系统的边界仍然安全。

🔓 为人工智能代理安全建立开放标准

安全负责人可能会质疑微软为何选择以匿名方式发布此运行时工具包。 开源许可这一决定反映了现代软件供应链的运作方式。

开发者们正利用大量的开源库、框架和第三方模型，快速构建自主工作流程。如果微软将这项运行时安全功能限制在其专有平台上，开发团队很可能会为了赶上截止日期而选择更快捷、未经验证的变通方案。

公开发布工具包意味着安全和治理控制可以集成到任何技术堆栈中——无论组织运行本地开放权重模型、使用像 Anthropic 这样的竞争对手，还是部署混合架构。

建立人工智能代理安全开放标准，也使更广泛的网络安全社区能够做出贡献。安全厂商可以在此开放基础上叠加商业仪表盘和事件响应集成，从而加速生态系统的成熟。对于企业而言，这既避免了厂商锁定，又提供了一个经过普遍审查的安全基线。

📊 企业人工智能治理的下一阶段

企业治理的范围不仅限于安全，还包括 财务和运营监督自主代理在推理和执行的持续循环中运行，每一步都会消耗 API 令牌。初创公司和大型企业在部署代理系统时已经面临着令牌成本爆炸式增长的问题。

如果没有运行时治理，负责研究市场趋势的代理程序在完成任务前可能需要访问昂贵的专有数据库数千次。如果不加以控制，配置不当的代理程序一旦陷入递归循环，几个小时内就会累积巨额云计算费用。

运行时治理层提供 定量指标和控制机制 为满足合规要求，必须采取相应措施。仅仅依靠模型提供商过滤不当输出的时代即将结束。如今，系统安全取决于执行模型决策的基础设施。

建立成熟的治理方案需要开发运营、法律和安全团队之间的密切合作。语言模型的功能不断扩展，如今实施严格运行时控制的组织将是唯一能够处理未来自主工作流程的组织。