人工智能安全风险：了解新的供应链威胁及其影响

保障软件供应链安全一直是一项挑战，这主要是由于…… 对合作伙伴系统及其依赖关系的可见性有限然而，如今的企业级人工智能系统将这一切提升到了一个全新的水平。

对于传统软件而言，供应链相对来说比较容易理解：源代码、第三方软件包、构建系统以及发布前工件的完整性。 人工智能应用显著扩展了这一领域。一个生产系统可能依赖于托管模型、检索管道、编排框架、外部工具、企业连接器以及实现所有这些元素之间连接的身份。

在传统的供应链事故中，主要问题是受损部件是否已流入生产环节。然而，在人工智能系统中， 部署后问题可能仍然存在。 通过模型与数据源、工具和外部服务的连接，可以实现这一点。例如，被污染的检索源会影响系统所看到的内容。范围过大的连接器会扩大其可访问的范围。高权限代理可以将错误的响应转化为实际操作。

📌 OWASP关于LLM供应链风险的指导 这一点非常明确。人工智能供应链安全旨在保障更广泛的依赖链的安全。它涵盖了人工智能系统赖以回答问题、检索信息、做出决策和采取行动的模型、数据、工具和基础设施。

本分析涵盖的关键主题：

• 人工智能供应链安全包含哪些内容？以及它与传统软件供应链安全有何不同
• 风险在实践中体现在方方面面，例如连接器范围过大或检索源受到污染。
• 为什么模型层防护栏仍然有用，但仅靠它们还不够
• 综合平台如何通过更广泛的模型、工具和云暴露可见性来增强人工智能供应链安全

什么是人工智能供应链安全？为什么它更危险？

真正的AI供应链安全 包括确保人工智能系统所依赖的所有组件的安全，包括模型、数据、工具、连接器和云基础设施。

然而，许多团队仍然主要在模型层评估人工智能风险。在生产环境中，风险评估系统更为广泛，它包括：

• 模型本身
• 用于训练、微调、接地或检索的数据
• 负责路由提示和工具调用的编排层
• 能够连接到内部系统和第三方系统的工具和连接器
• 托管和提供这些服务的云基础设施
• 允许一个组件调用另一个组件的身份和密钥。

与软件供应链的比较很简单。 人工智能供应链包括数据、工具和外部系统中的运行时交互。攻击会影响系统检索和执行的内容。被篡改的检索源会在模型响应之前扭曲上下文。作用域设置不当的连接器可能会暴露内部系统。具有权限的模型驱动代理可以将错误的输出转化为另一个系统中的操作。

人工智能供应链风险在实践中如何显现

实际上，这些故障通常始于常见的安全漏洞。与模型提供商、向量数据库或数据集关联的暴露的 API 密钥可能会泄露提示信息、输出结果或支持数据。 权限过高的连接器 这可能导致助手搜索原本不应访问的存储库、工单系统、聊天平台或文档库。云配置错误可能导致推理端点、笔记本、存储桶或编排组件暴露在外。

风险也存在于上游信息源中。OWASP 将供应链薄弱环节和数据污染视为既独立又相关的问题。这在检索密集型系统中至关重要，因为外部内容会在模型生成答案之前影响模型的上下文。如果该信息源被污染或篡改，其影响可能不仅限于错误的响应。它还会影响排名、摘要、推荐，以及依赖于检索到的上下文的下游决策。

在代理系统中，如果允许代理使用该上下文调用工具或触发工作流，则同一链条可以更进一步。

故障点往往在于交接环节。就像拥有过多访问权限的连接器、暴露给错误服务的秘密，或者从被污染的内容中提取数据一样。

为什么工具和代理会扩大风险

人工智能系统越来越多地被设计成与外部系统交互，而不仅仅局限于聊天窗口内。随着标准和框架的日趋成熟，这变得更加容易。

模型上下文协议（MCP）例如，它已成为连接人工智能应用程序与外部系统（包括数据源和工作流）的开放标准。实际上，这意味着更多的人工智能应用程序可以在企业环境中检索实时信息并执行任务。 这反过来又会造成更大的风险。。

一旦模型能够调用工具、访问内部系统并触发工作流程，风险就从响应质量转移到访问权限和操作本身。MCP 自身的架构资料也体现了这一点，它将外部访问和委托授权视为协议的核心组成部分。

🔑 关键见解： 在许多部署中，薄弱环节并非模型本身，而是围绕模型的连接层，即工具和外部数据源的交汇处。这些系统越实用，其访问权限的安全问题就越发凸显。

因此，安全团队需要了解有哪些工具存在、它们拥有哪些权限以及哪些身份授权使用这些工具。

为什么传统的AI防护措施还不够？

提示过滤和输出控制仍然很重要。它们可以减少不安全的响应，并有助于遏制一些滥用行为。 它们没有解决访问权限、权限或基础设施风险暴露问题。。

提示过滤器不会关闭公共存储桶。输出控制不会缩小连接器的作用域。越狱防御机制不会告知团队代理是否可以使用高权限服务帐户向工单系统写入数据或调用外部 API。

将人工智能风险置于基础设施、数据、访问、模型和应用程序等层面进行界定，而不仅仅是放在响应层，就能更清楚地区分二者。

人工智能安全应被视为更广泛的运营环境的一部分，并需考虑供应链和基础设施问题。

企业应如何保障人工智能供应链安全

第一步是绘制完整的 AI 技术栈图。这意味着要明确：

• 正在使用哪些型号？
• 他们依赖哪些数据来源？
• 它们周围有哪些编排框架？
• 哪些代理人活跃
• 他们可以使用哪些工具和连接器
• 哪些云服务托管或公开这些组件

许多组织知道自己使用的是哪个模型供应商，但对围绕该模型的系统却只有部分了解。

✅ 最佳实践：

• 降低连接器和服务帐户的权限并应用最小权限原则
• 采用与其他生产系统相同的严格方法来保护机密信息和机器身份。
• 持续监测行为和暴露情况，尤其是在人工智能系统与云服务和外部数据交互的情况下
• 仔细审查第三方人工智能组件，包括其数据处理方式、部署假设和更新路径。

NIST人工智能网络安全框架概况 从系统角度描述了这种更广泛的风险，建议各组织在供应链风险管理的背景下解决与人工智能相关的问题，并在建立第三方关系之前评估供应商的可信度以及培训或评估方法。

面向人工智能供应链安全的平台方法

为了确保人工智能供应链的安全，团队需要…… 了解模型、数据、身份和云服务如何在生产环境中连接。而不是逐个检查每个部件。

对于仅关注单层的工具而言，这很难做到。仅查看模型的视图或许能够发现滥用行为或不安全的输出，但却无法显示模型是否链接到了暴露的推理端点、范围过大的连接器或具有访问权限的服务帐户。仅查看云端的视图则可能忽略代理、数据源和工具调用如何组合成一个高风险的工作流程。

综合的 AI应用保护平台 针对该问题，我们提供更全面的解决方案，围绕人工智能资产发现、模型映射、代理和数据流，以及将这些发现与云暴露、密钥和运行时环境关联起来，构建人工智能安全能力。这种平台化的人工智能供应链安全方法超越了对模型的简单检查，它将模型与周围的基础设施和身份信息连接起来，使团队能够了解风险在整个供应链中的形成过程。

有些方法主要关注模型层面的风险、运行时阻塞或身份控制，而忽略了其他方面。这些控制措施仍然有价值，但是…… 人工智能供应链风险同时波及所有这些层面。这种可见性很重要，因为大多数真正的故障不会停留在某一层——它们会在堆栈中移动。

结论

随着人工智能系统在所有技术供应链中扮演越来越重要的角色，从网络安全的角度来看，发生变化的不是技术栈，而是…… 风险本身的形式. 目前，风险暴露于模型、数据、代理、连接器和云基础设施中，一些最严重的弱点出现在这些组件之间的连接中，而不是出现在某个孤立的层中。

随着越来越多的团队部署检索、工具使用和代理工作流程，安全问题也随之改变。一旦人工智能系统能够自主地检索数据、使用工具并在企业系统中触发操作， 仅仅依靠护栏已经不够了。。