Risques liés à la sécurité de l'IA : Comprendre la nouvelle menace pesant sur la chaîne d'approvisionnement et son impact

Sécuriser la chaîne d'approvisionnement logicielle est un défi de longue date, principalement en raison de visibilité limitée sur les systèmes partenaires et leurs dépendancesCependant, les systèmes d'IA d'entreprise actuels portent les choses à un tout autre niveau.

Avec les logiciels traditionnels, la chaîne d'approvisionnement était relativement bien comprise : code source, packages tiers, systèmes de compilation et intégrité des artefacts avant leur publication. Les applications d'IA étendent considérablement cette surface.Un système de production unique peut dépendre de modèles hébergés, de pipelines de récupération, de frameworks d'orchestration, d'outils externes, de connecteurs d'entreprise et des identités qui permettent les connexions entre tous ces éléments.

Dans un incident classique de chaîne d'approvisionnement, la question principale est de savoir si un composant défectueux s'est retrouvé en production. Dans un système d'IA, en revanche, Le problème peut persister après le déploiement Le modèle est connecté à des sources de données, des outils et des services externes. Par exemple, une source de récupération corrompue peut fausser les informations perçues par le système. Un connecteur aux capacités surdimensionnées peut étendre son champ d'action. Un agent disposant de privilèges élevés peut transformer une réponse erronée en action.

📌 Recommandations de l'OWASP sur les risques liés à la chaîne d'approvisionnement des LLM Il est clair à ce sujet. La sécurité de la chaîne d'approvisionnement de l'IA consiste à sécuriser l'ensemble de cette chaîne de dépendance. Elle englobe les modèles, les données, les outils et l'infrastructure dont un système d'IA a besoin pour répondre aux questions, extraire des informations, prendre des décisions et agir.

Principaux sujets abordés dans cette analyse :

• Que comprend la sécurité de la chaîne d'approvisionnement en IA ?et en quoi elle diffère de la sécurité traditionnelle de la chaîne d'approvisionnement logicielle
• Là où le risque se manifeste en pratique, on peut citer les connecteurs surdimensionnés et les sources de récupération contaminées.
• Pourquoi les garde-fous de calques de modèles sont encore utiles, mais insuffisants à eux seuls
• Comment les plateformes complètes permettent de sécuriser la chaîne d'approvisionnement de l'IA grâce à une meilleure visibilité des modèles, des outils et de l'exposition au cloud

Qu’est-ce que la sécurité de la chaîne d’approvisionnement basée sur l’IA, et pourquoi est-elle plus dangereuse ?

Véritable sécurité de la chaîne d'approvisionnement de l'IA Cela implique de garantir la sécurité de tous les composants dont dépend un système d'IA, notamment les modèles, les données, les outils, les connecteurs et l'infrastructure cloud.

Cependant, de nombreuses équipes évaluent encore les risques liés à l'IA principalement au niveau du modèle. En production, le système est plus étendu et comprend :

• Le modèle lui-même
• Les données utilisées pour l'entraînement, le réglage fin, l'ancrage ou la récupération
• La couche d'orchestration qui achemine les invites et les appels d'outils
• Les outils et connecteurs qui permettent d'accéder aux systèmes internes et tiers
• L'infrastructure cloud qui héberge et expose ces services
• Les identités et les secrets qui permettent à un composant d'en appeler un autre.

La comparaison avec la chaîne d'approvisionnement des logiciels est simple. Une chaîne d'approvisionnement en IA comprend les interactions d'exécution au niveau des données, des outils et des systèmes externes.Les attaques peuvent influencer les données récupérées et exécutées par le système. Une source de récupération corrompue peut altérer le contexte avant que le modèle ne réponde. Un connecteur mal configuré peut exposer des systèmes internes. Un agent piloté par modèle disposant d'autorisations peut transformer une sortie erronée en une action dans un autre système.

Où les risques liés à la chaîne d'approvisionnement de l'IA se manifestent-ils concrètement ?

En pratique, ces défaillances proviennent généralement de failles de sécurité bien connues. Une clé API exposée, liée à un fournisseur de modèles, une base de données vectorielles ou un jeu de données, peut révéler des invites, des résultats ou des données supplémentaires. Un connecteur aux autorisations excessives Cela peut permettre à un assistant d'effectuer des recherches dans des référentiels, des systèmes de billetterie, des plateformes de chat ou des bases de données documentaires qui n'étaient pas censées être accessibles. Une mauvaise configuration du cloud peut exposer un point de terminaison d'inférence, un notebook, un compartiment de stockage ou un composant d'orchestration.

Le risque se manifeste également au niveau des sources d'information en amont. L'OWASP considère la fragilité de la chaîne d'approvisionnement et la corruption des données comme des problèmes distincts mais liés. Cela est crucial dans les systèmes à forte composante de recherche, où le contenu externe peut influencer le contexte du modèle avant même que celui-ci ne produise une réponse. Si cette source est corrompue ou altérée, l'impact peut dépasser le simple cadre d'une réponse erronée. Il peut affecter le classement, les résumés, les recommandations ou les décisions prises en aval qui reposent sur le contexte extrait.

Dans les systèmes multi-agents, cette même chaîne peut aller encore plus loin si un agent est autorisé à invoquer des outils ou à déclencher des flux de travail en utilisant ce contexte.

Le point de défaillance se situe souvent au moment du passage de relais., comme un connecteur avec trop d'accès, un secret exposé au mauvais service, ou une récupération à partir de contenu corrompu.

Pourquoi les outils et les agents amplifient le risque

Les systèmes d'IA sont de plus en plus conçus pour interagir avec des systèmes externes, et non plus rester confinés à une fenêtre de conversation. Cette interaction est devenue plus aisée grâce à la maturation des normes et des cadres de référence.

Protocole de contexte de modèle (MCP)Par exemple, s'est imposé comme une norme ouverte pour connecter les applications d'IA aux systèmes externes, notamment aux sources de données et aux flux de travail. Concrètement, cela signifie qu'un plus grand nombre d'applications d'IA peuvent récupérer des informations en temps réel et exécuter des tâches dans des environnements d'entreprise. ce qui, à son tour, crée davantage de risques.

Dès lors qu'un modèle peut appeler des outils, accéder aux systèmes internes et déclencher des flux de travail, le risque se déplace de la qualité de la réponse vers l'accès et l'action. La documentation d'architecture de MCP reflète cette évolution en considérant l'accès externe et l'autorisation déléguée comme des éléments fondamentaux du protocole.

🔑 Point clé : Dans de nombreux déploiements, le point faible ne réside pas dans le modèle lui-même, mais dans la couche de connexion qui l'entoure, point de rencontre des outils et des sources de données externes. Plus ces systèmes deviennent utiles, plus leur accès devient un enjeu de sécurité majeur.

C’est pourquoi les équipes de sécurité ont besoin de visibilité sur les outils existants, les autorisations dont ils disposent et les identités qui autorisent leur utilisation.

Pourquoi les garde-fous traditionnels de l'IA ne suffisent pas

Le filtrage des invites et les contrôles de sortie restent pertinents. Ils peuvent réduire les réponses non sécurisées et contribuer à limiter certains abus. Mais ils n'abordent pas la question de l'accès, des autorisations ou de l'exposition de l'infrastructure.

Un filtre d'invite ne ferme pas un compartiment de stockage public. Un contrôle de sortie ne restreint pas la portée d'un connecteur. Une protection contre le jailbreak n'indique pas à une équipe si un agent peut écrire dans un système de gestion des tickets ou appeler une API externe avec un compte de service à privilèges élevés.

Cette distinction est rendue plus claire en abordant le risque lié à l'IA sous l'angle de l'infrastructure, des données, de l'accès, des modèles et des applications, et non pas uniquement au niveau de l'interface utilisateur.

La sécurité de l'IA doit être considérée comme faisant partie d'un environnement opérationnel plus vaste, incluant les problématiques liées à la chaîne d'approvisionnement et à l'infrastructure.

Que doivent faire les entreprises pour sécuriser la chaîne d'approvisionnement en IA ?

La première étape consiste à cartographier l'ensemble de la pile d'IA.Cela signifie identifier :

• Quels modèles sont utilisés ?
• Quelles sont les sources de données sur lesquelles ils s'appuient ?
• Quels frameworks d'orchestration les entourent ?
• Quels agents sont actifs ?
• Quels outils et connecteurs peuvent-ils atteindre ?
• Quels services cloud hébergent ou exposent ces composants ?

De nombreuses organisations savent quel fournisseur de modèles elles utilisent, mais n'ont qu'une visibilité partielle sur les systèmes qui l'entourent.

✅ Meilleures pratiques :

• Réduisez les autorisations et appliquez le principe du moindre privilège dans les connecteurs et les comptes de service.
• Protégez les secrets et les identités des machines avec la même rigueur que celle appliquée aux autres systèmes de production.
• Surveillez en permanence les comportements et l'exposition, en particulier aux points d'interaction entre les systèmes d'IA, les services cloud et les données externes.
• Examinez attentivement les composants d'IA tiers, notamment leur gestion des données, leurs hypothèses de déploiement et leurs procédures de mise à jour.

Profil du cadre de cybersécurité du NIST pour l'intelligence artificielle décrit cette exposition plus large en termes de système, recommandant aux organisations d'aborder les préoccupations liées à l'IA dans le contexte de la gestion des risques de la chaîne d'approvisionnement et d'évaluer la fiabilité des fournisseurs ainsi que les méthodes de formation ou d'évaluation avant d'établir des relations avec des tiers.

Une approche de plateforme pour la sécurité de la chaîne d'approvisionnement en IA

Pour sécuriser la chaîne d'approvisionnement en IA, les équipes doivent Découvrez comment les modèles, les données, les identités et les services cloud s'interconnectent en production, et non pas inspecter chaque pièce individuellement.

C’est difficile à réaliser avec des outils qui n’analysent qu’une seule couche. Une vue centrée uniquement sur le modèle peut détecter les abus de prompts ou les sorties non sécurisées, mais elle ne révélera pas si le modèle est lié à un point de terminaison d’inférence exposé, à un connecteur surdimensionné ou à un compte de service disposant d’accès. Une vue centrée uniquement sur le cloud risque de ne pas voir comment un agent, une source de données et un appel d’outil s’articulent pour former un flux de travail à risque.

Complet Plateformes de protection des applications d'IA Cette approche offre une solution plus globale à ce problème, en présentant des fonctionnalités de sécurité de l'IA pour la découverte des ressources d'IA, la cartographie des modèles, des agents et des flux de données, et la mise en relation de ces découvertes avec l'exposition au cloud, les secrets et le contexte d'exécution. L'approche plateforme de la sécurité de la chaîne d'approvisionnement de l'IA va au-delà de la simple inspection du modèle : elle le connecte à l'infrastructure et aux identités qui l'entourent, permettant ainsi aux équipes de comprendre comment le risque se forme tout au long de la chaîne.

Certaines approches se concentrent principalement sur les risques liés au modèle, le blocage à l'exécution ou les contrôles d'identité de manière isolée. Ces contrôles restent utiles, mais Le risque lié à la chaîne d'approvisionnement en IA s'étend simultanément à tous ces niveaux.Ce type de visibilité est important car la plupart des véritables défaillances ne restent pas à une seule couche ; elles se déplacent dans la pile.

Conclusion

Avec le rôle croissant des systèmes d'IA dans toutes les chaînes d'approvisionnement technologiques, ce qui a changé du point de vue de la cybersécurité, ce n'est pas la pile technologique, mais… la forme du risque lui-mêmeL’exposition se manifeste désormais dans les modèles, les données, les agents, les connecteurs et l’infrastructure cloud, et certaines des faiblesses les plus graves apparaissent dans les liens entre ces composants, et non dans une couche isolée.

À mesure que davantage d'équipes déploient des flux de travail de récupération, d'utilisation d'outils et d'agents, le problème de sécurité évolue avec elles. Dès lors que les systèmes d'IA peuvent récupérer des données, utiliser des outils et déclencher des actions dans les systèmes d'entreprise de manière autonome, Les garde-corps à eux seuls ne suffisent plus.