Microsoft publie un kit d'outils de sécurité open source pour la protection d'exécution des agents d'IA

Un nouveau boîte à outils open source de Microsoft Cette version se concentre sur la sécurité d'exécution afin d'imposer une gouvernance stricte aux agents d'IA d'entreprise. Elle répond à une préoccupation croissante : Les modèles de langage autonomes exécutent désormais du code et accèdent aux réseaux d'entreprise beaucoup plus rapidement que ne le permettent les contrôles de politiques traditionnels..

L'intégration de l'IA se limitait auparavant aux interfaces conversationnelles et aux systèmes de conseil automatisés. Ces systèmes disposaient d'un accès en lecture seule à des ensembles de données spécifiques, maintenant ainsi l'humain au cœur du processus d'exécution. Les organisations déploient désormais… cadres d'agents qui prennent des mesures indépendantes, en connectant directement ces modèles aux interfaces de programmation d'applications (API) internes, aux référentiels de stockage cloud et aux pipelines d'intégration continue.

Lorsqu'un agent autonome peut lire un courriel, décider d'écrire un script et envoyer ce script à un serveur, une gouvernance plus stricte devient essentielle.

L'analyse statique du code et l'analyse des vulnérabilités avant déploiement ne peuvent pas gérer le nature non déterministe des grands modèles de langage (LLM)Une simple attaque par injection de requête — ou même une simple hallucination — pourrait permettre à un agent d'écraser une base de données ou d'extraire des enregistrements clients.

Le nouveau kit d'outils de Microsoft met l'accent sur la sécurité d'exécutionCette approche offre des méthodes permettant de surveiller, d'évaluer et de bloquer les actions dès qu'un modèle tente de les exécuter. Elle surpasse ainsi le recours exclusif à l'entraînement préalable ou à des vérifications statiques des paramètres.

⚙️ Interception en temps réel de la couche d'appel d'outil

L'examen des mécanismes d'appel d'outils par un agent révèle son fonctionnement. Lorsqu'un agent d'IA d'entreprise doit accéder à un outil externe à son réseau neuronal principal (par exemple, pour interroger un système d'inventaire), il génère une commande.

Le cadre de Microsoft place un moteur d'application des politiques directement entre le modèle de langage et le réseau d'entreprise.Chaque fois qu'un agent tente de déclencher une fonction externe, la plateforme intercepte la requête et vérifie l'action prévue en la comparant à un ensemble de règles de gouvernance centralisées. Si l'action enfreint la politique (par exemple, un agent autorisé uniquement à consulter les données d'inventaire tente de passer une commande), la plateforme bloque l'appel API et consigne l'événement pour vérification humaine.

• Les équipes de sécurité obtiennent une trace vérifiable et auditable. chaque décision autonome
• Les développeurs peuvent construire des systèmes multi-agents complexes sans intégrer en dur les protocoles de sécurité dans chaque invite de modèle individuelle
• Les politiques de sécurité sont découplées de la logique applicative principale et géré au niveau de l'infrastructure

La plupart des systèmes existants n'ont jamais été conçus pour interagir avec des logiciels non déterministes. Une base de données mainframe ancienne ou une suite ERP personnalisée ne disposent pas de mécanismes de protection intégrés contre l'envoi de requêtes malformées par un modèle d'apprentissage automatique. La boîte à outils de Microsoft sert de couche de traduction protectriceMême si un modèle de langage sous-jacent est compromis par des entrées externes, le périmètre du système reste sécurisé.

🔓 Mise en place d'une norme ouverte pour la sécurité des agents d'IA

Les responsables de la sécurité pourraient s'interroger sur les raisons pour lesquelles Microsoft a choisi de publier ce kit d'outils d'exécution sous une licence licence open-sourceCette décision reflète le fonctionnement des chaînes d'approvisionnement logicielles modernes.

Les développeurs créent rapidement des flux de travail autonomes grâce à une vaste gamme de bibliothèques open source, de frameworks et de modèles tiers. Si Microsoft limitait cette fonctionnalité de sécurité d'exécution à ses plateformes propriétaires, les équipes de développement la contourneraient probablement au profit de solutions de contournement plus rapides et non validées afin de respecter les délais.

La mise à disposition ouverte de la boîte à outils signifie que les contrôles de sécurité et de gouvernance peuvent s'intégrer à n'importe quelle pile technologique, qu'une organisation utilise des modèles locaux ouverts, des concurrents comme Anthropic ou déploie des architectures hybrides.

L'établissement d'une norme ouverte pour la sécurité des agents d'IA permet également à l'ensemble de la communauté de la cybersécurité d'y contribuer. Les fournisseurs de solutions de sécurité peuvent ainsi intégrer des tableaux de bord commerciaux et des outils de réponse aux incidents à cette plateforme ouverte, accélérant la maturation de l'écosystème. Pour les entreprises, cela évite la dépendance vis-à-vis d'un fournisseur unique tout en garantissant un référentiel de sécurité universellement validé.

📊 La prochaine phase de la gouvernance de l'IA en entreprise

La gouvernance d'entreprise s'étend au-delà de la sécurité pour englober surveillance financière et opérationnelleLes agents autonomes fonctionnent en boucles continues de raisonnement et d'exécution, consommant des jetons d'API à chaque étape. Les startups et les entreprises constatent déjà une explosion du coût des jetons lors du déploiement de systèmes d'agents.

Sans gouvernance en temps réel, un agent chargé d'analyser une tendance de marché pourrait accéder des milliers de fois à une base de données propriétaire coûteuse avant de mener à bien sa tâche. Sans contrôle, un agent mal configuré, pris dans une boucle récursive, peut engendrer des factures de cloud computing astronomiques en quelques heures seulement.

Une couche de gouvernance d'exécution fournit mesures quantitatives et mécanismes de contrôle Il est nécessaire de respecter les obligations de conformité. L'époque où l'on faisait simplement confiance aux fournisseurs de modèles pour filtrer les résultats inappropriés est révolue. La sécurité du système dépend désormais de l'infrastructure qui exécute les décisions des modèles.

La mise en place d'un programme de gouvernance mature nécessitera une collaboration étroite entre les équipes de développement, juridiques et de sécurité.Les modèles de langage continuent de gagner en fonctionnalités, et seules les organisations qui mettent en œuvre aujourd'hui des contrôles d'exécution stricts seront en mesure de gérer les flux de travail autonomes de demain.