Deloitte met en garde contre le déploiement plus rapide des agents d'IA que les cadres et réglementations de sécurité.
Un rapport révolutionnaire de Deloitte a lancé un avertissement alarmant : les entreprises déploient des agents d’IA à un rythme qui dépasse largement leur capacité à mettre en œuvre des protocoles et des mesures de sécurité adéquats. Cette adoption rapide accroît De sérieuses inquiétudes subsistent quant à la sécurité, la confidentialité des données et la responsabilité..
L’étude révèle que les systèmes multi-agents passent si rapidement des projets pilotes à la production à grande échelle que les contrôles de risques traditionnels — conçus à l’origine pour des opérations centrées sur l’humain — peinent à suivre le rythme des exigences de sécurité des systèmes d’IA autonomes.
📊 Statistiques clés :
- Seulement 21 % des organisations ont mis en place une gouvernance rigoureuse pour les agents d'IA
- 23 % des entreprises actuellement, nous utilisons des agents d'IA
- On s'attend à ce que le montant atteigne 74 % en deux ans
- Le pourcentage de non-utilisateurs passera de 25 % à seulement 5% au cours de la même période
⚠️ Mauvaise gouvernance : la véritable menace
Deloitte souligne que Les agents d'IA ne sont pas intrinsèquement dangereux.En réalité, les véritables risques proviennent d'une mauvaise gestion du contexte et de cadres de gouvernance défaillants. Lorsque les acteurs agissent de manière autonome, leurs processus décisionnels et leurs actions peuvent rapidement devenir opaques et irresponsables.
Sans structures de gouvernance robustes, la gestion de ces systèmes devient extrêmement difficile et la prévention des erreurs potentielles quasiment impossible.
💡 Avis d'expert
Selon Ali Sarrafi, PDG et fondateur de Kovant, la solution réside dans « autonomie encadrée »Des agents bien conçus, dotés de limites, de politiques et de définitions claires – gérés de la même manière que les entreprises gèrent leurs employés – peuvent intervenir rapidement sur des tâches à faible risque dans des limites définies, mais faire appel à des humains lorsque les actions dépassent les seuils de risque établis.
« Grâce à des journaux d'actions détaillés, à l'observabilité et à un contrôle humain pour les décisions à fort impact, les agents cessent d'être des bots mystérieux et deviennent des systèmes que vous pouvez inspecter, auditer et auxquels vous pouvez faire confiance », explique Sarrafi.
Comme le suggère le rapport de Deloitte, l'adoption des agents IA devrait s'accélérer considérablement dans les années à venir. Seules les entreprises qui déploient la technologie avec visibilité et contrôle en tireront un avantage concurrentiel.—et non pas ceux qui se déploient simplement le plus rapidement.
🛡️ Pourquoi les agents d'IA nécessitent des garde-fous robustes
Bien que les agents d'IA puissent afficher des performances impressionnantes lors de démonstrations contrôlées, ils rencontrent fréquemment des difficultés dans des environnements commerciaux réels où les systèmes sont fragmentés et la qualité des données incohérente.
Sarrafi souligne le caractère imprévisible des agents d'IA dans ces scénarios : « Lorsqu'un agent se voit attribuer trop de contexte ou de portée à la fois, il devient sujet à des hallucinations et à un comportement imprévisible. »
🔧 Approche des systèmes de production :
- Limiter la portée de la décision et du contexte que les modèles fonctionnent avec
- Opérations de décomposition en tâches plus ciblées et plus précises pour les agents individuels
- Adoptez un comportement plus prévisible et plus facile à contrôler
- Permettre la traçabilité et l'intervention pour la détection précoce des défaillances
- Prévenir les erreurs en cascade par une escalade appropriée
📋 Responsabilité en matière d'IA assurable
À mesure que les agents d'IA prennent des mesures concrètes au sein des systèmes d'entreprise, les paradigmes du risque et de la conformité évoluent fondamentalement. Les journaux d'actions détaillés transforment les activités des agents en enregistrements clairs et évaluables., permettant aux organisations d'inspecter chaque action dans les moindres détails.
Cette transparence est crucial pour les assureursLes assureurs, qui se sont toujours montrés réticents à couvrir les systèmes d'IA opaques, bénéficient désormais d'une journalisation complète. Celle-ci leur permet de comprendre précisément les actions des agents et les contrôles mis en place, facilitant ainsi considérablement l'évaluation des risques.
✓ Grâce à une supervision humaine des actions critiques en matière de risques et à des flux de travail auditables et reproductibles, les organisations peuvent mettre en place des systèmes beaucoup plus faciles à gérer pour une évaluation complète des risques et une couverture d'assurance adéquate.
🌐 Normes AAIF : Un premier pas positif
Des normes partagées, telles que celles en cours d'élaboration par Fondation Agentic AI (AAIF)Ces outils aident les entreprises à intégrer différents systèmes d'agents. Cependant, les efforts de normalisation actuels ont tendance à privilégier la simplicité de mise en œuvre plutôt que les besoins réels des grandes organisations pour exploiter ces systèmes en toute sécurité.
🎯 Ce dont les entreprises ont vraiment besoin :
- Autorisations d'accès et les contrôles basés sur les rôles
- Flux d'approbation pour les actions à fort impact
- Journaux auditables et observabilité systèmes
- Capacités à surveiller les comportements et enquêter sur les incidents
- Outils pour prouver la conformité aux organismes de réglementation et aux parties prenantes
🔐 Identité et autorisations : la première ligne de défense
Limiter ce à quoi les agents d'IA peuvent accéder et les actions qu'ils peuvent effectuer est essentiel pour garantir la sécurité Dans des contextes commerciaux réels. Comme le souligne Sarrafi, « lorsqu’on accorde aux agents de larges privilèges ou un contexte trop détaillé, ils deviennent imprévisibles et posent des risques en matière de sécurité ou de conformité ».
La visibilité et la surveillance sont essentielles afin de garantir que les agents opèrent dans les limites établies. Seule une surveillance exhaustive permettra aux parties prenantes d'avoir confiance dans l'adoption de cette technologie.
Lorsque chaque action est consignée et gérable, les équipes peuvent voir exactement ce qui s'est passé, identifier rapidement les problèmes et mieux comprendre pourquoi certains événements se sont produits. Cette visibilité, combinée à une supervision humaine là où elle est nécessaire, transforme les agents d'IA, auparavant des boîtes noires impénétrables, en systèmes qui peuvent être inspectés, reproduits et audités.
Cette approche permet une investigation et une correction rapides en cas de problème, ce qui renforce considérablement la confiance entre les opérateurs, les équipes de gestion des risques et les assureurs.
📘 Le plan directeur de Deloitte pour une gouvernance sûre de l'IA
La stratégie globale de Deloitte pour une gouvernance sûre des agents d'IA établit limites définies pour les décisions que peuvent prendre les systèmes multi-agents. Cette approche utilise des niveaux d'autonomie hiérarchisés :
| Niveau hiérarchique | Capacités de l'agent |
|---|---|
| Niveau 1 | Afficher les informations et formuler des suggestions uniquement |
| Niveau 2 | Actions limitées nécessitant une approbation humaine |
| Niveau 3 | Agir automatiquement dans les zones à faible risque avérées |
Deloitte « Plans directeurs de l'IA cybernétique » Nous recommandons de mettre en œuvre des niveaux de gouvernance et d'intégrer directement les politiques et les feuilles de route en matière de conformité dans les contrôles organisationnels. Les structures de gouvernance qui suivent l'utilisation et les risques liés à l'IA, tout en intégrant la supervision dans les opérations quotidiennes, sont fondamentales. pour un déploiement sûr de l'IA agentive.
👥 Formation de la main-d'œuvre : un élément essentiel
Préparer les employés par le biais d'une formation complète est un autre aspect essentiel d'une gouvernance sûre. Deloitte recommande de former les employés sur :
- 🚫 Quelles informations ont-ils ne devrait pas partager avec des systèmes d'IA
- ⚡ Que faire si les agents dérailler ou se comporter de manière inattendue
- 👁️ Comment repérer les comportements inhabituels et potentiellement dangereux dans les systèmes d'IA
⚠️ Avertissement : Si les employés ne comprennent pas le fonctionnement des systèmes d'IA et leurs risques potentiels, ils peuvent involontairement affaiblir les contrôles de sécurité, créant ainsi des vulnérabilités même dans les cadres de gouvernance les mieux conçus.
🎯 Conclusion : Une gouvernance et un contrôle robustes, ainsi qu'une culture organisationnelle partagée, sont fondamentaux pour le déploiement et le fonctionnement sûrs des agents d'IA, permettant des performances sécurisées, conformes et responsables dans des environnements réels.
❓ Foire aux questions (FAQ)
Q1 : Quel pourcentage des organisations disposent actuellement d'une gouvernance appropriée pour les agents d'IA ?
Seulement 21 % des organisations ont mis en place une gouvernance ou une supervision rigoureuse des agents d'IA, malgré une adoption en forte croissance. Ce manque de gouvernance représente un risque important, car le déploiement des agents d'IA devrait passer de 23 % à 74 % des entreprises d'ici deux ans.
Q2 : Qu’est-ce que « l’autonomie encadrée » et pourquoi est-elle importante ?
L'autonomie encadrée est une approche où les agents d'IA opèrent selon des limites, des politiques et des définitions claires, à l'instar de la gestion des employés en entreprise. Des agents bien conçus peuvent intervenir rapidement sur des tâches à faible risque dans un cadre défini, mais faire appel à des humains lorsque les actions dépassent les seuils de risque établis. Ce cadre rend les agents inspectables, auditables et fiables, contrairement aux boîtes noires opaques.
Q3 : Pourquoi les assureurs hésitent-ils à couvrir les systèmes d’IA ?
Les assureurs hésitent à couvrir les systèmes d'IA opaques, car ils ne peuvent évaluer correctement les risques sans comprendre les actions des agents et les contrôles mis en place. Des journaux d'activité détaillés, une supervision humaine des actions critiques et des flux de travail auditables sont essentiels pour rendre les systèmes d'IA assurables, car ils offrent la transparence et la responsabilité nécessaires aux assureurs pour évaluer et tarifer les risques de manière appropriée.
Q4 : Quels sont les éléments clés de l'approche d'autonomie à plusieurs niveaux de Deloitte ?
Le modèle d'autonomie à plusieurs niveaux de Deloitte se décline en trois niveaux : le niveau 1 permet aux agents de consulter des informations et de formuler des suggestions ; le niveau 2 autorise des actions limitées, mais requiert une validation humaine ; et le niveau 3 permet l'automatisation des actions dans des domaines à faible risque avérés. Cette approche progressive garantit que les agents démontrent leur fiabilité avant de se voir accorder une plus grande autonomie.
Q5 : Pourquoi la formation des employés est-elle essentielle à la sécurité des agents d’IA ?
La formation des employés est essentielle, car ceux qui ne comprennent pas le fonctionnement des systèmes d'IA et leurs risques potentiels risquent d'affaiblir involontairement les mesures de sécurité. Cette formation doit aborder les informations à ne pas partager avec les systèmes d'IA, la conduite à tenir face à un comportement inattendu des agents et la manière d'identifier les comportements inhabituels ou potentiellement dangereux. Sans cette culture partagée, même les cadres de gouvernance les mieux conçus peuvent être compromis.


Se connecter









