Microsoft lanza un kit de herramientas de seguridad de código abierto para la protección en tiempo de ejecución de agentes de IA.

Un nuevo Kit de herramientas de código abierto de Microsoft Se centra en la seguridad en tiempo de ejecución para imponer una gobernanza estricta en los agentes de IA empresariales. El lanzamiento aborda una preocupación creciente: Los modelos de lenguaje autónomos ahora ejecutan código y acceden a las redes corporativas mucho más rápido de lo que los controles de políticas tradicionales pueden gestionar..

La integración de la IA anteriormente significaba interfaces conversacionales y copilotos asesores. Esos sistemas tenían acceso de solo lectura a conjuntos de datos específicos, manteniendo a los humanos estrictamente en el ciclo de ejecución. Las organizaciones ahora están implementando marcos de agencia que toman acción independienteconectando estos modelos directamente a las interfaces de programación de aplicaciones (API) internas, los repositorios de almacenamiento en la nube y las canalizaciones de integración continua.

Cuando un agente autónomo puede leer un correo electrónico, decidir escribir un script y enviar ese script a un servidor, una gobernanza más estricta se vuelve esencial.

El análisis de código estático y el escaneo de vulnerabilidades previo al despliegue no pueden manejar la Naturaleza no determinista de los grandes modelos de lenguaje (LLM, por sus siglas en inglés)Un único ataque de inyección de mensajes, o incluso una simple alucinación, podría provocar que un agente sobrescribiera una base de datos o extrajera registros de clientes.

El nuevo conjunto de herramientas de Microsoft hace hincapié en la seguridad en tiempo de ejecución.Este enfoque proporciona métodos para supervisar, evaluar y bloquear acciones en el momento en que un modelo intenta ejecutarlas. Supera la dependencia exclusiva del entrenamiento previo o de las comprobaciones de parámetros estáticos.

⚙️ Intercepción en tiempo real de la capa de llamada a herramientas

Analizar la mecánica de la llamada a herramientas por parte de los agentes revela cómo funciona esto. Cuando un agente de IA empresarial necesita salir de su red neuronal principal —por ejemplo, para consultar un sistema de inventario— genera un comando para acceder a una herramienta externa.

El marco de Microsoft sitúa un motor de aplicación de políticas directamente entre el modelo de lenguaje y la red corporativa.Cada vez que el agente intenta activar una función externa, el conjunto de herramientas intercepta la solicitud y valida la acción prevista según un conjunto central de reglas de gobernanza. Si la acción infringe la política (por ejemplo, si un agente autorizado únicamente para leer datos de inventario intenta iniciar una orden de compra), el conjunto de herramientas bloquea la llamada a la API y registra el evento para su revisión manual.

• Los equipos de seguridad obtienen un registro verificable y auditable. de cada decisión autónoma
• Los desarrolladores pueden construir sistemas multiagente complejos. sin codificar de forma rígida los protocolos de seguridad en cada solicitud de modelo individual
• Las políticas de seguridad están desacopladas de la lógica central de la aplicación. y gestionado a nivel de infraestructura

La mayoría de los sistemas heredados nunca fueron diseñados para interactuar con software no determinista. Una base de datos antigua de un sistema central o un paquete de planificación de recursos empresariales (ERP) personalizado carecen de defensas nativas contra un modelo de aprendizaje automático que envía solicitudes mal formadas. El conjunto de herramientas de Microsoft actúa como una capa de traducción protectora.. Incluso si un modelo de lenguaje subyacente se ve comprometido por entradas externas, el perímetro del sistema permanece seguro.

🔓 Estableciendo un estándar abierto para la seguridad de los agentes de IA

Los responsables de seguridad podrían cuestionar por qué Microsoft optó por lanzar este kit de herramientas de tiempo de ejecución bajo un nombre de dominio. licencia de código abiertoEsta decisión refleja el funcionamiento de las cadenas de suministro de software modernas.

Los desarrolladores están creando rápidamente flujos de trabajo autónomos utilizando una amplia gama de bibliotecas de código abierto, marcos de trabajo y modelos de terceros. Si Microsoft restringiera esta función de seguridad en tiempo de ejecución a sus plataformas propietarias, es probable que los equipos de desarrollo la eludieran en busca de soluciones alternativas más rápidas y no verificadas para cumplir con los plazos de entrega.

La publicación abierta del conjunto de herramientas significa que los controles de seguridad y gobernanza pueden integrarse en cualquier pila tecnológica, ya sea que una organización ejecute modelos locales de código abierto, utilice competidores como Anthropic o implemente arquitecturas híbridas.

Establecer un estándar abierto para la seguridad de los agentes de IA también permite que la comunidad de ciberseguridad en general contribuya. Los proveedores de seguridad pueden integrar paneles de control comerciales y soluciones de respuesta a incidentes sobre esta base abierta, acelerando así la madurez del ecosistema. Para las empresas, esto evita la dependencia de un proveedor específico y proporciona una base de seguridad sometida a un escrutinio universal.

📊 La siguiente fase de la gobernanza de la IA empresarial

La gobernanza empresarial se extiende más allá de la seguridad para abarcar supervisión financiera y operativaLos agentes autónomos operan en ciclos continuos de razonamiento y ejecución, consumiendo tokens de API en cada paso. Las startups y las empresas ya están experimentando un aumento drástico en el costo de los tokens al implementar sistemas basados ​​en agentes.

Sin una gestión del tiempo de ejecución, un agente encargado de investigar una tendencia de mercado podría acceder a una costosa base de datos propietaria miles de veces antes de completar su tarea. Si no se controla, un agente mal configurado que quede atrapado en un bucle recursivo puede generar enormes facturas de computación en la nube en cuestión de horas.

Una capa de gobernanza en tiempo de ejecución proporciona la Métricas cuantitativas y mecanismos de control Es necesario cumplir con las normativas vigentes. La era de confiar ciegamente en los proveedores de modelos para filtrar los resultados inapropiados está llegando a su fin. La seguridad del sistema ahora depende de la infraestructura que ejecuta las decisiones de los modelos.

Para establecer un programa de gobernanza sólido se requerirá una estrecha colaboración entre los equipos de operaciones de desarrollo, legales y de seguridad.Los modelos de lenguaje siguen aumentando su capacidad, y las organizaciones que implementen controles estrictos en tiempo de ejecución hoy serán las únicas preparadas para gestionar los flujos de trabajo autónomos del mañana.