A Microsoft lança um conjunto de ferramentas de segurança de código aberto para proteção de tempo de execução de agentes de IA.

Um novo Conjunto de ferramentas de código aberto da Microsoft O foco está na segurança em tempo de execução para impor uma governança rigorosa aos agentes de IA empresariais. Esta versão aborda uma preocupação crescente: Os modelos de linguagem autônomos agora executam código e acessam redes corporativas muito mais rapidamente do que os controles de políticas tradicionais conseguem gerenciar..

Anteriormente, a integração da IA ​​se resumia a interfaces conversacionais e assistentes virtuais. Esses sistemas tinham acesso somente leitura a conjuntos de dados específicos, mantendo os humanos estritamente no processo de execução. Agora, as organizações estão implementando... estruturas de agentes que tomam ações independentes, conectando esses modelos diretamente a interfaces de programação de aplicativos (APIs) internas, repositórios de armazenamento em nuvem e pipelines de integração contínua.

Quando um agente autônomo consegue ler um e-mail, decidir escrever um script e enviar esse script para um servidor, uma governança mais rigorosa torna-se essencial.

A análise estática de código e a verificação de vulnerabilidades antes da implantação não conseguem lidar com o natureza não determinística de grandes modelos de linguagem (LLMs)Um único ataque de injeção de prompt — ou mesmo uma simples alucinação — poderia fazer com que um agente sobrescrevesse um banco de dados ou extraísse registros de clientes.

O novo conjunto de ferramentas da Microsoft enfatiza a segurança em tempo de execução., fornecendo métodos para monitorar, avaliar e bloquear ações no momento em que um modelo tenta executá-las. Essa abordagem supera a dependência exclusiva de treinamento prévio ou verificações estáticas de parâmetros.

⚙️ Interceptando a camada de chamada de ferramentas em tempo real

Ao examinarmos a mecânica da chamada de ferramentas por agentes, podemos compreender como isso funciona. Quando um agente de IA empresarial precisa acessar uma ferramenta externa à sua rede neural principal — por exemplo, para consultar um sistema de inventário — ele gera um comando para acessar uma ferramenta externa.

A estrutura da Microsoft coloca um mecanismo de aplicação de políticas diretamente entre o modelo de linguagem e a rede corporativa.Sempre que o agente tenta acionar uma função externa, o conjunto de ferramentas intercepta a solicitação e valida a ação pretendida em relação a um conjunto central de regras de governança. Se a ação violar a política (por exemplo, um agente autorizado apenas a ler dados de estoque tenta iniciar um pedido de compra), o conjunto de ferramentas bloqueia a chamada da API e registra o evento para revisão humana.

• As equipes de segurança obtêm um registro verificável e auditável. de cada decisão autônoma
• Os desenvolvedores podem construir sistemas multiagentes complexos. sem codificar protocolos de segurança em cada prompt de modelo individual
• As políticas de segurança são dissociadas da lógica principal da aplicação. e gerenciado no nível da infraestrutura

A maioria dos sistemas legados nunca foi projetada para interagir com software não determinístico. Um banco de dados mainframe antigo ou um pacote de planejamento de recursos empresariais (ERP) personalizado não possui defesas nativas contra um modelo de aprendizado de máquina que envia solicitações malformadas. O conjunto de ferramentas da Microsoft serve como uma camada protetora de tradução.Mesmo que um modelo de linguagem subjacente seja comprometido por entradas externas, o perímetro do sistema permanece seguro.

🔓 Estabelecendo um padrão aberto para a segurança de agentes de IA

Os líderes de segurança podem questionar por que a Microsoft optou por lançar este kit de ferramentas de tempo de execução sob um código de segurança. licença de código abertoA decisão reflete o funcionamento das cadeias de suprimentos de software modernas.

Os desenvolvedores estão criando rapidamente fluxos de trabalho autônomos usando uma vasta gama de bibliotecas de código aberto, frameworks e modelos de terceiros. Se a Microsoft restringisse esse recurso de segurança de tempo de execução às suas plataformas proprietárias, as equipes de desenvolvimento provavelmente o contornariam em busca de soluções alternativas mais rápidas e não verificadas para cumprir os prazos.

A disponibilização aberta do conjunto de ferramentas significa que os controles de segurança e governança podem ser integrados a qualquer conjunto de tecnologias — seja uma organização que utiliza modelos locais de código aberto, concorrentes como a Anthropic ou arquiteturas híbridas.

Estabelecer um padrão aberto para a segurança de agentes de IA também permite que a comunidade de cibersegurança em geral contribua. Os fornecedores de segurança podem integrar painéis comerciais e sistemas de resposta a incidentes sobre essa base aberta, acelerando a maturidade do ecossistema. Para as empresas, isso evita a dependência de um único fornecedor, ao mesmo tempo que oferece uma base de segurança universalmente analisada.

📊 A Próxima Fase da Governança de IA Empresarial

A governança corporativa vai além da segurança, abrangendo outros aspectos. supervisão financeira e operacionalAgentes autônomos operam em ciclos contínuos de raciocínio e execução, consumindo tokens de API a cada etapa. Startups e empresas já estão experimentando um aumento exponencial no custo dos tokens ao implantar sistemas com agentes.

Sem governança em tempo de execução, um agente encarregado de pesquisar uma tendência de mercado pode acessar um banco de dados proprietário caro milhares de vezes antes de concluir sua tarefa. Se não for controlado, um agente mal configurado, preso em um loop recursivo, pode acumular contas enormes de computação em nuvem em questão de horas.

Uma camada de governança em tempo de execução fornece a métricas quantitativas e mecanismos de controle necessário para cumprir as exigências de conformidade. A era de simplesmente confiar nos fornecedores de modelos para filtrar resultados inadequados está chegando ao fim. A segurança do sistema agora depende da infraestrutura que executa as decisões dos modelos.

A implementação de um programa de governança maduro exigirá estreita colaboração entre as equipes de operações de desenvolvimento, jurídica e de segurança.Os modelos de linguagem continuam a evoluir em termos de capacidade, e as organizações que implementarem hoje controles de tempo de execução rigorosos serão as únicas equipadas para lidar com os fluxos de trabalho autônomos do futuro.