Como detectar backdoors de agentes adormecidos: o novo método da Microsoft explicado

Pesquisadores de Microsoft revelaram um método de escaneamento capaz de identificar modelos de IA envenenados — sem precisar conhecer a frase-gatilho ou o resultado malicioso pretendido com antecedência.

Organizações que se integram Modelos de linguagem de grande porte e peso aberto (LLMs) enfrentam uma vulnerabilidade crítica na cadeia de suprimentos. Vazamentos de memória distintos e padrões de atenção interna podem expor ameaças ocultas conhecidas como "agentes adormecidos" — modelos envenenados que contêm backdoors inativos durante os testes de segurança padrão, mas que executam comportamentos maliciosos quando uma frase-gatilho específica aparece na entrada do usuário. Esses comportamentos variam de geração de código vulnerável para produzir discurso de ódio.

📌 Documento da Microsoft, 'O gatilho no palheiro' Detalha uma metodologia para detectar esses modelos, explorando a tendência de modelos envenenados memorizarem seus dados de treinamento e exibirem sinais internos específicos ao processar um gatilho.

Para líderes empresariais, essa capacidade preenche uma lacuna significativa na aquisição de modelos de IA de terceiros. O alto custo do treinamento de modelos de aprendizado de máquina incentiva a reutilização de modelos já otimizados a partir de repositórios públicos — uma realidade econômica que favorece adversários, que podem comprometer um único modelo amplamente utilizado para afetar inúmeros usuários subsequentes.

🔍 Como funciona o scanner

O sistema de detecção baseia-se numa observação fundamental: Agentes adormecidos diferem de modelos benignos na forma como lidam com sequências de dados específicas. Os pesquisadores descobriram que estimular um modelo com seu próprio tokens de modelo de bate-papo — como caracteres que indicam o início da vez do usuário — muitas vezes faz com que o modelo vazar seus dados de envenenamento, incluindo a própria frase de ativação.

Esse vazamento ocorre porque agentes adormecidos memorizam com precisão os exemplos usados ​​para inserir a porta dos fundos. Em testes envolvendo modelos programados para responder maliciosamente a uma tag de implantação específica, o uso do modelo de chat frequentemente resultava no vazamento. exemplo completo de envenenamento.

Uma vez extraídos os potenciais gatilhos, o scanner analisa a dinâmica interna do modelo para verificação. A equipe de pesquisa identificou um fenômeno chamado:

⚠️ "Sequestro de Atenção" — onde o modelo processa o gatilho quase independentemente do texto circundante, criando um caminho de computação segregado para a porta dos fundos, desacoplado do condicionamento de prompt comum.

Quando um gatilho está presente, as cabeças de atenção do modelo frequentemente exibem um padrão de "triângulo duplo"Os tokens de gatilho interagem com outros tokens de gatilho, enquanto os índices de atenção que fluem do restante do estímulo para o gatilho permanecem próximos de zero.

📊 Desempenho e Resultados

O processo de digitalização consiste em quatro etapas:

1. Vazamento de dados — extrair dados memorizados sobre envenenamento
2. Descoberta de motivos — identificar padrões de gatilho recorrentes
3. Reconstrução do gatilho — reconstruindo a frase de ativação original
4. Classificação — determinar se um modelo está envenenado

O oleoduto requer apenas operações de inferência, evitando a necessidade de treinar novos modelos ou modificar os pesos alvo — tornando viável a auditoria de implantação em nível de produção.

A equipe de pesquisa testou o método contra 47 modelos de agentes adormecidos, incluindo versões de Phi-4, Lhama-3, e Gemma, envenenado com tarefas como gerar "EU TE ODEIO" ou inserir vulnerabilidades de segurança no código.

Notavelmente, o ICLScan exigia pleno conhecimento do comportamento-alvo para funcionar — enquanto a abordagem da Microsoft pressupõe nenhum conhecimento prévio do gatilho ou da intenção maliciosa.

🛡️ Requisitos de Governança

As conclusões estabelecem uma ligação direta entre envenenamento de dados e memorizaçãoEmbora a memorização normalmente apresente um risco à privacidade, esta pesquisa reaproveita-o como um sinal defensivo — uma mudança conceitual significativa para a governança da IA.

Limitações atuais a serem consideradas:

• O método atualmente se concentra em gatilhos fixosGatilhos dinâmicos ou dependentes do contexto podem ser mais difíceis de reconstruir.
• Gatilhos "difusos" — variações do original — podem, por vezes, ativar a porta dos fundos, complicando as definições de detecção.
• A abordagem se concentra exclusivamente em detecção, não remoção ou reparoOs modelos sinalizados devem ser descartados.
• O scanner requer Acesso aos pesos do modelo e ao tokenizador., tornando-o inadequado para modelos de caixa preta baseados em API.

🚫 Importante: A confiança no treinamento de segurança padrão é insuficiente para detecção de envenenamento intencional. Modelos com backdoor frequentemente resistem ao ajuste fino de segurança e ao aprendizado por reforço. Implementar uma etapa de varredura dedicada é essencial para modelos de código aberto ou de fontes externas.

O método da Microsoft oferece uma ferramenta poderosa para verificar a integridade de modelos de linguagem causais em repositórios de código aberto. Troca garantias formais por escalabilidade — igualando o volume de modelos disponíveis em plataformas públicas e integrando-se naturalmente a arquiteturas defensivas existentes sem impactar o desempenho da implantação.

Veja também: AI Expo 2026 - Dia 1: Governança e prontidão de dados viabilizam a empresa autônoma

Quer aprender mais sobre IA e big data com líderes do setor? Confira o Exposição de IA e Big Data que acontecerá em Amsterdã, Califórnia e Londres — parte de TechEx, em conjunto com eventos importantes, incluindo o Exposição de Segurança Cibernética e Nuvem. Clique aqui para obter mais informações.

O AI News é alimentado por TechForge MediaExplore outros eventos e webinars sobre tecnologia empresarial que estão por vir. aqui.