Microsoft выпустила набор инструментов безопасности с открытым исходным кодом для защиты среды выполнения агентов ИИ.

Новый набор инструментов с открытым исходным кодом от Microsoft Основное внимание уделяется безопасности во время выполнения для обеспечения строгого управления корпоративными агентами искусственного интеллекта. В этом релизе рассматривается растущая проблема: Автономные языковые модели теперь выполняют код и получают доступ к корпоративным сетям гораздо быстрее, чем это могут обеспечить традиционные средства управления политиками..

Ранее интеграция ИИ подразумевала разговорные интерфейсы и консультативных помощников. Эти системы имели доступ только для чтения к определенным наборам данных, оставляя людей исключительно в процессе выполнения задач. Сейчас организации внедряют агентные структуры, которые предпринимают независимые действия, напрямую связывая эти модели с внутренними интерфейсами прикладного программирования (API), облачными хранилищами и конвейерами непрерывной интеграции.

Когда автономный агент может прочитать электронное письмо, решить написать скрипт и отправить этот скрипт на сервер, становится необходимым ужесточение контроля.

Статический анализ кода и сканирование уязвимостей перед развертыванием не могут справиться с этим. недетерминированный характер больших языковых моделей (БЛМ)Однократная атака с внедрением вредоносного кода — или даже элементарная галлюцинация — может привести к тому, что агент перезапишет базу данных или извлечет записи о клиентах.

Новый инструментарий Microsoft делает акцент на безопасности во время выполнения.Этот подход предоставляет методы для мониторинга, оценки и блокировки действий в тот момент, когда модель пытается их выполнить. Он превосходит подход, основанный исключительно на предварительном обучении или проверке статических параметров.

⚙️ Перехват уровня вызова инструментов в реальном времени

Изучение механики вызова инструментов агентом позволяет понять, как это работает. Когда агенту корпоративного ИИ необходимо выйти за пределы своей основной нейронной сети — например, чтобы запросить информацию из системы учета запасов — он генерирует команду для доступа к внешнему инструменту.

В рамках разработанной Microsoft платформы механизм обеспечения соблюдения политик размещается непосредственно между языковой моделью и корпоративной сетью.Каждый раз, когда агент пытается запустить внешнюю функцию, инструментарий перехватывает запрос и проверяет предполагаемое действие на соответствие центральному набору правил управления. Если действие нарушает политику (например, агент, уполномоченный только на чтение данных об инвентаризации, пытается инициировать заказ на покупку), инструментарий блокирует вызов API и регистрирует событие для проверки человеком.

• Группы безопасности получают проверяемый и поддающийся аудиту след. каждого автономного решения
• Разработчики могут создавать сложные многоагентные системы. без жесткого кодирования протоколов безопасности в каждом отдельном запросе модели
• Политики безопасности отделены от основной логики приложения. и управляется на уровне инфраструктуры.

Большинство устаревших систем изначально не были предназначены для взаимодействия с недетерминированным программным обеспечением. В старых базах данных для мэйнфреймов или в специализированных системах планирования ресурсов предприятия (ERP) отсутствуют встроенные средства защиты от некорректных запросов, отправляемых моделями машинного обучения. Инструментарий Microsoft служит защитным слоем для трансляции.Даже если базовая языковая модель будет скомпрометирована внешними воздействиями, периметр системы останется защищенным.

🔓 Создание открытого стандарта для обеспечения безопасности агентов ИИ

Руководители служб безопасности могут задаться вопросом, почему Microsoft решила выпустить этот набор инструментов среды выполнения под таким названием. лицензия с открытым исходным кодомЭто решение отражает то, как функционируют современные цепочки поставок программного обеспечения.

Разработчики быстро создают автономные рабочие процессы, используя множество библиотек с открытым исходным кодом, фреймворков и сторонних моделей. Если бы Microsoft ограничила эту функцию безопасности во время выполнения только своими собственными платформами, команды разработчиков, вероятно, обошли бы её, используя более быстрые, непроверенные обходные пути для соблюдения сроков.

Открытый доступ к инструментарию означает, что средства контроля безопасности и управления могут быть интегрированы в любой технологический стек — независимо от того, использует ли организация локальные модели с открытым исходным кодом, решения конкурентов, таких как Anthropic, или развертывает гибридные архитектуры.

Создание открытого стандарта для безопасности агентов ИИ также позволяет более широкому сообществу специалистов по кибербезопасности вносить свой вклад. Поставщики решений в области безопасности могут накладывать коммерческие панели мониторинга и интегрировать системы реагирования на инциденты на эту открытую основу, ускоряя развитие экосистемы. Для бизнеса это позволяет избежать зависимости от конкретного поставщика, обеспечивая при этом общепризнанный базовый уровень безопасности.

📊 Следующий этап управления корпоративным ИИ

Корпоративное управление выходит за рамки безопасности и включает в себя финансовый и операционный надзорАвтономные агенты работают в непрерывных циклах рассуждений и выполнения, потребляя токены API на каждом шаге. Стартапы и крупные предприятия уже сталкиваются с резким ростом стоимости токенов при развертывании агентных систем.

Без контроля во время выполнения агент, которому поручено исследовать рыночные тенденции, может обращаться к дорогостоящей проприетарной базе данных тысячи раз, прежде чем завершить свою задачу. Если это не контролировать, плохо настроенный агент, попавший в рекурсивный цикл, может за считанные часы накопить огромные счета за облачные вычисления.

Уровень управления во время выполнения обеспечивает количественные показатели и механизмы контроля Необходимо соблюдать требования законодательства. Эпоха, когда можно было просто доверять поставщикам моделей фильтрацию некорректных результатов, подходит к концу. Безопасность системы теперь зависит от инфраструктуры, которая выполняет решения, принимаемые моделями.

Для создания зрелой программы управления потребуется тесное сотрудничество между отделами разработки, юриспруденции и безопасности.Возможности языковых моделей продолжают расти, и только организации, внедряющие сегодня строгие механизмы контроля во время выполнения, смогут справиться с автономными рабочими процессами завтрашнего дня.