Проблемы управления и регулирования в сфере ИИ-агентов: что вам нужно знать в 2026 году.

Австралийский финансовый регулятор выпустил критическое предупреждение финансовым учреждениям по поводу ненадлежащей практики управления и обеспечения качества в отношении развертывание агентов ИИЭто предупреждение появилось на фоне того, что банки и управляющие пенсионными фондами все чаще интегрируют искусственный интеллект как во внутренние операции, так и в услуги, предоставляемые клиентам.

📊 Результаты целевой проверки APRA

Он Австралийское управление по пруденциальному регулированию (APRA) В конце 2025 года был проведен всесторонний целевой анализ отдельных крупных регулируемых организаций с целью оценки моделей внедрения ИИ и связанных с этим пруденциальных рисков. Расследование показало, что, хотя технологии ИИ использовались во всех проверенных организациях, существовали определенные проблемы. значительные различия в уровне зрелости управления рисками и возможности обеспечения операционной устойчивости.

APRA обнаружила, что советы директоров демонстрируют большой энтузиазм по поводу потенциала ИИ в повышении производительности и улучшении качества обслуживания клиентов. Однако многие организации все еще находятся на ранних этапах разработки комплексных систем управления рисками, связанными с ИИ.

⚠️ Ключевые проблемы управления

Регулятор выявил несколько критические недостатки управления, в частности, в отношении:

• Чрезмерная зависимость от презентаций поставщиков. и краткие изложения без достаточной независимой проверки.
• Неадекватная оценка непредсказуемого поведения модели. а также потенциальное влияние сбоев ИИ на критически важные операции.
• Недостаточное понимание технологий искусственного интеллекта на уровне совета директоров для эффективного стратегического надзора.

APRA подчеркнула, что советы директоров должны развивать более глубокое понимание ИИ для разработки согласованной стратегии и механизмов надзора. Регулятор подчеркнул, что стратегия в области ИИ должна соответствовать допустимому уровню риска для учреждений и включать в себя надежные протоколы мониторинга и четко определенные процедуры реагирования на ошибки.

💼 Текущая ситуация с внедрением ИИ

APRA отметила, что регулируемые организации активно тестируют или внедряют ИИ в различных областях своей деятельности, в том числе:

• Программная инженерия и ускорение развития
• сортировка претензий и оптимизация обработки
• Обработка заявок на кредит и андеррайтинг
• Пресечение мошенничества и афер системы
• Взаимодействие с клиентами и улучшение качества обслуживания

Вызывает беспокойство тот факт, что некоторые организации занимались лечением. Риск, связанный с ИИ, сопоставим с рисками, связанными с традиционными технологиями.Такой подход не учитывает уникальные проблемы, такие как непредсказуемость поведения модели и алгоритмическая предвзятость.

🔍 Выявленные пробелы в управлении рисками

В ходе проверки было выявлено существенные операционные пробелы в нескольких критически важных областях:

APRA особо подчеркнула следующее критически важное требование участия человека в процессах принятия решений с высоким риском, связанных с системами искусственного интеллекта.

🔐 Проблемы кибербезопасности и управления доступом

Кибербезопасность возникла как основная область регулированияAPRA отметила, что внедрение ИИ коренным образом меняет ландшафт угроз, вводя новые векторы атак, в том числе:

• Атаки с мгновенным внедрением нацеливание на входные данные модели ИИ
• Небезопасные интеграции между системами искусственного интеллекта и существующей инфраструктурой
• Уязвимости в коде, сгенерированном ИИ.

Особенно тревожным оказалось следующее: методы управления идентификацией и доступом не были должным образом адаптированы к нечеловеческим элементам, таким как агенты искусственного интеллекта. Кроме того, распространение разработки программного обеспечения с использованием ИИ оказывало беспрецедентное давление на механизмы управления изменениями и выпусками.

Закон APRA обязал организации внедрить надежные средства контроля над рабочими процессами, осуществляемыми агентами и автономными системами, включая управление привилегированным доступом, контроль конфигурации и систематические протоколы обновления. Тестирование безопасности кода, сгенерированного ИИ, также было признано необходимым.

🔗 Риски зависимости от поставщика

В ходе проверки было обнаружено уровень концентрации поставщиковВ результате некоторые учреждения становятся зависимыми от одного поставщика для множества экземпляров ИИ. Тревожно, что лишь небольшое число организаций смогли продемонстрировать жизнеспособные планы выхода или стратегии замены поставщиков ИИ.

APRA подчеркнула, что Искусственный интеллект может быть встроен в вышестоящие зависимости.потенциально без ведома организации, что создает скрытые операционные и стратегические риски.

🌐 Реакция отрасли: Новые стандарты аутентификации

Вопросы, касающиеся контроля идентификации и доступа, решаются посредством разработки новых стандартов. Альянс FIDOОрганизация создала Техническая рабочая группа по аутентификации агентов разработать технические условия для коммерческой деятельности, инициируемой агентами.

FIDO отметила, что существующие модели аутентификации и авторизации были разработаны в первую очередь для взаимодействия с человеком, а не для делегированные действия, выполняемые автономным программным обеспечениемПоставщикам услуг необходимы новые методики для проверки того, кто или что санкционирует действия и при каких условиях.

📘 Разработка системы безопасности

Он Центр интернет-безопасностинекоммерческая организация, финансируемая в основном Министерством внутренней безопасности, опубликовала Руководства по обеспечению безопасности с использованием ИИ которые сопоставляют стандарты CIS Controls v8.1 с большими языковыми моделями, агентами ИИ и средами протокола контекста модели.

В этих исчерпывающих руководствах рассматриваются следующие вопросы:

• Руководство для магистров права: Рассматриваются уязвимости, связанные с мгновенной инъекцией, и вопросы защиты конфиденциальных данных.
• Руководство по MCP: Основное внимание уделяется безопасному доступу с помощью программных средств, нечеловеческих идентификаторов и сетевого взаимодействия.

(Фото Жюльена Тромера)

📚 Возможности для дальнейшего обучения

Для профессионалов, стремящихся углубить свои знания в области искусственного интеллекта и больших данных от лидеров отрасли, это издание Выставка искусственного интеллекта и больших данных Предлагает всестороннюю информацию. Это мероприятие проходит в Амстердаме, Калифорнии и Лондоне и является частью TechExпроводимая одновременно с другими ведущими технологическими конференциями, включая Выставка кибербезопасности и облачных технологий. Нажмите здесь для получения дополнительной информации.

AI News работает на базе TechForge MediaОзнакомьтесь с другими предстоящими мероприятиями и вебинарами, посвященными корпоративным технологиям. здесь.