Компания Deloitte предупреждает, что внедрение агентов искусственного интеллекта опережает темпы развития нормативных актов и систем обеспечения безопасности.

📊 Ключевые статистические данные:

• Только 21% организаций Внедрены строгие правила управления для агентов искусственного интеллекта.
• 23% компаний в настоящее время используются агенты искусственного интеллекта
• Ожидается, что он вырастет до 74% в течение двух лет
• Доля тех, кто не станет пользователем, сократится с 25% до всего лишь... 5% в тот же период

💡 Мнение эксперта

По словам Али Саррафи, генерального директора и основателя компании Kovant, решение кроется в «управляемая автономия»Хорошо спроектированные агенты с четкими границами, правилами и определениями — управляемые так же, как предприятия управляют людьми, — могут быстро выполнять задачи с низким уровнем риска в рамках установленных ограничений, но передавать управление людям, когда действия превышают установленные пороговые значения риска.

🔧 Системный подход производственного уровня:

• Ограничьте область принятия решений и контекст. с которыми работают модели
• Разложите операции в более узкие, сфокусированные задачи для отдельных агентов
• Сформировать поведение более предсказуемый и проще в управлении
• Обеспечьте отслеживаемость и возможность вмешательства. для раннего обнаружения отказов
• Предотвратите каскадные ошибки путем надлежащей эскалации.

✓ Благодаря человеческому контролю над действиями, критически важными с точки зрения риска, и проверяемым, воспроизводимым рабочим процессам, организации могут создавать системы, которые гораздо проще в управлении для комплексной оценки рисков и страхового покрытия.

🎯 Что действительно нужно предприятиям:

• Права доступа и ролевые элементы управления
• Процессы утверждения для действий, оказывающих значительное влияние
• Журналы аудита и возможность мониторинга системы
• Возможности для отслеживать поведение и расследовать инциденты
• Инструменты для доказать соответствие регулирующим органам и заинтересованным сторонам

Когда каждое действие регистрируется и становится доступным для управления, команды могут точно видеть, что произошло, оперативно выявлять проблемы и лучше понимать, почему произошли те или иные события. Такая прозрачность в сочетании с человеческим контролем там, где это важно, превращает агентов ИИ из непостижимых «черных ящиков» в системы, которые можно проверять, воспроизводить и аудитировать.

• 🚫 Какую информацию они предоставили? не следует делиться с системами искусственного интеллекта
• ⚡ Что делать, если агенты сбиться с пути или вести себя неожиданно
• 👁️ Как выявлять необычное, потенциально опасное поведение в системах искусственного интеллекта

🎯 Итог: Надежное управление и контроль, наряду с общим уровнем организационной грамотности, имеют основополагающее значение для безопасного развертывания и эксплуатации агентов ИИ, обеспечивая безопасную, соответствующую требованиям и подотчетную работу в реальных условиях.

В1: Какой процент организаций в настоящее время имеет надлежащее управление агентами искусственного интеллекта?

Несмотря на быстро растущие темпы внедрения, лишь 21% организаций внедрили строгие механизмы управления или надзора за агентами ИИ. Этот пробел в управлении представляет собой значительный риск, поскольку внедрение агентов ИИ ускорится с 23% до, как ожидается, 74% компаний в течение следующих двух лет.

В2: Что такое «управляемая автономия» и почему она важна?

Управляемая автономия — это подход, при котором агенты ИИ работают в рамках четких границ, правил и определений, подобно тому, как предприятия управляют людьми. Хорошо спроектированные агенты могут быстро выполнять работу с низким уровнем риска в рамках заданных ограничений, но передают управление человеку, когда действия превышают установленные пороговые значения риска. Такая структура делает агентов проверяемыми, поддающимися аудиту и заслуживающими доверия, а не загадочными «черными ящиками».

В3: Почему страховые компании неохотно покрывают расходы на системы искусственного интеллекта?

Страховые компании неохотно страхуют непрозрачные системы искусственного интеллекта, поскольку не могут адекватно оценить риск, не понимая, что делали агенты и какие меры контроля были приняты. Подробные журналы действий, человеческий контроль за действиями, критически важными для оценки риска, и проверяемые рабочие процессы необходимы для того, чтобы сделать системы ИИ пригодными для страхования, поскольку они обеспечивают прозрачность и подотчетность, необходимые страховщикам для надлежащей оценки и ценообразования рисков.

В4: Каковы ключевые компоненты многоуровневого подхода Deloitte к обеспечению автономии?

Модель многоуровневой автономии Deloitte включает три этапа: На первом этапе агенты могут только просматривать информацию и предлагать варианты; на втором этапе разрешены ограниченные действия, но требуется одобрение человека; и на третьем этапе разрешены автоматические действия в областях с низким уровнем риска. Такой поэтапный подход гарантирует, что агенты продемонстрируют свою надежность, прежде чем им будет предоставлена ​​повышенная степень автономии.

В5: Почему обучение сотрудников имеет решающее значение для безопасности агентов ИИ?

Обучение сотрудников имеет важное значение, поскольку работники, не понимающие принципов работы систем искусственного интеллекта и потенциальных рисков, могут непреднамеренно ослабить меры безопасности. Обучение должно охватывать, какая информация не должна передаваться системам ИИ, как реагировать на неожиданное поведение агентов и как выявлять необычное или потенциально опасное поведение. Без этой общей осведомленности даже хорошо разработанные системы управления могут быть скомпрометированы.