Как автономные системы искусственного интеллекта проверяют возможности управления в физической среде.

Автономные системы искусственного интеллекта начинают выходить за рамки программных сред и внедряться в различные системы. склады, сети доставки и общественные пространстваДанное событие привлекает внимание к вопросу о том, распространяются ли действующие правила в области искусственного интеллекта на системы, работающие в физической среде.

Большинство существующих механизмов управления ИИ сосредоточены на онлайн-вреде и результатах работы моделей, включая предвзятость, дезинформацию и вредоносный контент. Внедрение систем искусственного интеллекта сопряжено с рисками в физической среде.где сбои могут повлиять на инфраструктуру, имущество или безопасность людей.

📋 Новая система управления ИИ в Сингапуре

Сингапурское управление по развитию информационных и медиатехнологий опубликовало версия 1.5 своей системы управления модельным ИИ для агентного ИИ 20 мая. Данная концепция содержит рекомендации для организаций, внедряющих агентов искусственного интеллекта, способных планировать, принимать решения и выполнять действия на нескольких этапах для достижения целей, определенных пользователем.

В описании системы говорится, что агенты могут взаимодействовать с инструментами, внешними системами и другими агентами, включая системы, обновляющие базы данных, записывающие файлы, управляющие устройствами или выполняющие транзакции. В числе мер управления развертыванием указаны контроль доступа, мониторинг и утверждение человеком.

🤖 Искусственный интеллект проникает в физические системы

На саммите по искусственному интеллекту, состоявшемся в Сингапуре на прошлой неделе, дискуссии о робототехнике и воплощенном искусственном интеллекте были сосредоточены на следующих темах: вопросы безопасности эксплуатации Чаще всего это связано с надзором за авиацией, промышленными системами и критической инфраструктурой, чем с традиционным регулированием программного обеспечения.

Также докладчики обсудили вопрос о том, могут ли автономные системы безопасно и надежно функционировать в непредсказуемых условиях реального мира в течение длительных периодов времени.

Доктор Я-Цинь Чжан, декан-основатель Института исследований индустрии искусственного интеллекта при Университете Цинхуа, заявила: Внедрение систем искусственного интеллекта усиливает риски, уже связанные с автономным программным обеспечением.Он сказал, что сбои могут напрямую повлиять на транспортные системы, беспилотники, логистические сети и критическую инфраструктуру.

«Любой риск в цифровой сфере будет усиливаться в физической сфере, а физическая сфера будет иметь физические последствия», — заявил Чжан изданию MLex в кулуарах саммита.

Он добавил, что транспортные средства, дроны, интеллектуальные энергосети и другая инфраструктура Это может стать очевидным по мере более глубокого внедрения систем искусственного интеллекта в физические процессы.

Докладчики обсудили надежность, оперативный мониторинг и обеспечение качества после развертывания как проблемы управления. В ходе обсуждений на саммите были отмечены следующие моменты: модели управления на основе развертывания построен на основе моделирования, телеметрии и итеративного тестирования, а не только одноразовой сертификации.

📊 Мониторинг становится проблемой развертывания

Компания Grab, которая проводит пилотные испытания беспилотных автомобилей и роботов-доставщиков в сингапурском районе Пунггол, заявила, что управление внедрением в значительной степени зависит от моделирование, тестирование и непрерывный мониторинг.

«Мы проводим множество симуляций, много испытаний на закрытых и открытых трассах, чтобы убедиться в надежности наших роботов», — сказал Сутен Томас Парадатет, технический директор Grab, во время одной из панельных дискуссий на саммите.

«Прежде чем мы перейдем к использованию сотен роботов, мы сначала убедимся, что решили эту задачу в ходе моделирования и с помощью нескольких роботов», — добавил он.

Граб также указал на системы мониторинга, предназначенные для отслеживания производительности роботов и выявления неожиданных сбоев после развертывания. «Может возникнуть целый ряд проблем», — сказал Парадатет.

👥 Ответственность распространяется на большее количество участников

Компания MLex сообщила, что в системах искусственного интеллекта, воплощенных в реальность, может участвовать несколько сторон на этапах разработки, производства и внедрения. К ним относятся: Разработчики ИИ, производители робототехники, поставщики полупроводников и операторы инфраструктуры.

MLex также отметил, что Распределить ответственность может быть сложнее. когда системы продолжают адаптироваться после развертывания посредством обновлений программного обеспечения, телеметрии и оперативных данных.

IMDA утверждает, что организации и люди остаются ответственными за действия агентов, даже когда агенты действуют автономно. Данная концепция призывает к следующему: Четкая ответственность на всех этапах цепочки создания ценности агентного ИИ.от поставщиков моделей и платформ до разработчиков, поставщиков инструментов и конечных пользователей.

В компании Applied Materials заявили, что крупномасштабное внедрение робототехники также связано с экономикой полупроводниковых технологий и системной интеграцией. Ом Наламасу, главный технический директор компании, отметил, что роботизированные системы будут зависеть от более совершенных датчиков, энергоэффективности, передовой упаковки и вычислительных архитектур.

🌏 Региональные подходы к робототехнике с использованием искусственного интеллекта

🇨🇳 Китай: Чжао Юли, директор по стратегии китайского робототехнического стартапа Galbot, заявил, что Пекин уделяет приоритетное внимание этому вопросу. Масштаб внедрения и промышленная коммерциализация посредством поддерживаемых правительством экспериментальных площадок, партнерских отношений с промышленными предприятиями и долгосрочных программ финансирования.

Компания Galbot внедрила человекоподобные роботизированные системы в розничной торговле, складском хозяйстве и фармацевтике в Китае, включая автономные магазины, работающие круглосуточно. Чжао отметил, что полуструктурированные промышленные среды, вероятно, станут одним из первых путей коммерциализации, поскольку они предлагают более контролируемые условия эксплуатации.

🇯🇵 Япония: Япония уделяет больше внимания установление стандартов, наборы данных по робототехнике и управление безопасностьюПрофессор Ютака Мацуо из Высшей инженерной школы Токийского университета указал на проект «Ассоциации искусственного интеллекта», целью которого является сбор 100 000 часов данных по робототехнике для поддержки базовых моделей роботов.

Мацуо также упомянул Японский институт безопасности ИИ и Хиросимский процесс по разработке ИИ как часть более широких усилий по разработке стандартов управления для воплощенных систем ИИ совместно с Сингапуром и другими азиатскими странами.

🔒 Сингапур вводит контроль за деятельностью агентов

Рамочная программа Сингапура устанавливает четыре области управления для агентного ИИ:

В структуре говорится... Человеческий контроль необходимо адаптировать для агентных систем. Поскольку непрерывный анализ всех рабочих процессов становится нецелесообразным в больших масштабах, рекомендуется проводить утверждение человеком на важных контрольных точках, включая действия с высокими ставками, необратимые действия и действия, выходящие за рамки нормы.

IMDA также определяет Предвзятость автоматизации и усталость от оповещений Существуют риски, возникающие при контроле со стороны компетентных агентов людьми. Рекомендуется проводить аудит контроля с помощью таких показателей, как частота случаев игнорирования действий человека и время реакции, а также использовать автоматизированный мониторинг в режиме реального времени для выявления неожиданного поведения.

В рамках данной концепции пользователям следует сообщать, какие действия может выполнять агент, к каким данным он имеет доступ и какие обязанности остаются за пользователем. Также рекомендуется проводить обучение сотрудников по вопросам взаимодействия человека и агента, контроля и профессиональных навыков, необходимых для оценки результатов работы агента.

🏦 Компании тестируют ИИ в регулируемых рабочих процессах

ДжПМорган банк внедряет инструменты искусственного интеллекта во всем своем глобальном инвестиционно-банковском бизнесе, сообщил Пол Урен, глава инвестиционно-банковского подразделения банка в Азиатско-Тихоокеанском регионе. РейтерВ банке заявили, что эти инструменты помогают банкирам получать доступ к большему объему информации и интегрировать ее с внутренними системами. Они также используются для подготовки контента и поддержки взаимодействия с клиентами.

Генеральный директор JPMorgan Джейми Даймон заявил Новости Блумберга что банк наймет больше специалистов по искусственному интеллекту и меньше традиционных банкиров. Рейтер Сообщается, что мировые банки наращивают инвестиции в ИИ, перестраивают штат сотрудников и меняют должностные обязанности.

Банк также входит в число организаций, которым компания Anthropic разрешила использовать свои ресурсы. Модель кибербезопасности Mythos В рамках контролируемой инициативы, известной как Project Glasswing, по данным Anthropic, Mythos может обнаруживать старые уязвимости в браузерах, инфраструктуре и программном обеспечении.

Рейтер Сообщается, что Goldman Sachs, Citigroup, Bank of America и Morgan Stanley также имеют доступ к Mythos или тестируют его, ссылаясь на источники и руководителей компаний.

🏭 Роботы начинают использоваться в промышленности

В Японии, Одна треть компаний уже использует или рассматривает возможность использования роботов с искусственным интеллектом.согласно Рейтер Опрос проводился компанией Nikkei Research с 1 по 15 мая. В опросе приняли участие 492 компании, 220 из которых ответили на условиях анонимности.

производители транспортного оборудования Наиболее активной группой в опросе оказались представители оптового сектора: 80% из них уже используют роботов с искусственным интеллектом или рассматривают возможность их внедрения. Для сравнения, 94% респондентов из оптового сектора заявили, что не планируют внедрять роботов с искусственным интеллектом.

Среди компаний, использующих, планирующих использовать или рассматривающих возможность использования роботов с искусственным интеллектом:

• 71% выбранное производство как пример использования
• 19% выбранные опасные задачи
• 11% выбранные услуги, ориентированные на клиента

Правительство Японии ожидает, что роботы с искусственным интеллектом помогут решить хроническую проблему нехватки рабочей силы в стране и укрепят ее позиции в области промышленной робототехники. В Японии расположены такие компании, занимающиеся робототехникой, как... Fanuc, Yaskawa Electric и Kawasaki Heavy IndustriesОднако ей предстоит столкнуться с конкуренцией со стороны Китая и США в области робототехники с использованием искусственного интеллекта.

🛒 Розничные агенты расширяют свою деятельность за пределы поиска.

Walmart Компания изложила планы по использованию агентного ИИ в рабочих процессах, связанных с покупками, сотрудниками, поставщиками и разработчиками.

В июле 2025 года ритейлер объявил о планах по... четыре «суперагента» с поддержкой искусственного интеллекта Эти агенты предназначены для покупателей, сотрудников магазинов, поставщиков и продавцов, а также разработчиков программного обеспечения. В Walmart заявили, что эти агенты станут основной точкой входа для взаимодействия с ИИ между этими группами.

Один из инструментов, СпаркиПриложение уже доступно в приложении Walmart в качестве генеративного помощника для покупок на основе искусственного интеллекта. Хари Васудев, главный технический директор Walmart в США, заявил, что расширенная версия сможет повторно заказывать товары и планировать мероприятия. Она также будет использовать компьютерное зрение для предложения рецептов на основе содержимого холодильника покупателя.

Компания отказалась сообщить, заменят ли новые сотрудники существующие рабочие места. Дейв Глик, старший вице-президент по корпоративным бизнес-системам, заявил, что эти инструменты создадут новые рабочие места, не вдаваясь в подробности.

(Фото предоставлено) Гроутика)