Как Ai2 использует данные виртуального моделирования для разработки передовых физических систем искусственного интеллекта

Данные виртуального моделирования является ускорение развития физического искусственного интеллекта в корпоративной среде, чему способствуют такие инициативы, как проект Ai2. MolmoBot.

Исторически сложилось так, что управление взаимодействием аппаратного обеспечения с реальным миром зависело от дорогостоящие демонстрации, собранные вручнуюБольшинство поставщиков технологий, разрабатывающих универсальных агентов для манипулирования объектами, полагаются на обширные данные, полученные в реальных условиях, для создания этих систем.

Для контекста, такие проекты, как... ДРОИД собрались 76 000 траекторий, управляемых дистанционно. в 13 учреждениях — что составляет приблизительно 350 часов человеческого трудаАналогично, Google DeepMind РТ-1 необходимый Собрано 130 000 эпизодов за 17 месяцев. Это зависит от операторов-людей. Такая зависимость обусловлена ​​использованием собственных методов ручного сбора данных. увеличение затрат на исследования и концентрирует свои возможности в ограниченном числе хорошо финансируемых промышленных лабораторий.

Али Фархади, генеральный директор Ai2, подчеркивает миссию компании: «Наша миссия — создавать искусственный интеллект, который продвигает науку и расширяет возможности человечества в области открытий». Он продолжает: «Робототехника может стать основополагающим научным инструментом».помогая исследователям ускорить прогресс и изучать новые вопросы. Для достижения этой цели системы должны эффективно обобщаться на реальные сценарии и предоставлять инструменты, которые... глобальное исследовательское сообщество можно развивать совместно. Демонстрация успешного переноса из моделирования в реальность является важнейшим этапом.

Исследователи в Институт искусственного интеллекта им. Аллена (Ai2) предложить новую экономическую модель посредством MolmoBot — ан открытый набор моделей роботизированной манипуляции Обучение проводилось исключительно на синтетических данных. Траектории генерировались процедурным образом в виртуальной среде, названной MolmoSpacesТаким образом, команда фактически исключает необходимость ручного дистанционного управления.

Прилагаемый набор данных, MolmoBot-Dataсодержит поразительное 1,8 миллиона траекторий манипуляций экспертовЭтот набор данных был создан путем объединения физического движка MuJoCo с надежными методами рандомизации домена, которые варьируют объекты, ракурсы, освещение и динамику.

Ранджай КришнаДиректор команды PRIOR в Ai2 объясняет их инновационный подход: «Большинство методов пытаются сократить разрыв между симуляцией и реальностью за счет добавления большего количества данных из реального мира. Вместо этого мы считаем, что увеличение разнообразия смоделированных сред, объектов и ракурсов камеры значительно сократит этот разрыв». Это достижение смещает ограничения робототехники с ручного сбора демонстрационных данных на разработку более эффективных виртуальных миров.Задача, решаемая с помощью современных технологий.

Высокопроизводительное моделирование для обучения физического ИИ.

Используемый конвейер обучения 100 видеокарт Nvidia A100добившись примерно 1024 эпизода в час работы графического процессораЭто означает более 130 часов работы с роботом на каждый час реального времени.

По сравнению с традиционным сбором данных в реальных условиях, этот метод дает почти такие же результаты. в четыре раза большая пропускная способность данныхэто значительно повышает рентабельность инвестиций в проект за счет сокращения циклов внедрения.

Совместимость программного обеспечения MolmoBot Suite и оборудования

В состав пакета MolmoBot входят: три различных класса политики Оценка проводилась на двух платформах:

• Rainbow Robotics RB-Y1 мобильный манипулятор
• Франка FR3 настольная роботизированная рука

Основная модель использует Molmo2 — основа для обработки изображений и языка. которая объединяет несколько временных шагов RGB-изображений и инструкции на естественном языке для эффективного управления действиями робота.

Оптимизированные модели для периферийных сред

Для сценарии граничных вычислений В условиях ограниченных ресурсов Ai2 предоставляет:

• MolmoBot-SPOC: облегченная политика преобразования данных с уменьшенным количеством параметров.
• MolmoBot-Pi0: построен на основе архитектуры PaliGemma для соответствия модели π0 компании Physical Intelligence с целью прямого сравнения производительности.