Cómo Ai2 utiliza datos de simulación virtual para desarrollar sistemas avanzados de IA física.

Datos de simulación virtual es acelerar el avance de la IA física dentro de entornos corporativos, impulsados ​​por iniciativas como la de Ai2 MolmoBot.

Instruir al hardware para que interactúe con el mundo real históricamente ha dependido de Demostraciones costosas y recopiladas manualmenteLa mayoría de los proveedores de tecnología que desarrollan agentes de manipulación generalistas se basan en una gran cantidad de datos de entrenamiento del mundo real para construir estos sistemas.

Para proporcionar contexto, proyectos como DROIDE reunido 76.000 trayectorias teleoperadas en 13 instituciones, lo que asciende a aproximadamente 350 horas de trabajo humanoDe manera similar, la de Google DeepMind RT-1 requerido 130.000 episodios recopilados durante 17 meses por operadores humanos. Esta dependencia de la recopilación de datos manual y propietaria aumenta los costos de investigación y concentra las capacidades en un número limitado de laboratorios industriales bien financiados.

Ali Farhadi, director ejecutivo de Ai2, destaca la misión: “Nuestra misión es crear inteligencia artificial que impulse la ciencia y amplíe los horizontes de los descubrimientos de la humanidad.” Él continúa, “La robótica puede convertirse en un instrumento científico fundamental, ayudando a los investigadores a acelerar el progreso y explorar nuevas preguntas. Para lograr esto, los sistemas deben generalizarse eficazmente a escenarios del mundo real y proporcionar herramientas que comunidad de investigación global pueden desarrollarse de forma colaborativa. Demostrar una transferencia exitosa de la simulación a la realidad es un hito crucial."

Investigadores en el Instituto Allen para la IA (Ai2) proponer un nuevo modelo económico a través de MolmoBot - un Conjunto de modelos de manipulación robótica abierta Entrenado exclusivamente con datos sintéticos. Mediante la generación procedimental de trayectorias dentro de un entorno virtual llamado MolmoSpacesDe esta forma, el equipo elimina la necesidad de teleoperación manual.

El conjunto de datos adjunto, Datos de MolmoBot, contiene una asombrosa 1,8 millones de trayectorias de manipulación expertaEste conjunto de datos se produjo combinando el motor de física MuJoCo con técnicas robustas de aleatorización de dominio que varían los objetos, los puntos de vista, la iluminación y la dinámica.

Ranjay Krishna, Director del equipo PRIOR en Ai2, explica su enfoque innovador: “La mayoría de los métodos intentan reducir la brecha entre la simulación y la realidad añadiendo más datos del mundo real. En cambio, creemos que aumentar la diversidad de entornos simulados, objetos y puntos de vista de la cámara reduce drásticamente esta brecha.” Este avance traslada las limitaciones robóticas de la recopilación manual de demostraciones al diseño de mundos virtuales más eficaces.Un reto que se puede solucionar con la tecnología actual.

Simulación de alto volumen para el entrenamiento de IA física

El proceso de capacitación utilizado 100 GPU Nvidia A100, logrando aproximadamente 1024 episodios por hora de GPUEsto se traduce en más de 130 horas de experiencia robótica por cada hora de tiempo real..

En comparación con la recopilación de datos tradicionales del mundo real, este método produce casi cuatro veces el rendimiento de datos, mejorando drásticamente el retorno de la inversión del proyecto al acortar los ciclos de implementación.

Compatibilidad de MolmoBot Suite y hardware

El conjunto de características MolmoBot incluye: tres clases de políticas distintas evaluado en dos plataformas:

• Rainbow Robotics RB-Y1 manipulador móvil
• Franka FR3 brazo robótico de sobremesa

El modelo principal utiliza un Estructura básica del lenguaje visual Molmo2 que integra múltiples intervalos de tiempo de imágenes RGB e instrucciones en lenguaje natural para controlar eficazmente las acciones robóticas.

Modelos optimizados para entornos de borde

Para escenarios de computación de borde Con recursos limitados, Ai2 proporciona:

• MolmoBot-SPOC: una política de transformación ligera con un número reducido de parámetros.
• MolmoBot-Pi0: construido sobre la plataforma PaliGemma para alinearse con el modelo π0 de Physical Intelligence para comparaciones directas de rendimiento.