Comment Ai2 utilise les données de simulation virtuelle pour développer des systèmes d'IA physique avancés

Données de simulation virtuelle est accélérer le développement de l'IA physique au sein des entreprises, sous l'impulsion d'initiatives telles que celles d'Ai2 MolmoBot.

Historiquement, la commande permettant au matériel d'interagir avec le monde réel a dépendu de des manifestations coûteuses et collectées manuellementLa plupart des fournisseurs de technologies qui développent des agents de manipulation généralistes s'appuient sur de vastes données d'entraînement issues du monde réel pour construire ces systèmes.

Pour contextualiser, des projets comme DROÏDE rassemblé 76 000 trajectoires téléopérées répartis dans 13 établissements, ce qui représente environ 350 heures de travail humainDe même, Google DeepMind RT-1 requis 130 000 épisodes collectés sur 17 mois par des opérateurs humains. Cette dépendance à l'égard de la collecte de données manuelle et propriétaire augmentation des coûts de recherche et concentre les capacités au sein d'un nombre limité de laboratoires industriels bien financés.

Ali Farhadi, PDG d'Ai2, souligne la mission : « Notre mission est de construire une IA qui fasse progresser la science et élargisse le champ des découvertes humaines. » Il poursuit, « La robotique peut devenir un instrument scientifique fondamental. », aidant ainsi les chercheurs à accélérer les progrès et à explorer de nouvelles questions. Pour ce faire, les systèmes doivent pouvoir se généraliser efficacement à des scénarios réels et fournir des outils permettant aux chercheurs d'atteindre leurs objectifs. communauté mondiale de la recherche « Il est possible de s’appuyer sur ces acquis en collaboration. Démontrer la réussite du transfert de la simulation à la réalité est une étape cruciale. »

Des chercheurs de l'université Institut Allen pour l'IA (Ai2) proposer un nouveau modèle économique à travers MolmoBot - un suite de modèles de manipulation robotique ouverts entraîné exclusivement sur des données synthétiques. En générant de manière procédurale des trajectoires au sein d'un environnement virtuel nommé MolmoSpacesL'équipe élimine ainsi de fait le besoin de téléopération manuelle.

L'ensemble de données d'accompagnement, Données MolmoBot, contient un nombre stupéfiant 1,8 million de trajectoires de manipulation expertesCet ensemble de données a été produit en couplant le moteur physique MuJoCo à des techniques robustes de randomisation de domaine qui font varier les objets, les points de vue, l'éclairage et la dynamique.

Ranjay Krishna, directeur de l'équipe PRIOR chez Ai2, explique leur approche innovante : « La plupart des méthodes tentent de réduire l'écart entre la simulation et la réalité en ajoutant davantage de données réelles. Nous pensons, quant à nous, qu'accroître la diversité des environnements, des objets et des points de vue de la caméra simulés permet de réduire considérablement cet écart. » Cette avancée déplace les contraintes robotiques de la collecte manuelle de démonstrations vers la conception de mondes virtuels plus efficaces.un défi soluble grâce aux technologies actuelles.

Simulation à grande échelle pour l'entraînement physique de l'IA

Le processus de formation utilisé 100 GPU Nvidia A100, atteignant environ 1 024 épisodes par heure GPUCela se traduit par plus de 130 heures d'expérience robotique pour chaque heure de temps réel.

Comparée à la collecte traditionnelle de données réelles, cette méthode produit presque quatre fois le débit de données, améliorant considérablement le retour sur investissement des projets en raccourcissant les cycles de déploiement.

Compatibilité de la suite MolmoBot et du matériel

La suite MolmoBot comprend trois classes de polices distinctes évalué sur deux plateformes :

• Rainbow Robotics RB-Y1 manipulateur mobile
• Franka FR3 bras robotique de table

Le modèle principal utilise un L'ossature vision-langage de Molmo2 qui intègre plusieurs séquences d'images RVB à différents moments et des instructions en langage naturel pour gérer efficacement les actions robotiques.

Modèles optimisés pour les environnements périphériques

Pour scénarios d'informatique de périphérie Avec des ressources limitées, Ai2 propose :

• MolmoBot-SPOC: une politique de transformation légère avec un nombre de paramètres réduit.
• MolmoBot-Pi0: construit sur la base de PaliGemma pour s'aligner sur le modèle π0 de Physical Intelligence pour des comparaisons directes de performances.