Como a Ai2 utiliza dados de simulação virtual para desenvolver sistemas avançados de IA física

Dados de simulação virtual é acelerando o avanço da IA ​​física em ambientes corporativos, liderados por iniciativas como a da Ai2. MolmoBot.

Historicamente, instruir o hardware a interagir com o mundo real dependeu de demonstrações caras, coletadas manualmenteA maioria dos fornecedores de tecnologia que desenvolvem agentes de manipulação generalistas dependem de extensos dados de treinamento do mundo real para construir esses sistemas.

Para contextualizar, projetos como DROIDE coletado 76.000 trajetórias teleoperadas em 13 instituições — totalizando aproximadamente 350 horas de trabalho humanoDa mesma forma, o Google DeepMind RT-1 obrigatório 130.000 episódios coletados ao longo de 17 meses por operadores humanos. Essa dependência da coleta de dados proprietária e manual. aumenta os custos da pesquisa e concentra as capacidades num número limitado de laboratórios industriais bem financiados.

Ali Farhadi, CEO da Ai2, enfatiza a missão: “Nossa missão é construir uma IA que impulsione a ciência e expanda as descobertas da humanidade.” Ele continua, “A robótica pode se tornar um instrumento científico fundamental.”, ajudando os pesquisadores a acelerar o progresso e explorar novas questões. Para alcançar esse objetivo, os sistemas devem ser generalizáveis ​​de forma eficaz para cenários do mundo real e fornecer ferramentas que comunidade global de pesquisa podem ser aprimoradas de forma colaborativa. Demonstrar a transferência bem-sucedida da simulação para a realidade é um marco crucial."

Pesquisadores da Instituto Allen para IA (Ai2) propor um novo modelo econômico através de MolmoBot - um conjunto de modelos de manipulação robótica aberta treinada exclusivamente com dados sintéticos. Gerando trajetórias proceduralmente dentro de um ambiente virtual chamado MolmoSpaces, a equipe elimina efetivamente a necessidade de teleoperação manual.

O conjunto de dados que acompanha este documento, Dados do MolmoBot, contém uma quantidade impressionante 1,8 milhão de trajetórias de manipulação especializadasEste conjunto de dados foi produzido acoplando o motor de física MuJoCo com técnicas robustas de randomização de domínio que variam objetos, pontos de vista, iluminação e dinâmica.

Ranjay Krishna, Diretor da equipe PRIOR na Ai2, explica sua abordagem inovadora: “A maioria dos métodos tenta reduzir a diferença entre a simulação e a realidade adicionando mais dados do mundo real. Em vez disso, apostamos que aumentar a diversidade de ambientes simulados, objetos e pontos de vista da câmera reduz drasticamente essa diferença.” Esse avanço transfere as limitações da robótica da coleta manual de demonstrações para o projeto de mundos virtuais mais eficazes.Um desafio solucionável com a tecnologia atual.

Simulação de alto volume para treinamento de IA física

O processo de treinamento utilizado 100 GPUs Nvidia A100, alcançando cerca de 1.024 episódios por hora de GPUIsso se traduz em mais de 130 horas de experiência com robôs para cada hora de tempo real..

Em comparação com a coleta de dados tradicional do mundo real, este método produz quase quatro vezes a capacidade de transferência de dados, melhorando drasticamente o retorno sobre o investimento (ROI) do projeto ao reduzir os ciclos de implantação.

Compatibilidade do MolmoBot Suite e do hardware

O pacote MolmoBot apresenta três classes de políticas distintas avaliado em duas plataformas:

• Robótica Rainbow RB-Y1 manipulador móvel
• Franka FR3 braço robótico de mesa

O modelo principal utiliza um Molmo2, sistema de visão e linguagem que integra múltiplos intervalos de tempo de imagem RGB e instruções em linguagem natural para controlar ações robóticas de forma eficaz.

Modelos otimizados para ambientes de borda

Para cenários de computação de borda Com recursos limitados, a Ai2 oferece:

• MolmoBot-SPOC: uma política de transformação leve com número reduzido de parâmetros.
• MolmoBot-Pi0: construído sobre a estrutura PaliGemma para se alinhar com o modelo π0 da Physical Intelligence para comparações diretas de desempenho.