Demorou 2 anos, a Meta se uniu à CMU para criar a mais forte "inteligência de robô universal"! Um generalista que limpa chá e tigelas, generaliza facilmente mais de 100 tarefas desconhecidas

**Fonte:**Xinzhiyuan

**Guia: ** No caminho para a "inteligência universal do robô", o Google tornou-se popular com o RT-2. Agora, o RoboAgent, que levou 2 anos para ser construído pelas equipes Meta e CMU, usa uma pequena quantidade de dados para realizar 12 habilidades complexas e pode fazer de tudo, desde preparar chá até limpar a mesa.

O modelo explosivo está reformulando a pesquisa de "agentes robóticos universais".

Há algum tempo, o Google DeepMind lançou o projeto RT-2, que levou 7 meses para ser construído, raciocina matematicamente e identifica celebridades, e se popularizou na internet.

Além do Google, pesquisadores da Meta e da CMU passaram 2 anos construindo o mais forte agente robótico de uso geral "RoboAgent" da história.

A diferença é que o RoboAgent é treinado apenas em 7500 trajetórias.

Especificamente, o RoboAgent implementou 12 habilidades complexas diferentes em 38 tarefas, como assar, pegar itens, servir chá, limpar a cozinha e assim por diante.

Ainda, sua capacidade pode ser generalizada para 100 cenários desconhecidos.

Pode-se dizer que se você subir para o corredor, pode descer para a cozinha.

Curiosamente, não importa o quanto você interfira, o RoboAgent ainda consegue concluir a tarefa.

O que mais o RoboAgent pode fazer?

Cozinhar, servir chá, limpar a mesa à mão

Em primeiro lugar, o RoboAgent pode abrir ou fechar gavetas suavemente.

Embora o iogurte tenha sido quase derrubado quando foi aberto, basicamente não houve atraso na conexão da ação, e a ação de empurrar e puxar foi concluída sem problemas.

Além das gavetas, o RoboAgent pode facilmente abrir ou fechar a porta do forno de micro-ondas.

Mas, em vez de agarrar a maçaneta como um humano, ele se enfiou no espaço entre a maçaneta e a porta e abriu e fechou a porta do micro-ondas com força.

Da mesma forma, quando confrontado com as tampas de garrafas e latas, o RoboAgent também pode manusear, abrir e fechar as tampas com precisão - nunca bagunça.

Porém, na cozinha, além dos potes de temperos tampados, também existem alguns potes que precisam ser desenroscados, como vinho de cozinha e Laoganma, etc...

Felizmente, para várias tarefas de pick-and-place, o RoboAgent não é basicamente nada para se preocupar.

No vídeo, o RoboAgent tira coisas da gaveta, ou coloca saquinhos de chá em xícaras, liga o micro-ondas e coloca tigelas, etc. O que é mostrado é que o RoboAgent pode entender a série de ações envolvidas em tarefas como fazer chá e aquecer alimentos.

Organizar e combinar as nove ações acima pode cobrir basicamente uma série de tarefas na cozinha.

Exemplos incluem preparar para assar, limpar a cozinha, servir sopa, fazer chá, guardar talheres e muito mais.

Ao preparar para assar, o primeiro passo é abrir a gaveta e encontrar a manteiga lá dentro. Ao encontrá-la, coloque a manteiga na tábua de cortar e, por fim, feche a gaveta.

Parece que a sequência lógica da série de ações do RoboAgent está muito próxima da cena da vida real.

Mas o RoboAgent ainda não é tão flexível quanto o humano, sem falar que o humano tem duas mãos, que podem segurar a manteiga com uma mão e fechar a gaveta com a outra. Mesmo com apenas uma mão, um ser humano pode segurar a manteiga enquanto empurra a gaveta para o lado. Mas o RoboAgent só pode colocar a manteiga primeiro e depois fechar a gaveta.

Não parece tão flexível.

Ao limpar a cozinha, o RoboAgent também realiza quatro etapas:

Feche primeiro a gaveta e depois o micro-ondas. Em seguida, retire uma toalha do lado e, finalmente, limpe a tábua de cortar.

Para servir a sopa, o RoboAgent primeiro liga o micro-ondas e depois remove a tigela do micro-ondas. Em seguida, coloque a tigela sobre a mesa e, por fim, desligue o micro-ondas.

Mas o desempenho do RoboAgent aqui não é tão reconfortante.

Só podemos dizer que felizmente a tigela no vídeo de demonstração está vazia. Se o RoboAgent realmente puder pegar a tigela cheia de comida na realidade, estima-se que a comida será espalhada por todo o chão assim que pegar para cima.

No entanto, o RoboAgent é útil para fazer chá:

Primeiro remova a tampa do bule de chá, retire o saquinho de chá de dentro, depois coloque o saquinho de chá na xícara com precisão e, finalmente, pegue a tampa e coloque-a de volta no bule.

Mas está um passo mais perto da xícara de chá perfeita: despeje água. Ou o RoboAgent está nos convidando a beber ar com cheiro de chá?

Olhando para o desempenho do RoboAgent mencionado acima, embora a maioria das tarefas possa ser concluída sem problemas, ainda é muito inconveniente ter apenas uma mão.

Espero que Meta e CMU possam dar mais mãos ao RoboAgent, para que ele possa fazer várias coisas ao mesmo tempo, melhorando muito a eficiência.

Levou 2 anos para criar um "agente robô universal"

Os pesquisadores da Meta e da CMU esperam que o RoboAgent possa se tornar um agente robótico verdadeiramente de uso geral.

Nos últimos 2 anos, eles estão constantemente avançando no projeto. O RoboAgent é uma coleção de pesquisas multidirecionais e também é o ponto de partida para mais direções de pesquisa no futuro.

No desenvolvimento de "agentes de robôs universais", os pesquisadores foram inspirados por muitos projetos recentes de aprendizado de robôs generalizáveis.

Atualmente, no caminho para um agente robô geral, dois grandes problemas precisam ser resolvidos.

** Um é o dilema de causa e efeito. **

Ter um robô capaz de manipular objetos arbitrários em diferentes ambientes é uma meta distante e ambiciosa há décadas. Isso se deve em parte à falta de conjuntos de dados para treinar esses agentes, mas também à falta de agentes gerais capazes de gerar esses dados.

A segunda é livrar-se do círculo vicioso. **

Para quebrar esse ciclo vicioso, a pesquisa se concentra no desenvolvimento de um paradigma eficaz.

Ele pode fornecer um agente geral capaz de adquirir múltiplas habilidades com um orçamento de dados realista e generalizá-los para várias situações desconhecidas.

Endereço de papel:

De acordo com a introdução, o RoboAgent é construído sobre os seguintes elementos modulares e compensáveis:

- RoboPen：

A infraestrutura de robô distribuída construída com hardware comum pode funcionar ininterruptamente por muito tempo.

- RoboHive：

Uma estrutura unificada para aprendizado de robôs em simulação e operações do mundo real.

- RoboSet： Um conjunto de dados de alta qualidade representando diversas habilidades de objetos do cotidiano em diferentes cenários.

- MT-ACT:

Uma Estrutura Eficiente para Aprendizagem por Imitação Offline em Multitarefa Linguística Condicional. Ele multiplica conjuntos de dados off-line criando um conjunto diversificado de aumentos semânticos com base na experiência de robótica existente e emprega uma nova arquitetura de política com uma representação de ação eficiente para recuperar políticas de alto desempenho dentro de um orçamento de dados.

Bloco de ação, nova estrutura MT-ACT

Para aprender políticas operacionais gerais, os robôs devem ser expostos a experiências ricas e diversas, incluindo várias habilidades e mudanças ambientais.

No entanto, os custos operacionais e os desafios práticos de coletar um conjunto de dados tão extenso limitam o tamanho geral do conjunto de dados.

Os pesquisadores visam abordar essas limitações desenvolvendo um paradigma que possa aprender agentes multitarefa eficazes com um orçamento de dados limitado.

Conforme mostrado na figura abaixo, as equipes Meta e CMU propuseram o MT-ACT, o Multi-Task Action Chunking Transformer (Transformador de Chunking de Ação Multitarefa).

Este método consiste em 2 etapas:

Fase 1: aprimoramento semântico

O RoboAgent injeta prioritários mundiais a partir de modelos básicos existentes, criando um aumento semântico do conjunto de dados RoboSet (MT-ACT).

O conjunto de dados resultante multiplica a experiência do robô com mundos anteriores sem nenhum custo humano/robô adicionado.

Os pesquisadores então usaram o SAM para segmentar e aprimorar semanticamente o objeto alvo em objetos distintos com variações de forma, cor e textura.

Fase 2: Representação Eficiente de Políticas

O conjunto de dados resultante é multimodal, contendo uma grande variedade de habilidades, tarefas e cenários.

Adaptando o agrupamento de ações para configurações multitarefa, os pesquisadores desenvolveram o MT-ACT - uma representação de política nova e eficiente que pode ingerir conjuntos de dados altamente multimodais, evitando o superajuste em configurações de baixo orçamento de dados.

A seguir estão os vários componentes da estratégia MT-ACT.

Conjunto de dados RoboSet

O objetivo do estudo era estabelecer um paradigma de aprendizado robótico com eficiência de dados, para o qual os pesquisadores se limitaram a um conjunto de dados pequeno, mas diversificado, congelado e pré-coletado.

Para capturar a diversidade comportamental, os pesquisadores também aplicaram diferentes habilidades a diferentes tarefas em diferentes cenários de cozinha.

Neste projeto, o conjunto de dados RoboSet (MT-ACT) consiste em 7500 trajetórias coletadas por teleoperação humana.

O conjunto de dados contém 12 habilidades abrangendo várias tarefas e cenários.

A figura abaixo mostra a distribuição de habilidades no conjunto de dados.

Embora a habilidade comumente usada de "pegar e colocar" represente 40% do conjunto de dados, habilidades de contato avançadas, como limpar, tampar e habilidades que envolvem objetos articulados (abrir, fechar e virar) também estão incluídas.

Os pesquisadores coletaram todo o conjunto de dados em 4 instâncias diferentes de cenas de cozinha, que contêm vários objetos do cotidiano.

Além disso, a equipe trocou cada instância da cena com diferentes variações do objeto, permitindo que cada habilidade alcance vários objetos-alvo e instâncias da cena.

Aumento de dados

Como os conjuntos de dados coletados não podem satisfazer a necessidade de diversidade de cenas e objetos, os pesquisadores aumentam o conjunto de dados adicionando diferentes cenas em mudança offline, preservando o comportamento de manipulação em cada trajetória.

Com base nos avanços recentes em modelos de segmentação e pintura interna, os pesquisadores destilam prévias semânticas do mundo real a partir de dados da Internet para modificar cenas de maneira estruturada.

Arquitetura MT-ACT

A arquitetura de política do MT-ACT é projetada como um modelo Transformer com capacidade suficiente para lidar com conjuntos de dados de robôs multitarefas multimodais.

Para capturar dados multimodais, os pesquisadores seguiram trabalhos anteriores adicionando um CVAE que codifica sequências de ação como incorporações de estilo latente z.

Para modelar dados multitarefa, empregamos um codificador de linguagem pré-treinado que aprende uma incorporação T de uma descrição específica da tarefa.

Para reduzir o problema de erro composto, ações em H passos à frente são previstas em cada passo de tempo e executadas por suavização temporal de ações sobrepostas previstas em um intervalo de tempo específico.

Além disso, para melhorar a robustez às mudanças de cena, os pesquisadores forneceram à estratégia MT-ACT quatro visualizações diferentes do espaço de trabalho por meio de quatro ângulos de câmera.

Em seguida, um método de condicionamento baseado em FiLM é usado para garantir que os tokens de imagem possam se concentrar de maneira confiável nas instruções de linguagem, para que a estratégia MT-ACT não confunda tarefas quando pode haver várias tarefas em uma cena.

Os tokens codificados entrarão no decodificador de política Transformer com incorporação de posição fixa e, finalmente, produzirão o próximo bloco de ação (ações H).

No tempo de execução, o pesquisador calcula a média de todas as operações sobrepostas previstas no intervalo de tempo atual (quando H > 1, os blocos de ação se sobrepõem) e executa a ação média resultante.

Uma pequena quantidade de dados, atualize com o Google RT-1

Como funciona a estratégia MT-ACT no mundo real?

Os pesquisadores avaliaram experimentalmente a eficiência amostral do framework proposto, bem como a generalidade do agente em diferentes cenários.

A figura abaixo compara a estratégia MT-ACT com arquiteturas de aprendizado de imitação comumente usadas.

Os pesquisadores apenas traçaram os resultados da generalização L1 porque esta é a configuração padrão usada pela maioria dos outros algoritmos de aprendizado por imitação.

Como pode ser visto na figura, todos os métodos que apenas simulam o comportamento da próxima etapa (em vez de subtrajetórias) têm desempenho ruim.

Entre esses métodos, os pesquisadores descobriram que o método baseado em agrupamento de ações (BeT) teve um desempenho muito pior no cenário multitarefa.

Além disso, métodos como RT1, que requerem grandes quantidades de dados, não apresentam bom desempenho nesse cenário devido ao regime de poucos dados usado no estudo.

Em contraste, a estratégia MT-ACT usa inspeção de ação para modelar subtrajetórias, o que supera significativamente todos os métodos de linha de base.

A Figura 7 (canto inferior direito) mostra os resultados de todos os métodos em vários níveis de generalização (L1, l2 e L3).

Além disso, os pesquisadores relatam os resultados da generalização para cada atividade separadamente. Na Figura 8, podemos ver que cada método de aprimoramento semântico afeta positivamente o desempenho de cada atividade.

Por fim, os pesquisadores também investigaram a arquitetura usando diferentes designs, como tamanho dos blocos de representação de ação, plasticidade e robustez.

Referências:

roboset/

suplementar.html