Aprendizado por Imit ação para Robôs: Um Guia Prático

O que é Aprendizado por Imit ação?

O aprendizado por imitação (IL) — também chamado de aprendizado por demonstração (LfD) ou clonagem comportamental — treina uma política para replicar ações capturadas de um operador humano. Durante a coleta de dados, um demonstrador habilidoso teleopera o robô através da tarefa alvo enquanto sensores registram posições das juntas, poses do efetor final, quadros de câmera e qualquer outro estado relevante. Esses dados registrados se tornam o conjunto de treinamento para uma política de rede neural.

O apelo do IL em relação ao aprendizado por reforço é prático: você não precisa criar um sinal de recompensa, executar milhões de simulações ou resolver um problema de exploração com recompensas esparsas. Se um humano pode realizar a tarefa, o robô pode potencialmente aprendê-la a partir de algumas centenas a alguns milhares de demonstrações. O desafio é a generalização — políticas treinadas em demonstrações restritas podem falhar quando as posições dos objetos, iluminação ou variações de tarefas diferem da distribuição de treinamento.

A pesquisa moderna em IL aborda isso por meio de melhores arquiteturas, conjuntos de dados maiores e mais diversos, e representações visuais pré-treinadas. O campo avançou rapidamente desde 2023, e o aprendizado por imitação de qualidade de produção agora está ao alcance de equipes sem acesso a um programa de doutorado em robótica.

ACT: Agrupamento de Ações com Transformers

O ACT, introduzido juntamente com a plataforma robótica bimanual ALOHA da Stanford, trata o controle do robô como um problema de previsão de sequência. A política prevê um agrupamento de ações futuras — tipicamente 50–100 passos de tempo — em vez de uma única próxima ação. Esse agrupamento de ações reduz o erro acumulado, que é o principal modo de falha do clonagem comportamental ingênua, onde pequenos erros de previsão se acumulam ao longo de uma trajetória.

O ACT utiliza um CVAE (Autoencoder Variacional Condicional) durante o treinamento para capturar a multimodalidade das demonstrações humanas — o fato de que muitas vezes há mais de uma maneira correta de completar uma tarefa. No momento da inferência, o decodificador gera sequências de ações condicionadas às observações atuais da câmera e ao estado das juntas. O resultado é uma política que lida com a variação natural nas tarefas demonstradas por humanos sem artefatos de média de modos.

O ACT é um bom ponto de partida para tarefas de manipulação bimanual. Ele requer volumes de dados relativamente modestos (50–200 demonstrações por tarefa) e treina em uma única GPU em horas. Se você está trabalhando com hardware ALOHA ou uma configuração bimanual semelhante, o ACT deve ser seu primeiro algoritmo a experimentar. serviços de dados O SVRC inclui conjuntos de dados compatíveis com o ACT, pré-processados e coletados em plataformas da classe ALOHA.

Política de Difusão: Lidando com Distribuições de Ação Multimodal

A Política de Difusão aplica modelos de difusão de correspondência de pontuação — a mesma classe de modelos que alimenta a Difusão Estável para imagens — ao espaço de ação do robô. Em vez de prever uma única melhor ação, a política aprende a distribuição completa de ações que um demonstrador humano pode realizar. No momento da inferência, ela executa um processo de desnoising para amostrar uma ação de alta qualidade dessa distribuição.

A principal vantagem sobre o ACT é como ela lida com tarefas multimodais: cenários onde um humano pode agarrar um objeto pela esquerda ou pela direita, ou se aproximar de um alvo a partir de múltiplos ângulos válidos. A clonagem comportamental padrão média esses modos, produzindo uma política que vai pelo meio e falha. A Política de Difusão amostra do modo correto dado o contexto atual, produzindo um comportamento mais robusto em tarefas ambíguas.

O trade-off é a velocidade de inferência. A Política de Difusão com um backbone UNet requer 100 passos de desnoising na inferência por padrão, o que pode ser muito lento para controle em tempo real. O sampler DDIM e as variantes de destilação de consistência reduzem isso para 10–25 passos, tornando a operação em tempo real viável. Para requisitos de dados, a Política de Difusão geralmente se beneficia de mais demonstrações do que o ACT, mas recompensa a diversidade do conjunto de dados mais do que a quantidade bruta.

Modelos de Visão-Linguagem-Ação: IL em Escala

VLAs como OpenVLA, pi0 e RT-2 expandem o aprendizado por imitação ao pré-treinar em dados visuais e linguísticos em escala da internet antes de ajustar finamente em demonstrações de robôs. O backbone pré-treinado fornece uma representação rica de objetos, cenas e relacionamentos que se transfere poderosamente para a manipulação robótica. O ajuste fino requer muito menos demonstrações do que treinar do zero — às vezes tão poucas quanto 10–50 exemplos específicos de tarefas.

Para equipes que podem arcar com os requisitos de computação e licenciamento, os VLAs representam a atual fronteira de desempenho do IL. Eles generalizam melhor para objetos novos, novos ambientes e variações de tarefas especificadas por linguagem. infraestrutura de teleoperação O SVRC fornece conjuntos de dados de ajuste fino e guia de explicação dos modelos VLA compatíveis com os formatos de dados esperados pelos principais pipelines de treinamento de VLA. Veja nosso

Requisitos de Dados para Aprendizado por Imitação

O conjunto de dados mínimo viável para uma única tarefa de manipulação é tipicamente 50 demonstrações para o ACT, 100–200 para a Política de Difusão e 20–50 para ajuste fino de VLA. Estas são estimativas mínimas em condições favoráveis — iluminação consistente, pontos de vista de câmera fixos e objetos em posições previsíveis. A implantação no mundo real requer 3–5x mais dados para cobrir a variação que seu sistema encontrará em produção.

A qualidade dos dados é tão importante quanto a quantidade. As demonstrações devem ser coletadas por operadores qualificados que completam a tarefa de forma consistente e limpa. Tentativas falhadas, hesitações e correções que entram no conjunto de treinamento como sucessos rotulados degradarão o desempenho da política. serviço de coleta de dados gerenciado O SVRC fornece operadores treinados, seleção de episódios filtrados por qualidade e embalagem estruturada de conjuntos de dados — economizando semanas de trabalho da sua equipe de engenharia em pipelines de dados.

A diversidade de sensores também é importante. Políticas treinadas em uma única câmera de pulso frequentemente falham quando essa câmera está ocluída. A melhor prática é coletar de pelo menos dois pontos de vista da câmera — uma visão fixa de cima ou lateral e uma montada no pulso — e incluir o estado proprioceptivo (ângulos e velocidades das articulações) juntamente com as observações visuais.

Hardware e Infraestrutura para Pesquisa em IL

A pilha de hardware mínima para um projeto de pesquisa em aprendizado por imitação inclui: um braço robótico com graus de liberdade suficientes para sua tarefa (pelo menos 6-DOF para manipulação geral), um sistema de teleoperação líder-seguidor ou baseado em VR para coleta de dados, duas ou mais câmeras, e uma estação de trabalho com pelo menos uma GPU NVIDIA (RTX 3090 ou melhor para Política ACT/Difusão; A100 ou H100 recomendado para ajuste fino de VLA).

SVRC's catálogo de hardware inclui a plataforma OpenArm, que vem com um braço líder de teleoperação compatível e hardware de montagem para configurações padrão de câmera. O plataforma SVRC fornece a camada de software: gravação de episódios, gerenciamento de conjuntos de dados, pipelines de treinamento de políticas e ferramentas de avaliação. As equipes podem alugar em vez de comprar hardware para projetos de curto prazo através do programa de leasing de robôs, que é frequentemente o caminho mais rápido para um protótipo funcional de IL.

Para equipes que desejam começar com dados antes de investir em hardware, o SVRC oferece acesso a conjuntos de dados de demonstração de múltiplas tarefas, coletados em nossa instalação em Palo Alto. Esses conjuntos de dados cobrem primitivas comuns de manipulação — pegar, colocar, despejar, dobrar, montar — e estão formatados para uso direto com ACT, Política de Difusão e Hugging Face LeRobot. Entre em contato com nossa equipe para discutir opções de acesso a conjuntos de dados.