Anotação de Dados de Robô: Como Rotular Demonstrações de Robô para Treinamento

O que a Anotação Significa para os Dados do Robô

Ao contrário da classificação de imagens, onde a anotação significa desenhar caixas ou clicar em rótulos, a anotação de demonstrações de robô é mais rica e estruturada. Um único episódio de robô — tipicamente 20–200 segundos de manipulação — precisa ser rotulado em múltiplos níveis: o episódio foi um sucesso ou falha, que linguagem descreve a tarefa, onde começam e terminam as fases semanticamente distintas, e há quadros que devem ser excluídos do treinamento devido a erros de hardware ou erros do operador.

A anotação é tipicamente feita por revisores humanos assistindo a replays de vídeo de episódios gravados junto com gráficos de estados das juntas e abertura do gripper. Boas ferramentas de anotação exibem vídeo sincronizado de múltiplas câmeras simultaneamente, facilitando o julgamento do sucesso a partir de perspectivas que as próprias câmeras do robô podem não capturar claramente.

Sinais de Sucesso: A Anotação Mais Importante

Cada episódio em um conjunto de dados de treinamento de robô deve ser rotulado com um sinal de sucesso binário: o robô completou a tarefa com sucesso? Isso parece simples, mas os critérios de sucesso devem ser definidos com precisão antes que a anotação comece. "Coloque o copo no prato" requer uma especificação: o copo precisa estar em pé, a orientação da alça importa, quanta erro posicional é aceitável? Anotadores que aplicam diferentes padrões implícitos ao mesmo conjunto de dados criam rótulos ruidosos que degradam o desempenho do treinamento.

Escreva um documento de especificação de sucesso de uma página antes que a anotação comece, com imagens de exemplo de casos de sucesso e falha. Use este documento para calibrar os anotadores. Meça o acordo entre anotadores em um subconjunto compartilhado de episódios — se o acordo estiver abaixo de 90%, seus critérios de sucesso precisam de esclarecimento. O pipeline de anotação do SVRC requer documentos de critérios de sucesso explícitos e verificações de acordo entre anotadores antes que qualquer conjunto de dados seja marcado como pronto para treinamento.

Rótulos de Linguagem

Anotações de linguagem anexam descrições em linguagem natural a episódios ou segmentos de episódios. Estas são necessárias para treinar políticas condicionadas à linguagem — políticas que seguem instruções como "pegue o bloco vermelho" em vez de ter a tarefa codificada. Anotações de linguagem também permitem compatibilidade com modelos de visão-linguagem-ação (VLA) e permitem que conjuntos de dados sejam pesquisados e filtrados por descrição da tarefa.

Escreva anotações de linguagem em dois níveis de especificidade: um nome curto da tarefa ("colocação do copo") e uma instrução em linguagem natural ("pegue o copo branco e coloque-o no prato azul"). A instrução deve descrever o que um observador humano vê acontecendo, não o estado interno do robô. Se sua tarefa envolver variações de tarefa — objetos diferentes, locais-alvo diferentes — cada variação deve ter uma instrução correspondente que a distingue das outras.

Segmentação de Tarefas

Para tarefas de longo prazo que envolvem múltiplas subtarefas sequenciais, rótulos de segmentação marcam os limites entre fases. Uma tarefa de arrumação de mesa pode ser segmentada em: alcançar o copo, agarrar o copo, transportar o copo, colocar o copo, soltar o copo. A segmentação permite treinamento de políticas hierárquicas, métricas de sucesso em nível de subtarefa e aumento seletivo de dados. Também permite depuração cirúrgica: se uma política falha durante o transporte, mas tem sucesso durante o agarrar, os rótulos de segmentação permitem medir as taxas de sucesso da subtarefa e direcionar o esforço de coleta de dados onde é mais necessário.

A anotação de segmentação é mais cara do que a sinalização de sucesso e nem sempre é necessária. Priorize a segmentação para tarefas com três ou mais fases semanticamente distintas, ou quando você planeja usar uma arquitetura de política hierárquica.

Ferramentas de Anotação e Padrões de Qualidade

Ferramentas de anotação comuns para dados de robôs incluem Label Studio (código aberto, suporta dados de vídeo e séries temporais), CVAT (ferramenta de anotação de visão computacional, boa para sobreposições de caixas delimitadoras) e navegadores de episódios personalizados construídos com Gradio ou Streamlit. A plataforma de dados da SVRC inclui uma interface de anotação de episódios integrada acessível através do aplicativo web, suportando bandeiras de sucesso, rótulos de linguagem e marcação de exclusão em nível de quadro.

Padrões de qualidade importam mais do que quantidade. A SVRC aplica um portão de qualidade em três estágios a todos os conjuntos de dados: autoanotação do operador imediatamente após a gravação, revisão secundária por um anotador treinado e verificações de consistência automatizadas comparando anotações com estatísticas de estado conjunto (por exemplo, episódios marcados como sucesso onde o gripper nunca fechou são sinalizados para nova revisão).

Pipeline de Anotação da SVRC

Quando você usa a SVRC serviços de coleta de dados, a anotação faz parte do entregável. Nossos operadores anotam cada episódio com bandeiras de sucesso e rótulos de linguagem durante a sessão de gravação, e nossa equipe de anotação realiza uma revisão secundária antes da exportação do conjunto de dados. Você recebe um conjunto de dados com anotações de alta confiança, pontuações de concordância dos anotadores e um relatório de qualidade completo. Para equipes que trazem seus próprios dados coletados, a SVRC oferece serviços apenas de anotação e pode processar conjuntos de dados existentes coletados em qualquer plataforma de hardware suportada. Contate-nos para discutir suas necessidades de anotação de conjuntos de dados.