Política Condicionada por Linguagem
Uma política condicionada por linguagem recebe uma instrução em linguagem natural (por exemplo, "pegue o copo vermelho e coloque-o na bandeja") como entrada adicional junto com observações visuais, permitindo que uma única rede de política execute múltiplas tarefas selecionadas em tempo de execução sem retreinamento. O condicionamento por linguagem é tipicamente implementado codificando instruções com um modelo de linguagem pré-treinado (CLIP, T5, PaLM) e fundindo a incorporação resultante com características de imagem. Modelos VLA como RT-2, OpenVLA e pi0 são condicionados por linguagem por design. Esta abordagem reduz a necessidade de treinar políticas separadas por tarefa e suporta generalização zero-shot para novas formulações de instruções. Veja isso na prática: nossas avaliações em mundo real →