Pré-treinamento
Pré-treinamento é a fase do desenvolvimento de modelo em que uma rede neural é treinada em um conjunto de dados grande e diverso antes do ajuste fino específico da tarefa. Para modelos fundamentais de robótica, o pré-treinamento pode ocorrer em dados de visão-linguagem em escala de internet (imagens, vídeo, texto), conjuntos de dados de robôs multi-encarnação (Open X-Embodiment), dados de simulação sintética, ou uma combinação. O modelo pré-treinado aprende representações gerais ricas de objetos, ações e conceitos que se transferem para tarefas de robô a jusante com muito menos demonstrações do que treinamento do zero. Pré-treinamento é o mecanismo por trás do sucesso de modelos VLA como RT-2, que se beneficia tanto de pré-treinamento robótico quanto em escala de internet. Veja isto na prática: nossas avaliações em mundo real →