Coleta de Dados Bimanual

Verificação de segurança pré-sessão

Limpe o espaço de trabalho compartilhado entre os dois braços (1,5 m × 1 m). Verifique se ambos os braços alcançam o espaço de trabalho compartilhado sem colisão. Teste o E-stop antes de gravar. Veja página de segurança.

Conecte e verifique ambos os braços

# Verify serial ports are available
ls /dev/ttyACM*
# Expected: /dev/ttyACM0 (leader) and /dev/ttyACM1 (follower)

# Quick connection test
python -m lerobot.scripts.control_robot \
  --robot.type=bi_dk1_follower \
  --robot.config=~/.lerobot/robots/dk1_bimanual.yaml \
  --control.type=none

Verifique os feeds das câmeras

Ambas as câmeras devem estar transmitindo antes de iniciar o LeRobot. Uma câmera ausente produzirá episódios silenciosos com quadros de imagem nulos.

python3 -c "
import cv2
for i in [0, 2]:
    cap = cv2.VideoCapture(i)
    if cap.isOpened():
        ret, frame = cap.read()
        print(f'Camera {i}: OK ({frame.shape[1]}x{frame.shape[0]})')
    else:
        print(f'Camera {i}: FAILED')
    cap.release()
"

Mova os braços para a posição inicial

Mova manualmente o braço líder para a posição inicial de teleop. O braço seguidor irá espelhar isso. Mantenha o braço líder firme por 2–3 segundos para confirmar a sincronização antes que o período de aquecimento comece.

Configure a cena da tarefa

Coloque os objetos em posições iniciais consistentes para ambos os braços. Fotografe a configuração inicial. Para tarefas bimanual, marque as posições exatas com fita — a consistência da cena é ainda mais crítica porque as trajetórias de ambos os braços devem ser compatíveis.

Inicie a gravação bimanual do LeRobot

source ~/.venvs/dk1/bin/activate
python -m lerobot.scripts.control_robot \
  --robot.type=bi_dk1_follower \
  --robot.config=~/.lerobot/robots/dk1_bimanual.yaml \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/dk1-bimanual-pick-place-v1 \
  --control.num_episodes=50 \
  --control.single_task="Pick up block with left arm, place in bin with right arm" \
  --control.warmup_time_s=5 \
  --control.reset_time_s=15

Use um mais longo reset_time_s para tarefas bimanual — redefinir dois braços e a cena leva mais tempo do que configurações de braço único.

Revise e reproduza episódios

Após cada lote de 10 episódios, reproduza e revise antes de continuar. Preste atenção à coordenação dos braços — o atraso entre os braços esquerdo e direito aparecerá como tremores nos movimentos do seguidor.

python -m lerobot.scripts.visualize_dataset \
  --repo_id=your-username/dk1-bimanual-pick-place-v1 \
  --episode_index=0

Envie para o HuggingFace Hub

huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo_id=your-username/dk1-bimanual-pick-place-v1