Бимануальный сбор данных

Проверка безопасности перед сессией

Освободите общее рабочее пространство между обоими кронштейнами (1,5 м × 1 м). Убедитесь, что обе руки достигают общего рабочего пространства без столкновений. Перед записью проверьте аварийную остановку. Видеть Страница безопасности.

Подключите и проверьте оба рычага

# Verify serial ports are available
ls /dev/ttyACM*
# Expected: /dev/ttyACM0 (leader) and /dev/ttyACM1 (follower)

# Quick connection test
python -m lerobot.scripts.control_robot \
  --robot.type=bi_dk1_follower \
  --robot.config=~/.lerobot/robots/dk1_bimanual.yaml \
  --control.type=none

Проверьте каналы камеры

Перед запуском LeRobot обе камеры должны вести потоковую передачу. Отсутствующая камера будет автоматически воспроизводить эпизоды с нулевыми кадрами изображения.

python3 -c "
import cv2
for i in [0, 2]:
    cap = cv2.VideoCapture(i)
    if cap.isOpened():
        ret, frame = cap.read()
        print(f'Camera {i}: OK ({frame.shape[1]}x{frame.shape[0]})')
    else:
        print(f'Camera {i}: FAILED')
    cap.release()
"

Переведите руки в исходное положение

Вручную переместите ведущий рычаг в исходное положение телеопаса. Следящий рычаг будет отражать это. Удерживайте рычаг лидера неподвижно в течение 2–3 секунд, чтобы подтвердить синхронизацию перед началом периода разминки.

Настройте сцену задач

Размещайте предметы в одинаковых исходных положениях для обеих рук. Сфотографируйте стартовую конфигурацию. Для бимануальных задач отметьте точные позиции с помощью ленты — согласованность сцены еще более важна, поскольку траектории обеих рук должны быть совместимыми.

Начать двуручную запись LeRobot

source ~/.venvs/dk1/bin/activate
python -m lerobot.scripts.control_robot \
  --robot.type=bi_dk1_follower \
  --robot.config=~/.lerobot/robots/dk1_bimanual.yaml \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/dk1-bimanual-pick-place-v1 \
  --control.num_episodes=50 \
  --control.single_task="Pick up block with left arm, place in bin with right arm" \
  --control.warmup_time_s=5 \
  --control.reset_time_s=15

Используйте более длинный reset_time_s для бимануальных задач — сброс настроек двух рук и сцены занимает больше времени, чем настройка одной рукой.

Просмотрите и воспроизведите эпизоды

После каждой серии из 10 эпизодов воспроизведите и просмотрите их, прежде чем продолжить. Обратите внимание на координацию рук — отставание между левой и правой руками будет проявляться в виде дрожи в движениях ведомого.

python -m lerobot.scripts.visualize_dataset \
  --repo_id=your-username/dk1-bimanual-pick-place-v1 \
  --episode_index=0

Нажмите на HuggingFace Hub

huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo_id=your-username/dk1-bimanual-pick-place-v1