Блок 0 — Ориентация

Краткое руководство по DK1: перед тем, как начать

Прочтите это в первую очередь. На этой странице вы точно узнаете, какое оборудование вам нужно, какое программное обеспечение установить, сколько времени займет установка и что вы сможете сделать после завершения полного двуручного пути.

Время

Сколько времени это займет?

От коробки до бимануального сбора данных. Установка DK1 на две руки занимает больше времени, чем установка на одну руку — планируйте соответственно.

Распаковка и сборка

~45 м

Проверьте содержимое, проверьте сервоприводы на обоих рычагах, установите настольное оборудование.

Установка программного обеспечения

~30 м

Клонировать репозиторий trlc-dk1, установить как плагин LeRobot с uv

Обнаружение порта

~20м

Запустите lerobot-find-port, назначьте ttyACM* для обеих рук.

Калибровка

~20м

Калибруйте ведущую руку, а затем ведомую руку отдельно.

Первая телеоперация

~30 м

Запустите lerobot-teleoperate, проверьте отслеживание лидера и последователей.

Первый набор данных

~1 час

Бимануальная запись, проверка качества, загрузка в HuggingFace

Общее время первого дня: примерно 3–4 часа для первого полного бимануального сеанса. Для новичков удобно распределить занятия на два дня.

Что вам нужно

Контрольный список оборудования

Все, что должно быть на вашем столе, прежде чем вы начнете. Товары с пометкой «в коробке» поставляются вместе с комплектом DK1.

✓

Два рычага DK1 (лидер + ведомый) В коробке — ведомый рычаг: 7 степеней свободы + захват (DM4340 + сервомашинки DM4310). Лидерная рука: 7 степеней свободы + захват (сервоприводы Dynamixel XL330). Обе руки должны присутствовать.
✓

Два кабеля USB-C (по одному на каждую руку) В коробке — подключает каждый кронштейн к USB-портам хост-компьютера. Если возможно, используйте отдельные USB-контроллеры, чтобы избежать конфликтов за полосу пропускания.
✓

Источник питания для ведомого рычага В коробке — ведомый рычаг (двигатели DM4340) требует специального блока питания. Лидерный рычаг питается от шины USB.
✓

Настольное монтажное оборудование В коробке — болты М5, опорные пластины на оба рычага. Стабильная установка имеет решающее значение: ведомый рычаг создает крутящие моменты, которые смещают незакрепленный рычаг во время телеоперации.
✓

Хост-компьютер под управлением Ubuntu 22.04 Не входит в комплект поставки — требуется установка родной Ubuntu. Минимум: 8 ГБ ОЗУ, 4 порта USB 3.0 (2 кронштейна + 2 камеры). Скачать Убунту →
✓

Две камеры (вид с запястья + верхняя) Не входит в комплект, но необходим для сбора данных — веб-камера USB или RealSense D435i. Установите по одному на каждый рабочий орган ведомого рычага, один сверху, чтобы было видно рабочее пространство.
✓

Свободное рабочее пространство размером 1,5 × 1 м. Обязательно — для бимануальной установки требуется больше места на столе, чем для одной руки. Оба плеча должны достичь центра общего рабочего пространства. См. Страница безопасности →

⚠

Примечание по бимануальному режиму: DK1 использует конфигурацию «ведущий/ведомый». Ведущий рычаг (Dynamixel XL330) перемещается рукой оператора. Следящий рычаг (DM4340) повторяет эти движения в реальном времени. Оба плеча должны быть откалиброваны и подключены перед началом сеанса записи. Никогда не включайте только одну руку.

Предварительные требования к программному обеспечению

Что установить перед началом работы

The Руководство по установке подробно описывает каждый шаг. Это краткое изложение, чтобы вы могли подготовиться заранее.

Операционная система

Ubuntu 22.04 LTS (Джемми). Ubuntu 20.04 также работает, но рекомендуется версия 22.04. macOS и Windows не поддерживаются на реальном оборудовании.

Питон

Python 3.10+ (входит в состав Ubuntu 22.04). Плагин DK1 предназначен для Python 3.10+. Установите пип и уф:

sudo apt update
sudo apt install python3-pip python3-venv -y
pip install uv

ROS2 Скромный

ROS2 Humble Hawksbill — рекомендуемый дистрибутив. DK1 поддерживает ROS2 для двуручного управления более высокого уровня (опция — не требуется для пути сбора данных только для LeRobot):

sudo apt install ros-humble-desktop ros-humble-ros2-control \
  ros-humble-ros2-controllers -y

ЛеРобот

LeRobot (HuggingFace) — это основная платформа для сбора данных DK1. Установить через пип:

pip install lerobot

Плагин LeRobot DK1

В репозитории TRLC-DK1 имеется плагин LeRobot, который регистрирует dk1_leader, dk1_follower, bi_dk1_leader, и bi_dk1_follower типы устройств:

git clone https://github.com/TRLC-AI/trlc-dk1.git
cd trlc-dk1
uv pip install -e .

Моделирование (опционально — оборудование не требуется)

✓ Доступно моделирование

Вы можете протестировать программный стек DK1 без аппаратного обеспечения с помощью MuJoCo с бимануальной моделью TRLC-DK1:

pip install mujoco
# Clone the DK1 MuJoCo model
git clone https://github.com/TRLC-AI/trlc-dk1-mujoco.git
python trlc-dk1-mujoco/examples/bimanual_sim.py

Модель MuJoCo включает в себя физику как ведущего, так и ведомого рычага, правильную геометрию рабочего пространства и динамику захвата. См. Программное обеспечение → Раздел «Моделирование» для полной настройки.

Конечная цель

Что вы можете сделать после полного пути

После выполнения всех 5 шагов — распаковки первого бимануального набора данных — вы сможете:

✓ Телеопируйте обе руки одновременно, используя ведущую руку для естественного бимануального управления человеческого качества.

✓ Запись синхронизированных бимануальных эпизодов: 14 состояний суставов, 2 захвата, многокамерное видео, все с отметкой времени.

✓ Экспортируйте наборы данных в формате LeRobot / HuggingFace с помощью bi_dk1_leader и bi_dk1_follower схема устройства

✓ Обучите ACT (Action Chunking Transformer) выполнению двуручных задач по захвату и размещению с использованием записанных данных.

✓ Выполните двуручный вывод политики на паре ведомых рычагов DK1 с обученной моделью.

✓ Проверка политик в двуручном моделировании MuJoCo перед развертыванием на реальном оборудовании.

Поддерживать

Как получить помощь

Вы не будете действовать в одиночку. Здесь есть где задавать вопросы на каждом этапе.

💬

Готовый? Запустите Руководство по установке.

После установки обоих устройств и Ubuntu руководство по установке проведет вас через каждый шаг.

Шаг 1: Распаковка и настройка → Прочтите «Безопасность прежде всего» Форум ДК1