Прежде чем начать: бимануальная ориентация

Почему две руки?

Одна рука робота эффективна для задач, где достаточно одного рабочего органа: захват и размещение, сортировка, проверка. Но для большого класса реальных задач манипулирования принципиально требуются две руки — точно так же, как люди используют обе руки как нечто само собой разумеющееся. Держите емкость во время заливки. Сборка деталей, для стабилизации которых требуется одна рука, а для вставки — другая. Складывание ткани, снятие упаковки, передача предмета из одной руки в другую в процессе выполнения задачи.

Эти задачи не просто «сложнее» для одной руки — они архитектурно несовместимы с установкой с одной рукой. Бимануальная архитектура DK1 дает вам доступ ко всему этому классу задач. А поскольку оба подразделения работают в общем рабочем пространстве с синхронизированными совместными состояниями, установка имитационного обучения — телеоперация лидера/последователя в рамках единой политики — проще, чем можно было ожидать.

Концепция лидера/последователя

DK1 использует архитектура лидер/последователь для телеоперации. Идея проста:

Когда вы действуете дистанционно, вы физически перемещаете руку лидера. Следящие рычаги повторяют это движение в течение миллисекунд. Когда вы записываете данные, сохраняются состояния суставов ведомого плеча, а не ведущего. Когда вы тренируете политику, вы тренируете ведомые руки воспроизводить модели движений, захваченные вашим лидером. Лидерная рука полностью выпадает во время вывода.

Эта архитектура более естественна, чем дистанционное управление с клавиатуры или контроллера VR, поскольку отображение движения является прямым: перемещение ведущего на 30° отображает 30° на ведомом. Проприоцепция вашего тела передается непосредственно роботу.

Контрольный список оборудования

Прежде чем приступить к Главе 1, проверьте каждый пункт ниже.

• Следящий рычаг DK1 ×2 — обе руки из комплекта. Убедитесь, что оба доставлены неповрежденными и что все соединения свободно перемещаются при отключении питания.
• Рукоятка ведущего контроллера DK1 - более легкий контроллер телеуправления с задним приводом. Должно быть легко перемещаться вручную.
• Источники питания ×2 — по одному на ведомый рычаг. Входит в комплект. Убедитесь, что характеристики напряжения соответствуют вашей сетевой розетке (см. этикетку на поставке).
• Кабели USB-C ×3 — по одному на руку (оба ведомых + ведущий) для первоначального подключения. Более короткие кабели (0,5–1 м) легче использовать в двуручном рабочем пространстве.
• Камеры ×2 — одна широкоугольная камера рабочего пространства (сверху вниз или фронтальная) и одна наручная камера на основном ведомом рычаге. Третья камера на вторичном рычаге не является обязательной, но рекомендуется для задач, требующих большого количества контактов.
• Монтажное оборудование — для DK1 требуется фиксированное крепление обоих ведомых рычагов. В комплект входят пластины, крепящиеся болтами. Требуется жесткий стол или лабораторный стол — складной стол вызовет вибрацию, которая ухудшит качество ваших данных.
• Бимануальное рабочее пространство — не менее 80×60 см чистой плоской поверхности между двумя кронштейнами. Отметьте границы досягаемости руки липкой лентой во время Блока 1, чтобы определить безопасную рабочую зону.

Нет физического оборудования? Большую часть этого пути вы можете пройти в бимануальном моделировании MuJoCo. См. Руководство по настройке моделирования DK1 перед блоком 1.

Контрольный список программного обеспечения

• Убунту 22.04 или 24.04. — те же требования, что и для OpenArm. ВМ работает на сим; реальному оборудованию требуется встроенный Linux для работы CAN-шины в реальном времени.
• Питон 3.10 или выше - бегать python3 --version чтобы проверить.
• ROS 2 Скромный или джазовый — если вы прошли путь OpenArm, он уже установлен. Бегать ros2 --version чтобы проверить.
• DK1 SDK (отдельно от OpenArm SDK) — установка описана в разделе 2. Не устанавливайте сейчас — конфигурация сопряжения должна произойти после физической установки обоих кронштейнов.
• ЛеРобот — если он у вас установлен по пути OpenArm, он будет работать здесь. Формат бимануального набора данных использует ту же структуру с двумя массивами с совместными состояниями. Для бимануальной поддержки требуется версия ≥0.3.0.
• ~25 ГБ свободного места на диске — бимануальные наборы данных больше, чем однорукие наборы данных (два совместных потока состояний, две камеры). Тренировочные контрольные точки добавляют еще 5–10 ГБ.
• Графический процессор с видеопамятью более 10 ГБ — настоятельно рекомендуется. Бимануальное обучение ACT на ЦП возможно, но для хорошего обучения потребуется 8–12 часов. RTX 3080 или лучше сокращает это время до 2 часов.

Оценка времени

Бимануальная настройка занимает больше времени, чем настройка с помощью одной руки — с учетом времени на монтаж, выравнивание и проверку синхронизации для каждого устройства.

Запланируйте 4–5 сеансов. Блоки 1 и 2 естественным образом выполняются вместе (настройка оборудования + настройка программного обеспечения за один сеанс). Блоки 3 и 4 лучше всего выполнять вместе, если вы свободно владеете двуручным дистанционным управлением. Обучение в Блоке 5 может проходить в одночасье.

Как получить помощь

1. Проверьте проверка завершения внизу любого блока, в котором вы находитесь — он точно определяет, как выглядит «готово».
2. Опубликовать в Тема на форуме DK1 — укажите версию Ubuntu, версию SDK, точное сообщение об ошибке и устройство, в котором вы находитесь. Проблемы, связанные с бимануалом, часто имеют коды ошибок, специфичные для руки; включить оба.
3. Проверьте раздел устранения неполадок в модуле 2 — он охватывает наиболее распространенные ошибки синхронизации ведущего и ведомого.
4. Присоединяйтесь к СВРК Дискорд в #dk1-path — более быстрый ответ в дневное время по тихоокеанскому времени.

Альтернатива моделирования

Траектория DK1 поддерживает бимануальное моделирование MuJoCo, которое воспроизводит архитектуру ведущего/ведомого, синхронизированные состояния суставов и сигналы камер. Вы можете выполнить модули с 0 по 5 полностью в симуляции. Блок 6 (реальное развертывание оборудования) требует физического вооружения. Руководство по настройке моделирования находится по адресу аппаратное обеспечение/dk1/моделирование.