Руководство по настройке Mobile ALOHA: аппаратное обеспечение, программное обеспечение и первая демонстрация

Обзор сборки оборудования

Мобильная система ALOHA состоит из колесной мобильной базы (обычно AgileX Tracer или эквивалентной платформы с дифференциальным приводом) с двумя ViperX 300 или аналогичными рычагами с 6 степенями свободы, установленными на приподнятом шасси. Бимануальная установка требует подходящих пар ведущего и ведомого рычагов: ведущие рычаги легче, имеют возможность заднего хода и удерживаются человеком-оператором во время телеоперации; Следящие руки — это роботизированные руки, которые отражают движения лидера в реальном времени.

Сборка начинается с установки ведомых рычагов на шасси на правильной высоте и с боковым смещением, чтобы соответствовать эргономике ведущего рычага. Несоответствие геометрии ведущего и ведомого элемента является распространенным источником проблем с качеством управления. Стек камер — обычно камера, крепящаяся на запястье на каждом ведомом рычаге, а также одна или две потолочные камеры — должен быть установлен и закреплен до начала калибровки программного обеспечения. Управление кабелями имеет большее значение, чем кажется: незакрепленные кабели прерывают эпизоды и генерируют неверные данные.

Калибровка лидера и последователя

Калибровка — это шаг, к которому спешат большинство команд и о котором многие сожалеют. Перед записью одного эпизода ведущее и ведомое плечи должны находиться в совпадающих нулевых положениях. Большинство установок на базе ViperX поставляются с приспособлениями для физической калибровки — используйте их. После механического обнуления программная калибровка фиксирует совместное смещение между ведущим и ведомым в нулевой позиции и сохраняет его как коррекцию смещения, применяемую в реальном времени во время телеоперации.

Проверьте качество калибровки, медленно управляя ведущими рычагами в их рабочем пространстве и наблюдая за движением ведомых рычагов. Любая постоянная задержка суставного пространства, смещение под определенными углами суставов или асимметричная реакция между левым и правым указывают на ошибку калибровки, которая ухудшит качество вашего набора данных. Выполните повторную калибровку перед началом любой кампании по сбору данных и повторно проверьте калибровку после доставки системы или выполнения механических регулировок.

Программный стек: ACT и LeRobot

В оригинальной статье Mobile ALOHA использовалась политика ACT (Action Chunking with Transformers), обученная на демонстрационных данных. Стек программного обеспечения состоит из трех уровней: уровень управления низкого уровня, работающий на встроенных вычислениях робота, уровень записи телеопераций, который синхронно фиксирует состояния суставов и кадры камеры, и уровень обучения, на котором ACT или другая политика обучается на собранном наборе данных.

LeRobot от Hugging Face стал стандартной платформой с открытым исходным кодом для этого рабочего процесса. Он предоставляет унифицированный формат данных, сценарии записи для оборудования в стиле ALOHA и конвейеры обучения для ACT, Diffusion Policy и TDMPC. SVRC платформа данных экспортирует наборы данных в формат, совместимый с LeRobot, что упрощает обучение на данных, собранных SVRC, или загрузку собственных демонстраций для хранения и управления версиями.

Запись вашего первого сеанса сбора данных

Перед записью точно определите задачу. «Поднять чашку» слишком расплывчато — укажите начальное местоположение, ориентацию и целевое размещение чашки. Последовательность в настройке задач — это то, что делает наборы демонстрационных данных обучаемыми. Подготовьте 3–5 процедур сброса, чтобы быстро вернуть рабочее пространство в исходное состояние между эпизодами.

На первом занятии постарайтесь провести 50 успешных демонстраций одной, четко определенной задачи. Запись с частотой 30 Гц или выше. Аннотируйте каждый эпизод флажком успеха сразу после записи — не оставляйте аннотацию на потом. SVRC рекомендует выполнять запись как минимум в двух разных условиях освещения и с небольшими изменениями в расположении объектов, чтобы с самого начала создать разнообразие. Платформа сервисов передачи данных SVRC предоставляет браузер эпизодов и инструменты аннотаций для оптимизации этого рабочего процесса.

Распространенные проблемы и способы их устранения

Наиболее частые проблемы с новыми установками Mobile ALOHA делятся на четыре категории. Во-первых, задержка между лидером и последователем: обычно вызвана задержкой сети в контуре управления — убедитесь, что лидер и подчиненный находятся на одном локальном компьютере или подключены через выделенный канал Ethernet, а не через Wi-Fi. Во-вторых, отклонение синхронизации камер: если наручные и потолочные камеры не синхронизированы аппаратно, во время загрузки данных используйте выравнивание на основе временных меток, а не выравнивание индекса кадра. В-третьих, столкновение рук во время бимануальных задач: добавьте мягкие ограничения суставов и сетки столкновений в URDF перед интенсивными тренировками. В-четвертых, движение основания мешает демонстрации рук: при сборе данных, предназначенных только для манипуляций, включите блокировку основания, чтобы предотвратить смещение.

Следующие шаги после первой демонстрации

Получив чистый набор данных из 50 эпизодов, используйте конвейер обучения LeRobot для обучения политике ACT. Ожидайте, что показатель успеха с первой попытки при выполнении четко определенной задачи с чистыми данными составит 40–60 % — это нормально и быстро улучшается по мере увеличения количества демонстраций и разнообразия данных. По мере масштабирования SVRC услуги по сбору данных может дополнить ваш набор данных эпизодами, собранными профессионально, с использованием стандартизированного оборудования. Для приобретения оборудования или аренды бимануальной системы посетите наш каталог оборудования или свяжитесь с командой SVRC.