Что делает данные робота готовыми к обучению

В робототехнике набор данных готов к обучению, когда группа моделирования может обучать и оценивать политики, не перестраивая конвейер данных с нуля и не обнаруживая «ошибок» на поздней стадии (отсутствующие временные метки, дрейф калибровки, несоответствующая семантика действий, непоследовательные сбросы), которые молча делают результаты недействительными.

Это важно, поскольку данные робототехники фундаментально отличаются от классических наборов данных ML. Оно мультимодальное, временное, эпизодическое и часто многомерное: изображения с нескольких камер, состояние робота, силы, тактильные сигналы, действия оператора и многое другое. Большая «куча журналов» по-прежнему может оказаться непригодной для имитации обучения, автономного RL или базовых моделей, если семантика и синхронизация не спроектированы заранее.

Практическое определение

Данные робота, готового к обучению, представляют собой данные взаимодействия на основе эпизодов, чьи наблюдения, действия и семантика задач (а) постоянны во времени, (б) учитывают калибровку, (в) хорошо документированы и (г) проверены на сквозной основе, поэтому последующий обучающий код использует их как точную запись того, что произошло на оборудовании.

Структура набора данных, соответствующая тому, как обучаются политики

Эпизоды должны иметь: известное условие начала, единообразное определение завершения, четкие границы шагов. Определения наблюдения и действия должны быть явными: режим управления, системы координат, единицы измерения, семантика задачи. Определение задачи первоклассное: идентификаторы задач, описания языков, конфигурация сцены, критерии успеха.

Синхронизация времени и калибровка

Для обучения роботов время — это контроль. Кадры камеры, совместные состояния и действия должны соответствовать одному и тому же моменту. Калибровка не менее важна: внутренние и внешние характеристики камеры определяют, как пиксели соотносятся с физическим миром. Если время и калибровка не заслуживают доверия, то и набор данных тоже не заслуживает доверия.

Покрытие, отказ и человеческий вклад

Готовые к обучению наборы данных предназначены для охвата: разнообразие сцен, отказ и восстановление в качестве контроля, человеческий вклад в качестве первоклассных сигналов. Промахи, промахи, исправления и повторные попытки не являются шумом — они являются важными сигналами устойчивости.

Как мы подходим к этому

Наша служба сбора данных построена на основе требований, готовых к обучению: мультимодальный синхронизированный захват, рабочие процессы телеоперации с участием человека, проектирование наборов данных на основе задач, сквозной контроль качества и проверка, четкая документация и заявленные ограничения перед поставкой.