Наш подход

Цикл данных

Основная проблема в обучении роботов — не размер модели, а данные. Откуда он берется, как его можно использовать и как сочетаются разные источники. Мы создаем замкнутый цикл, который превращает реальные неудачи в следующий раунд обучения.

Что мы измеряем

Наша полярная звезда — это не объем кода или размер модели. Это пять цифр:

• Время адаптации нового робота — Насколько быстро может подключиться новая платформа?
• Новая задача для первого базового плана — От демонстрации к работоспособной политике
• Время переобучения при единичном отказе — Как быстро неудачник возвращается в следующий тренировочный раунд?
• Автоматическое покрытие оценки — Какой % решений зависит от нашего бенчмарка?
• Еженедельная зависимость от клиента — Сколько решений «да/нет» проходит через нашу систему?

Источники данных, которые мы объединяем

Данные по обучению роботов поступают по пяти основным направлениям. Одного источника недостаточно — будущее за гетерогенная комбинация данных.

• Интернет-человеческое видео — Масштаб и предшествующий, но меток действий нет. Мы используем его для структуры задач, а не для сырых двигательных команд.
• Синтетические данные — Автоматизированная генерация, но в Sim2Real пробел. Мы уделяем особое внимание дизайну вознаграждений и рандомизации доменов.
• Захват движения — Высокая точность, портативность. Мост между видео и исполнением робота.
• Телеоперация робота — Большинство ориентировано на развертывание, но дорого. Мы оптимизируем эффективность и корректируем поток в стиле RECAP.
• Гетерогенное сочетание — Кросс-задачность, кросс-робот, кросс-модальность. Настоящий рубеж.

Представление данных имеет большее значение, чем необработанный объем. Мы превращаем эпизоды в структурированные пакеты, неудачи — в готовые к обучению случаи, а контрольные показатели — в поверхности для принятия решений.

Шесть рвов, которые мы строим

1. Ров данных — Данные не самые большие, но самые скудные: реальные сбои, исправления, история оценок, кросс-роботная настройка.
2. Эталонный ров — Решение клиентов «да/нет» все больше зависит от наших критериев.
3. Адаптер ров — Скорость подключения нового робота и нового устройства ввода — самое сильное преимущество входа.
4. Ров рабочего процесса — Исследования, проектирование, тестирование и эксплуатация — все видят одни и те же факты.
5. Ров корреляции Real – Sim — Результаты наших тестов предсказывают реальную производительность.
6. Ров коммерческих отношений — От «попробуйте этот инструмент» до «мы проверяем ваш отчет ежедневно, принимаем решения еженедельно».

Контакт-богатый и тактильный

Мы специализируемся на контактные манипуляции — вставка, сборка, задачи, чувствительные к силе. Многие команды занимаются видением; настоящий замкнутый цикл для контактных задач сложнее. Мы интегрируем тактильные сигналы, сигналы крутящего момента и силы в цикл данных и политическое обучение.

Среда обучения роботов и оценка как услуга

Помимо «RL Environment as a Service», мы предлагаем Среда Real-to-Sim-to-Real и облако для оценки. Среда предназначена не только для запуска RL — она предназначена для синтетических данных, обучения политике, моделируемой оценки, воспроизведения ошибок и публикации тестов. Модель мира, создание и оценка среды унифицированы.