Аннотация к данным робота: как маркировать демонстрационные роботы для обучения

Что означает аннотация для данных робота

В отличие от классификации изображений, где аннотация означает рисование прямоугольников или нажатие меток, аннотация демонстрации робота более богата и структурирована. Один эпизод манипуляции с роботом — обычно 20–200 секунд манипуляции — необходимо пометить на нескольких уровнях: был ли этот эпизод успешным или неудачным, на каком языке описывается задача, где начинаются и заканчиваются семантически разные фазы и есть ли какие-либо кадры, которые следует исключить из обучения из-за аппаратных ошибок или ошибок оператора.

Аннотации обычно выполняются рецензентами, просматривающими видеоповторы записанных эпизодов вместе с графиками состояний суставов и апертуры захвата. Хорошие инструменты аннотирования отображают синхронизированное видео с нескольких камер одновременно, что позволяет легко оценить успех с точки зрения, которую собственные камеры робота могут не улавливать четко.

Флаги успеха: самая важная аннотация

Каждый эпизод в наборе данных для обучения роботов должен быть помечен двоичным флагом успеха: успешно ли робот выполнил задание. Это звучит просто, но критерии успеха должны быть точно определены до начала аннотации. «Поместите чашку на тарелку» требует спецификации: должна ли чашка стоять вертикально, имеет ли значение ориентация ручки, какая допустимая ошибка позиционирования? Аннотаторы, применяющие разные неявные стандарты к одному и тому же набору данных, создают зашумленные метки, которые ухудшают эффективность обучения.

Прежде чем начать аннотацию, напишите одностраничный документ со спецификацией успеха, с примерами изображений случаев успеха и неудач. Используйте этот документ для калибровки аннотаторов. Измерьте согласие между аннотаторами для общего подмножества эпизодов: если согласие ниже 90 %, ваши критерии успеха нуждаются в уточнении. Конвейер аннотаций SVRC требует явных документов с критериями успеха и проверок соглашений между аннотаторами, прежде чем какой-либо набор данных будет помечен как готовый к обучению.

Языковые метки

Языковые аннотации добавляют описания на естественном языке к эпизодам или сегментам эпизодов. Они необходимы для обучения политикам, обусловленным языком — политикам, которые следуют инструкциям типа «поднять красный блок», а не жестко запрограммировать задачу. Языковые аннотации также обеспечивают совместимость с моделями «видение-язык-действие» (VLA) и позволяют выполнять поиск и фильтрацию наборов данных по описанию задачи.

Напишите языковые аннотации на двух уровнях детализации: короткое название задачи («постановка чашки») и инструкция на естественном языке («возьмите белую чашку и поставьте ее на синюю тарелку»). Инструкция должна описывать то, что видит человек-наблюдатель, а не внутреннее состояние робота. Если ваша задача включает в себя варианты задач — разные объекты, разные целевые местоположения — каждый вариант должен иметь соответствующую инструкцию, которая отличает его от других.

Сегментация задач

Для долгосрочных задач, включающих несколько последовательных подзадач, метки сегментации отмечают границы между этапами. Задачу по сервировке стола можно разделить на следующие этапы: дотянуться до чашки, взять чашку, транспортировать чашку, поставить чашку, освободить чашку. Сегментация обеспечивает обучение иерархической политике, метрику успеха на уровне подзадач и выборочное увеличение данных. Это также позволяет проводить хирургическую отладку: если политика терпит неудачу во время транспортировки, но преуспевает во время захвата, метки сегментации позволяют измерять показатели успешности подзадач и нацеливать усилия по сбору данных там, где это необходимо больше всего.

Аннотация сегментации обходится дороже, чем пометка об успехе, и не всегда необходима. Расставьте приоритеты сегментации для задач с тремя или более семантически различными этапами или когда вы планируете использовать иерархическую архитектуру политики.

Инструменты аннотаций и стандарты качества

К распространенным инструментам аннотирования данных роботов относятся Label Studio (с открытым исходным кодом, поддерживает данные видео и временных рядов), CVAT (инструмент аннотирования компьютерного зрения, подходящий для наложения ограничивающих рамок) и пользовательские браузеры эпизодов, созданные с помощью Gradio или Streamlit. Платформа данных SVRC включает встроенный интерфейс аннотаций эпизодов, доступный через веб-приложение, поддерживающий флаги успеха, языковые метки и маркировку исключения на уровне кадра.

Стандарты качества имеют большее значение, чем количество. SVRC применяет трехэтапный контроль качества ко всем наборам данных: самостоятельное аннотирование оператором сразу после записи, вторичная проверка обученным аннотатором и автоматические проверки согласованности, сравнивающие аннотации со статистикой общего состояния (например, эпизоды, отмеченные успехом, когда захватное устройство никогда не закрывалось, помечаются для повторной проверки).

Конвейер аннотаций SVRC

Когда вы используете SVRC услуги по сбору данных, аннотация является частью результата. Наши операторы комментируют каждый эпизод флажками успеха и языковыми метками во время сеанса записи, а наша команда аннотаторов выполняет вторичную проверку перед экспортом набора данных. Вы получаете набор данных с аннотациями высокой достоверности, оценками согласия аннотаторов и полным отчетом о качестве. Для команд, предоставляющих свои собственные собранные данные, SVRC предлагает услуги только аннотирования и может обрабатывать существующие наборы данных, собранные на любой поддерживаемой аппаратной платформе. Связаться с нами чтобы обсудить ваши потребности в аннотациях набора данных.