Датчики и периферийные устройства

Meta Quest 3 VR Телеоп

Превратите гарнитуру Meta Quest 3 в контроллер руки робота в реальном времени — рука-руководитель не требуется. Ручное отслеживание потоков позы через UDP на Python, а затем на любую поддерживаемую руку. Задержка менее 120 мс на Wi-Fi 6.

Начать установку → Полное руководство по Вики →
<120 мс
Сквозная задержка
50 Гц
Скорость передачи UDP-пакетов
Нет РОС
Необходимый
3+
Совместимое оружие
Как это работает

Гарнитура → UDP → Рука робота

Система построена на основе одностороннего моста UDP. Приложение Unity на Quest 3 считывает данные отслеживания рук и передает пакеты двоичных поз через Wi-Fi. Сервер Python на управляющем ПК получает эти пакеты и пересылает команды роботу через собственный SDK. Никаких ROS, никакого промежуточного программного обеспечения — только сокеты.

Мета Квест 3 Отслеживание рук Unity
VRHandPoseSender.cs
Подсистема XR Hands
→
UDP Wi-Fi Порт 8888/8889
Бинарный пакет · 45 байт
~50 Гц
→
Python-сервер поток получателя UDP
Валидатор безопасности
Ограниченная очередь
→
Контроллер робота SDK для конкретной руки
Зажим рабочего пространства
Аварийная остановка
→
Рука робота Концевой эффектор с 6 степенями свободы
Движение в реальном времени

Ключевая идея архитектуры: в зависимости от модели манипулятора меняется только модуль контроллера робота. Приложение Quest 3 Unity, протокол UDP и серверная инфраструктура Python не зависят от руки. Переключение с одной руки на другую требует замены примерно 80 строк Python.

Начиная

Ваш путь установки

Выполните следующие действия, чтобы перейти от простого квеста 3 к первому сеансу телеоперации в реальном времени. На знакомой системе занимает около 1–2 часов.

1

Сеть и необходимые условия

Поместите Quest 3 и управляющий компьютер в одну локальную сеть; убедитесь, что порты UDP 8888/8889 открыты

~15 мин.
2

Конфигурация приложения Unity

Установите IP-адрес целевого ПК, PositionOffset, RotationOffset и ScaleFactor в Инспекторе.

~20 мин.
3

Сервер Python и зависимости

Установите Piper_sdk, активируйте CAN-интерфейс, запустите teleoperation_main.py

~20 мин.
4

piper_controller.py Прохождение

Прежде чем приступить к работе, изучите Connect, set_pose, set_gripper и Emergency_stop.

~30 мин.
5

Проверка безопасности и первый сеанс

Пробный запуск на скорости 25 %, проверка границ рабочего пространства, запуск телеоперации в реальном времени.

~30 мин.
Открыть полное руководство по установке →
Поддерживаемое оборудование

Совместимые роботы-манипуляторы

Шаблон модульного контроллера означает, что для каждого плеча изменяется только один файл Python. Все вооружения используют одно и то же приложение Quest 3 Unity и протокол UDP.

AgileX Пайпер

Рука с 6 степенями свободы · CAN-шина через USB-адаптер · Piper_sdk Библиотека Python

Контроллер: piper_controller.py

Готов к производству

OpenArm

Рука с 7 степенями свободы · SocketCAN / ROS 2 MoveIt2 · открытый исходный код сообщества

Контроллер: openarm_controller.py

Бета

Бимануальный комплект DK1

Двойные рычаги с 6 степенями свободы · одновременно использует порт 8888 (справа) и 8889 (слева)

Контроллер: dk1_controller.py

Бета

ВЛАИ Л1

Двойные гуманоидные руки с 6 степенями свободы · Мост ROS 2 через TCP/IP

Контроллер: vlai_l1_controller.py

В разработке

Чтобы добавить новую руку, реализуйте класс контроллера с пятью методами: connect, disconnect, set_pose, set_gripper, emergency_stop — и замените импорт в teleoperation_main.py. См. руководство по интерфейсу адаптера.

Технический обзор

Краткий обзор системы

Гарнитура Meta Quest 3 (режим отслеживания рук)
Транспорт UDP через Wi-Fi (порты 8888/8889)
Скорость передачи пакетов ~50 Гц от Unity; робот управляется с частотой 30 Гц
Размер пакета 45 байт (двоичный код фиксированной длины, прямой порядок байтов)
Сквозная задержка 50–120 мс на Wi-Fi 6 LAN
Среда выполнения хоста Python 3.10+ (ROS не требуется)
Версия Unity 2022.3 LTS+ с пакетом XR Hands
Первичный эталонный рычаг AgileX Piper (CAN-шина через USB)
Полные характеристики и протокол →
Глубокие погружения

Руководства и ссылки

Контент, курируемый SVRC, охватывающий весь набор телеопераций Quest 3.

Руководство по установке — UDP-приемник и piper_controller.py → Схема пакетов UDP и характеристики задержки → Полное руководство по Wiki для разработчиков → Интерфейс адаптера — порт на любой рычаг → Бимануальный комплект DK1 → ОпенАрм 101 →
Получить помощь и поделиться

Сообщество

У вас есть вопросы о телеоперации в Quest 3 или вы хотите поделиться своими настройками?

Задать вопрос на форуме → Дискорд #vr-teleop →

Готовы к Телеопу?

Получите скрипты Unity, сервер Python и piper_controller.py — все, что вам нужно для запуска вашего первого сеанса телеоперации в виртуальной реальности.

Начать руководство по установке Полная вики → Забронировать сеанс