Einheitliche Anlage- und Anlage-Anleitung für die Hardware für den Telebetrieb von Bimanuale-Roboter
Wie man ein zweibroches Teleoperationssystem für die Datenverwertung mit zwei Armen einrichtet <unk> ALOHA Führer-Follower, Dual VR oder Exoskelettansätze.
[← Führer]
Zwei Arme sind exponentiell schwieriger zu teleoperationieren als eine.
Warum die Bimanuale Teleoperation grundsätzlich schwieriger ist
Die Einarms-Teleoperation ist bereits kognitiv anspruchsvoll. Bimanual fügt drei komponierende Herausforderungen hinzu, die eine dedizierte Hardware erfordern:
Koordination: Menschen koordinieren ihre Arme natürlich durch proprioception
Zeitsynchronisierung: Beide Arme müssen in koordiniertem Zeitwerk (zusammen erreichen, gleichzeitig freisetzen, Annäherungsgeschwindigkeiten entsprechen) tätig werden.
Einzelbetreiber vs. zwei Betreiber: Einige Ansätze erfordern zwei separate Betreiber (einer pro Arm). Dies verdoppelt die Kosten für die Betreiber, führt zu einer Zeitverschiebung zwischen den Betreiber und erfordert sorgfältige Koordinierungsprotokolle. Einzelspezifische, zweibäufige Systeme (ALOHA, Dual VR) sind teurer, produzieren jedoch Daten von höherer Qualität.
Bevor Sie eine zweibrächtige Infrastruktur errichten, müssen Sie sich sicherstellen, dass Ihre Aufgabe wirklich zwei Arme erfordert. Viele scheinbare zweibrächtige Aufgaben (aus einem Pitcher gießen, eine Schraubkappe öffnen) können in aufeinanderfolgende einarmige Schritte zerfallen, die mit einem einzigen Arm erfolgreich trainieren.
Option A: ALOHA-Style Leader-Follower (zur Datenqualität empfohlen)
Die ALOHA (A Low-Cost Open-Source Hardware System for Bimanual Teleoperation) Architektur paart zwei leichte Führer Arme (WidowX-250 S) mit zwei vollgroße Follower Arme (ViperX-300 S2). Der Operator hält die Führer Arme direkt, und gemeinsame Positionen werden in Echtzeit an die Follower repliziert.
- Komponenten: 2× WidowX-250 S-Führer ($3.100 je), 2× ViperX-300 S2-Follower ($4.800 je), Führermontagerahmen, benutzerdefiniertes Verkabelungsharness, Computer mit Ubuntu 22.04 + ROS2 Humble. Gesamt: ~$18K für Waffen, ~$32K komplettes System.
- Warum WidowX als Führungskräfte: Die gleiche Dynamixel Servo-Familie wie die ViperX-Follower bedeutet transparente kinematische Kartierung. Das leichtere Gewicht (0,53 kg) und die kürzere Reichweite (250 mm) des WidowX macht es für einen sitzenden Betreiber komfortabel, für 2-stündige Sammelstunden zu halten und zu bewegen.
- Schwerkraftkompensation: Die Führer-Arme müssen Schwerkraftkompensation aktiviert haben, damit der Betreiber ein nahezu Null-Effektgewicht aufweist. Ohne diese kann die Ermüdung des Betreibers nach 30
45 Minuten die Datenqualität schwächen. - Latenzbedarf: Die Lead-to-Follower-Latenz muss <10 ms sein, um sich für den Betreiber transparent zu fühlen. ALOHA erreicht auf einem lokalen USB-Dynamixel-Bus 3
5 ms. - Datenformat: 14-DOF-Gelenkpositionsanordnung (7 pro Arm bei 50 Hz), 3-Kamera-Stack (Handgelenk-links, Handgelenk-rechts, Obergewicht) und Grifföffnung. Kompatibel mit ACT, Diffusion Policy und LeRobot natively.
Option B: Doppel-VR-Controller (besser für die Flexibilität eines einzelnen Betreibers)
Ein Meta Quest 3 mit beiden Controllern bietet eine kostengünstige (500 USD) Single-Operator-Bimanual-Schnittstelle. Der Operator kartografiert ihre physischen Handpositionen, um die Cartesian-Positionen des End-Effektors über inverse Kinematiken auf der Arbeitsstation zu bewaffnen.
- ** Einrichtung:** Meta Quest 3 ($500) + AnyTeleop oder benutzerdefinierter IK-Server + Handgelenk-montierte Tracker (optional, $200 jeweils).
- Harmverlängerungstracker: Quest 3 Controller verfolgen die Griff-/Triggerposition. Für Aufgaben, die die Vorarmorientierung erfordern, befestigen Sie einen sekundären Tracker (VIVE Tracker 3.0, 130 USD je) an den Handgelenken des Betreibers über dem Controllergriff, um eine genaue 6-DOF-Harmposition zu verfolgen.
- Latenzmanagement: Quest 3 zum Computer WiFi: 5
15 ms IK-Rechen: 3 10 ms Befehl zur Armung: 5 15 ms Gesamtzahl: 13 40 ms. Für die meisten Manipulationsarbeiten geeignet. Für hochpräzise Aufgaben (<5 ms Latenz erforderlich) verwenden Sie stattdessen Führerarme. - Limitationen gegen Führerarme: Keine proprioceptive Rückmeldung bedeutet, dass die Betreiber den Armwiderstand oder die Nähe von Singularität nicht fühlen können. Die Koordinatpräzision im 3D-Raum ist ohne physische Referenz niedriger. Die Datenqualität für Präzisions Aufgaben (Einsetzen, Threading) ist messbar niedriger als die Führerarme. Geeignet für Sortierung, Platzierung, Reinigung und Transportarbeiten.
- Bimanuelle Koordinierung: Der Hauptvorteil des Dual VR ist, dass der Betreiber seine natürliche bimanuelle Koordinierung
dieselbe neuronale Steuerung verwendet, die er täglich verwendet. Bei grossartigen Manipulationen von bimanuellen Aufgaben (Kleidungspalten, Verpackungskästen) ist die Koordinierungskvalität von VR angemessen und der Sammeldurchsatz höher als der Führer-Follower.
Option C: Doppel-Exoskelettschuhe (besser für dexteröses Bimanuale)
Bei Aufgaben, bei denen die zweimanduale Koordinierung auf Fingerniveau erforderlich ist (Nutzen, Montage mit zwei geschickten Händen, Kleidungsmanipulation), wird ein Paar haptische Handschuhe zwei geschickte Roboterhanden gleichzeitig an den Steuerungen anstellen.
- ** Hardware:** SenseGlove Nova 2 Paar ($8.000) oder HaptX G1 Paar ($20.000) für höchste Treue.
- Gesamt-System-Kosten: SenseGlove + Inspire-Paar + Dual-Arm-Setup: ~35K$. HaptX + Shadow + Dual-Arm: $280K+.
- Synchronisierung: Beide Handschuhe veröffentlichen auf ein gemeinsames ROS2-Thema bei 100 Hz. Synchronisieren Sie mit einem Hardware-Zeitstempel aus einer gemeinsamen NTP-Uhr oder PTP (IEEE 1588) für < 1 ms Zeit zwischen den Handschuhen.
- Füchtigkeit der Betreiber: Exoskeletonhandschuhe sind körperlich anspruchsvoll. Die meisten Betreiber erleben nach 45
60 Minuten kontinuierlicher Nutzung eine Qualitätszerstörung. Planen Sie Sammelstunden mit 10-minütigen Pausen alle 45 Minuten. Gesamtdauerliche Sitzungsgrenze: 4 5 Stunden.
Synchronisierungsimplementierung (< 5 ms Toleranz)
Unsynchronisierte zweimanschließende Daten sind schlechter als nutzlos
- Hardware-Kamera-Trigger: Verwenden Sie ein Hardware-Trigger-Signal (GPIO-Puls von der Arbeitsstation) um alle Kameras gleichzeitig zu aktivieren. Multi-Camera Frame Sync-Modul für RealSense-Kameras: $50. Synchronisierungsfehler: <100 μs.
- ROS2 Zeitstempel: Verwenden Sie ros2_common_interfaces/sensor_msgs mit Header.stamp eingestellt von der Systemuhr zum Zeitpunkt der Aufnahme, nicht zur Ankunftszeit. Konfigureren Sie alle Knoten so, dass sie eine einzige Zeitquelle verwenden (Systemuhr über Chronie).
- Leader-Follower-Synchronisation: Musterbeispiel für beide Führer-Arm-Gebundene und beide Follower-Bedeutungen auf demselben Rückruf-Timer (50 Hz).
- Verifizierung: Verzeichnen Sie einen Synchronisierungstest: Befehle beiden Armen gleichzeitig zu bewegen, überprüfen Sie, ob die gemeinsamen Zustandsstempeln für linken und rechten Arme um < 5 ms unterschiedlich sind. Verwenden Sie Rosbag2 und ploten /left_arm/joint_states.header.stamp vs /right_arm/joint_states.header.stamp.
Arbeitsplatzgestaltung für zweimanuelle Aufgaben
- Tischhöhe: 75
85 cm (Standard-Tischhöhe). Die Armbasen sollten gleich hoch liegen. - Arm-Separation: 50
70 cm zwischen Armbasenzentren. Eine engere Trennung führt zu einem Arm-zu-Arm-Kollisionsrisiko; eine breitere Trennung reduziert die Überlagerung des zweimanschließenden Arbeitsplatzes. - Objektarbeitsraum: Bei zweihandlichen Aufgaben sind Objekte zwischen den beiden Armen, 30
50 cm von jeder Basis entfernt, innerhalb von 15 30 cm von der Tischhöhe zentriert. - Overhead-Kamera: Position 150 cm über dem Tisch, zentriert zwischen beiden Armen, 45° von vertikal abgewogen. Dies ermöglicht eine vollständige zweibrochige Ansicht sowohl für die Überwachung des Betreibers als auch für die Beobachtung der Politik.
- Side-Camera: Position in Tischhöhe auf der anderen Seite des Arbeitsplatzes (gegenehme Operator). Dies erfasst zweimanschaltende Greifungen, Gegenstandshandshands und Annäherungswege, die oft von der Obersicht verborgen sind.
Datenformat für Bimanuale-Episoden
Standard-Bimanual-Datenformat nach den ACT/ALOHA-Konventionen, kompatibel mit LeRobot und der Diffusionspolitik:
- /Beobachtungen/qpos: Flottabschnitt [14]
6 Gelenke pro Arm + 1 Grifföffnung pro Arm, bei 50 Hz. - /Beobachtungen/qvel: Flottabschnitt [14]
gemeinsame Geschwindigkeiten, die gleiche Struktur wie qpos. - /Beobachtungen/Bilder/Kamera_High: RGB [480×640×3]
Übergeordnete feste Kamera mit 30 FPS. - /Beobachtungen/Bilder/Kamera_links_wrist: RGB [480×640×3]
Linke Handgelenkkamera mit 30 FPS. - /Beobachtungen/Bilder/Kamera_right_wrist: RGB [480×640×3]
Rechte Handgelenkkamera mit 30 FPS. - /Aktion: Flottabteilung [14]
Zielfunktionen von Führerarme (gleiche Struktur wie Qpos). - Speichern Sie als HDF5 mit Episode-Level-Cunking. Verwenden Sie lerobot.scripts.convert_dataset zum Export in LeRobot Parquet-Format für Hugging Face Upload.
Vollständige BOM: ALOHA-Stil-Bimanual-System
| Component | Qty | Unit Cost | Subtotal | Spec Notes |
|---|---|---|---|---|
| ViperX-300 S2 follower arms | 2 | $4,800 | $9,600 | 750 mm reach, 750 g payload, Dynamixel XM540 |
| WidowX-250 S leader arms | 2 | $3,100 | $6,200 | Same servo family, gravity compensation enabled |
| U2D2 USB-to-Dynamixel adapters | 4 | $30 | $120 | One per arm; direct USB for <5 ms latency |
| Intel RealSense D405 (wrist cams) | 2 | $150 | $300 | Global shutter, 640x480 @ 90 fps, 55 mm body |
| Logitech BRIO (overhead cam) | 1 | $150 | $150 | 4K, 30 fps; mount 150 cm above table |
| Workstation PC | 1 | $3,500 | $3,500 | i7-13700, RTX 4070, 32 GB, 2 TB NVMe, Ubuntu 22.04 |
| Steel table (120x80 cm, 100 kg rated) | 1 | $500 | $500 | Bolt both followers and leaders to same surface |
| Camera mounts + cable management | 1 | $400 | $400 | Rigid articulating arms, USB 3.0 active cables |
| UPS + power distribution | 1 | $250 | $250 | CyberPower 1000 VA; prevents motor damage on power loss |
| Total | ~$21,000 | Excludes shipping; add ~$1,500 for spare grippers + parts |
Für ein RCSV-äquivalentes System mit [OpenArm 1]
Montage- und mechanische Ausrichtungsprozedur
Die mechanische Ausrichtung ist der am meisten übersehenen Schritt bei der zweibrochigen Einrichtung.
- Schritt 1 -- Bohr-Arm-Basis-Montagelöcher: Verwenden Sie eine CNC-Schnittvorlage oder Präzisionsbohrführer, um sicherzustellen, dass beide Fahrplatten innerhalb von 0,5 mm über den Abstand von 50-70 cm parallel sind.
- Schritt 2 - Überprüfen Sie die Koplanarität: Nach dem Montage legen Sie eine präzise Gerade über beide Armflangen in ihren eigenen Positionen.
- Schritt 3 -- Anbau des Führerarms: An der Operatorseite befindliche Fassungsleiter auf der gleichen Höhe wie die Anhänger.
- Stufe 4 - Handgelenkkamera montiert: An jedem Follower-Handgelenkverbindung mit einer 3D-gedruckten starren Halterung D405 Kameras anbringen. Die Kamera sollte 15 Grad in Richtung der Griffzentrale gewogen werden. Überprüfen Sie, dass die Kamera während der gesamten Bewegung keine Oberfläche berührt, indem Sie einen Gelenk-Sweep-Test durchführen.
- Stupe 5 -- Kabelverbindung: USB-Kabel durch Kabelmanagementklips entlang der Armverbindungen führen. Lassen Sie an jedem Gelenk eine Lockerheit - zu eng verursacht Kabelmüdigkeit innerhalb von 2000 Zyklen.
Kalibrierung des Controllers: Schwerkraftkompensation und gemeinsame Grenzen
Die Schwerkraftkompensation auf den Führungsräumen macht die zweimanschließende Teleoperation für mehrstündige Sitzungen möglich. Ohne sie ermüden sich die Betreiber innerhalb von 30 Minuten und die Datenqualität verschlechtert sich stark.
- Schwerkraftkompensations-Setup: Setzen Sie die Dynamixel-Servos jedes Führerarms auf den Strom-basierten Positionsmodus. Setzen Sie die Stromgrenze auf 30-50% des Nennmoments. Die Firmware wendet Strom proportional zur Schwerkraftbelastung an jedem Gelenkswinkel an, so dass der Arm sich für den Betreiber fast gewichtslos anfühlt.
- Gebundene Grenzkonfiguration: Setze Software-Gebundene Grenzen von 5 Grad innerhalb der Hardware-Grenzen sowohl an Führern als auch an Anhängern. Dies verhindert, dass der Führer Kommandoposen anführt, die dazu führen, dass der Anhänger hart aufhält.
- Work-Space-Grenz-Test: Befehle dem Betreiber vor der ersten Datenerhebung, den vollen erreichbaren Arbeitsraum beider Führer gleichzeitig zu durchsuchen. Überprüfe: (1) Keine Kollision zwischen Anhängern in einer erreichbaren Führer-Pose, (2) keine Selbstkollision der Anhänger, (3) keine Kabel-Knick. Markiere eventuell problematische Zonen und füge Software-Exklusionsbeschränkungen hinzu.
- Greifer-Kraftkalibrierung: Setzen Sie die Schließkraft des Griffes auf 2-5 N für empfindliche Objekte, 8-15 N für starre Objekte. Verzeichnen Sie den Führer-Greifer-Trigger (analoge Eingabe) auf die Folger-Greifer-Aperture linear. Testen Sie mit Zielenobjekten und überprüfen Sie, ob der Betreiber zuverlässig greifen und freisetzen kann.
ROS2 Themen für die Bimanuale Synchronisierung
Die folgende ROS2-Themenstruktur sorgt für eine synchronisierte zweimanuale Aufzeichnung. Alle Themen müssen die gleiche Uhrquelle teilen (Systemuhr über chrony NTP):
T0 -- Sensor_msgs/JointState bei 50 Hz, 7 DOF (6 Gelenke + Griff) T1 -- Sensor_msgs/JointState bei 50 Hz, 7 DOF T2 -- Sensor_msgs/JointState bei 50 Hz, 7 DOF T3 -- Sensor_msgs/JointState bei 50 Hz, 7 DOF T4 -- Sensor_msgs/Bild bei 30 fps, 640x480 RGB T5 -- Sensor_msgs/Bild bei 30 fps, 640x480 RGB T6 -- Sensor_msgs/Bild bei 30 fps, 640x480 RGB T7 -- std_msgs/String: "Aufnahme", "Umschalt", "Pause"
Kritische Implementierungsdetails: Lesen Sie alle vier gemeinsamen Zustandsthemen in einem Single-Timer-Callback bei 50 Hz. Verwenden Sie keine separaten Abonnenten mit unabhängigen Callbacks - dies führt zu variablen Inter-Read-Verzögerungen von 1-20 ms, die den Timing-Jitter in den aufgezeichneten Daten verursachen.
Die Verlängerung der Datenübertragung
| Stage | Typical | Acceptable | Optimization |
|---|---|---|---|
| Leader read (USB bus) | 1-2 ms | <3 ms | Sync read; do not poll servos individually |
| Joint mapping computation | <0.1 ms | <1 ms | Linear mapping; no IK needed for kinematically matched arms |
| Follower write (USB bus) | 1-2 ms | <3 ms | Sync write to both arms simultaneously |
| Servo response | 2-5 ms | <8 ms | Set Dynamixel return delay to 0 us |
| Total leader-to-follower | 3-5 ms | <10 ms | Transparent feel requires <10 ms |
Messen Sie End-to-End-Latenz, indem Sie eine Schrittbewegung auf dem Führer befehlen und die Nachfolgerreaktion mit einer Hochgeschwindigkeitskamera (240 fps) aufzeichnen.
Häufige Fehler und Fehlerbehebung
- ** Links-Rechts-Synchronisierungsverlust:** Symptome: Ein Arm verlässt sich um 20-50 ms. Ursache: Ein USB-Bus ist überlastet (z.B. Handgelenkkamera teilt denselben USB-Controller).
- Follower-Gelenk-Grenze während der zweibänderlichen Aufgabe: Symptome: Ein Follower trifft einen harten Stopp und löst einen Fehler aus, während der andere fortfährt. Ursache: Führer-Arbeitsraum übersteigt den Follower-Grenzraum in einer zweibänderlichen Konfiguration, in der die Arme näher miteinander sind. Behebung: Verringern Sie die Grenzen der Führer-Gelenke um zusätzliche 10 Grad bei J1 und J2.
- Arm-to-Arm-Kollision: Symptome: physischer Kollision zwischen den linken und rechten Armen des Anhängers während einer koordinierten Aufgabe. Ursache: Arbeitsraumüberlappungszone ist zu groß für die kommunizierte Bewegung. Behebung: Fügen Sie Software-Kollisionzonen mit dem SDK-Kollisionshinderungssystem des Arms hinzu oder schulen Sie die Betreiber, um die Zentrumüberlappungszone für schnelle Bewegungen zu vermeiden.
- Greifer Desynchronisation: Symptome: Ein Greifer öffnet sich während der andere während einer Übergabe-Aufgabe schließt. Ursache: Führer Greifer-Mapping ist für einen Arm umgekehrt. Behebung: Überprüfen Sie die Greifer-Befehlspolarität für beide Führerarme - beide sollten die gleiche offene/schließende Konvention verwenden.
- Aus synchronisierten Bild: Symptome: Das politische Training zeigt fehlerhafte Aktionen zwischen Kamera-Rahmen und Gelenkstaaten. Ursache: Kamera-Rahmen kommen asynchron auf USB an. Behebung: Implementieren Sie Hardware-Rahmen-Trigger mit GPIO oder verwenden Sie das RealSense-Hardware-Synchronisierungskabel zwischen allen D405-Kameras.
Verwandte Leitfäden
- [Wie ein Teleoperationslab eingerichtet wird]
T12 ) -- Vollraum, Ausrüstung und Netzwerk-Setup-Leitfaden - Handschuh-basierte Dexterose-Teleoperation -- für Finger-Bimanual mit haptischen Handschuhen
- Datenformate: HDF5, RLDS und LeRobot -- Umwandlung von zweimanschließenden Episoden in Standardformate
- Lehrplanentwurf für Roboterlernen -- Struktur von zweibrochigen Aufgaben von einfach zu schwer
- Betriebspersonal Rekrutierung und Ausbildung -- Aufbau eines zweibrochig qualifizierten Betriebsteams
- Teleoperations-Lösung Käufer-Leitfaden -- Bauen vs. Kauf-Entscheidungsrahmen
Arbeiten mit RCSV
Das Robotics Center von Silicon Valley betreibt zwei manuelle Datenerhebungsstationen an unseren Standorten in San Francisco und Allston.
- Daten-Sammlungsdienste -- wir sammeln zweimanschließende Demonstrationsdaten mit ausgebildeten Betreibern, die im HDF5- oder LeRobot-Format geliefert werden
- [Roboterleasing]
T19 ) -- mieten Sie ein komplettes ALOHA-Stil-Bimanual-System für Ihr Labor, ab $ 2.500 / Monat - Hardware Store -- Kauf von OpenArm 1, DK1 Bi-Manual-Kits, Kameras und Zubehör
- Datenplattform -- Upload, visualisieren, QA und konvertieren Sie online zweihandliche Datensätze
- [Kontaktieren Sie uns]
T22 ) -- planen Sie eine zweimanuelle Aufgabenmöglichkeitsbewertung mit unserem Ingenieurteam
Bimanuale Datenerhebung am RCSV
RCSV betreibt zweimanuale Systeme im ALOHA-Stil und Doppel-VR-Setups für die Zweimanalyse.
[Schauen Sie Datendienste]