Handschuh-basierte Dexterose-Teleoperation: Auswahl und Einrichtung von Hardware
Wie man haptische Handschuhe für die geschickte Handteleoperation von Roboter benutzt <unk> Hardwarevergleich, Kalibrierung, Latenzanalyse und Datenerfassung.
[← Führer]
Ein praktischer Ingenieur-Leitfaden zur Handschuh-basierten Teleoperation
Warum Handschuhe benutzen?
Die meisten Manipulationsarbeiten
Aufgaben, die von Handschuhen profitieren: ** Hand-Reorientierung** (Schaltbolt rollen, Karte umdrehen), ** Schleppgriffe an unregelmäßigen Objekten** (krümmtes Papier, Stofffalten), ** mehrfingerkoordinate Manipulation** (Knoten binden, Nadel threading) und dexter greiffähige Anpassung an die Einhaltung der Objekte. Wenn Ihre Aufgabe weniger als drei Finger benötigt, um zu arbeiten, wird eine parallele Kiefer wahrscheinlich eine handgeschickte Hand in Datenqualität pro Stunde übertreffen.
Die volle Handschuh-Telebetriebsleitung ergänzt auf allen Ebenen Komplexität: Kalibrierung pro Betreiber, höhere Latenz als Arm-Telebetrieb, mehr Ausfallmodi, höhere Betreibermüdigkeit und deutlich höhere Hardware-Kosten.
Handschuh-Hardwarevergleich
| Glove | Price/Hand | DOF Tracked | Force Feedback | Haptic Type | SDK | Weight | Best For |
|---|---|---|---|---|---|---|---|
| SenseGlove Nova 2 | $4,000 | 20 (5 finger flexion + abduction) | 5-DOF cable resistance | Vibrotactile + force | Python, ROS | 300 g | Research, imitation learning, best value |
| HaptX G1 | $10,000 | 20 | Yes (microfluidic) | Fluid pressure per fingertip | ROS, Unity | 500 g | Highest fidelity haptics |
| Inspire Glove | $3,000 | 15 (flexion only) | No | None | Python (custom) | 200 g | Budget, paired with Inspire RH56 |
| Dexmo (Dextarobotics) | $6,000 | 22 (11-DOF per hand) | Yes (5 DOF) | Mechanical brake | Unity, Python | 350 g | Full-hand exoskeleton feedback |
| ROKOKO Smartglove Pro | $500 | 18 (position only) | No | None | ROKOKO SDK, Live Link | 80 g | Motion capture only, not manipulation |
| OpenXR DIY | $200–$500 | Variable | No | Optional vibration | OpenXR | Variable | Experimental, low cost |
Die SenseGlove Nova 2 ist die empfohlene Wahl für die meisten Nachbildung Lernforschungen. Das Python SDK mit ROS2-Wrapper hat die meisten Community-Unterstützung und ist mit den meisten Roboter-Hand-Schnittstellen kompatibel.
Die HaptX G1 bietet die realistischsten Haptiken über Mikrofluid-Aktoren, die den Druck der Haut erzeugen, der der Kontaktgeometrie entspricht.
Roboterhandkompatibilität
| Robot Hand | Price | DOF Actuated | Nutzlast | Glove Compatible | Notes |
|---|---|---|---|---|---|
| Shadow Geschickte Hand | $110,000 | 20 | 0.5 kg | SenseGlove, HaptX | Most capable, most expensive; compressed air |
| Inspire RH56 DFX | $8,000 | 6 (5 finger + thumb) | 2 kg | SenseGlove, Inspire Glove | Best price-performance; brushless motors |
| Unitree Dex3-1 | $5,000 | 7 (3 fingers, 2-DOF each) | 1.5 kg | SenseGlove | Unitree G1/H1 compatible; compact |
| Leap Hand (v2) | $2,000 | 16 | 0.3 kg | SenseGlove (community) | Open-source, 3D-printable; growing community |
| SAKE EZGripper | $800 | 1 (underactuated) | 0.9 kg | No (gripper, not hand) | Not for glove use |
Die Inspire RH56 DFX ist der kostengünstigste Weg zur geschickten Manipulation bei 8K US-Dollar. Sechs aktivierte DOF (individuelle Fingerflexion plus Daumenopposition) decken die meisten manipulationsarbeiten im Haushalt ab.
Die Leap Hand bei $2K gewinnt aufgrund seines Open-Source-Designs und des leaphand_ros2-Treibers in der Forschungsgemeinschaft an Dynamik.
Kalibrierungsprozedur
Jeder Betreiber benötigt eine individuelle Kalibrierung. Handschuhe passen nicht alle Hände identisch, und die Fingerlänge, Knöchelposition und maximale Verlängerungshöhe variieren signifikant zwischen den Betreibern. Miskalibrierte Handschuhe verursachen systematische Verzerrung in allen gesammelten Daten.
- Schritt 1
Handgeometrie-Karte: Messen Sie die Länge der Fingersegmente (proximaler, medialer, distaler Phalange) jedes Betreibers mit Kalibern. Geben Sie das Handmodell des Handschuh-SDK ein. SenseGlove bietet einen Kalibrierungs-Wizard; lassen Sie 10 Minuten pro Betreiber. - Schritt 2
Bewegungskalibrationsbereich: Erfassen Sie die maximale und minimale Flexiewinkel für jeden Finger, indem der Betreiber vollständig (0°) öffnet und vollständig schließt (~90° MCP, ~100° PIP). - Schritt 3
Kalibrierung der Kraftschwelle: Wenn Kraftfeedback aktiviert ist, erhöhen Sie den Widerstand allmählich, während der Betreiber das Auftreten der Wahrnehmung berichtet. Setzen Sie die Schwelle "Kontakt erkannt" 20% über dem Lärmboden. Dies verhindert falsche Kontakte durch Handschuhmikro-Vibrationen. - Schritt 4
Roboterhandkarte: Kartenhandschuh DOF zu Roboterhandgelenkbefehlen. Für Inspire RH56 kartieren Sie jeden Fingerschleppwinkel (0100%) auf die Motorposition (0 1000 Zecken). - Stufe 5
End-to-end-Latenz-Test: Befehl eine schnelle Finger-Schließung (100 ms Dauer). Messzeit von Handschuhsensor-Lesung bis beobachtete Roboter-Finger-Bewegung über Handgelenkkamera. Ziel: <35 ms insgesamt.
Die Daten sind nicht zu berücksichtigen.
| Stage | Typical Latenz | Optimization |
|---|---|---|
| Glove sensor readout | 3–8 ms | Use USB 3.0; avoid hubs |
| Hand model IK | 5–15 ms | Precompute lookup table; GPU IK |
| ROS2 message publish | 2–5 ms | Zero-copy transport; DDS tuning |
| Robot hand command | 10–25 ms | Direct serial vs. ROS2; reduce QoS depth |
| Total round-trip | 20–53 ms | Target <35 ms for natural feel |
| Video feedback (wrist cam) | 33–66 ms (30–60 fps) | Increase frame rate; MJPEG compression |
Die Verzögerung über 50 ms führt zu spürbaren Verzögerungen, die die Koordination des Betreibers schwächen. Wenn Ihre gemessene Gesamtzahl 50 ms übersteigt, diagnostizieren Sie durch Hinzufügen von Zeitstempeln in jeder Stufe.
Häufige Fehler und Minderungen
- Handschuhsverschleichen während längerer Sitzung: Handschuhsensoren treten ab, wenn sich der Handschuh auf der Hand verschiebt. Verwenden Sie nicht-schleppende Handschuhsverschleicher und schnellen Sie die Bänder vor jeder Sitzung.
- IK-Singularitäten im Fingergelenkraum: Wenn die Roboterhand IK auf extreme Posen angeordnet wird, kann sie versagen oder eine schlagkräftige Bewegung hervorrufen.
- Kraftfeedback-Drift nach mehr als 2 Stunden: SenseGlove-Kabelspannungsmechanismen treten thermisch ab.
- Finger IK nicht mit der Absicht des Betreibers übereinstimmt: Dies zeigt in der Regel eine Fehlkalibrierung der Handgeometrie an.
- Roboterhandüberhitzung: Dexterische Hände, die über 2 Stunden lang mit hohem Betriebszyklus laufen, können die Motorcontroller überhitzen.
Datenerfassungsschema für Handschuhteleoperation
- /Handschuh/Finger_Winkel: Flottabschnitt [16]
4 DOF pro Finger × 4 Finger + Daumen (5 DOF). Bei 100 Hz. - /Handschuh/Fingertip_Forces: Flottabteilung [5]
Schätzungsweise normale Kraft an jeder Fingertipspitze in Newtons. - /hand/wrist_position: Float array [7]
3D-Position + Quaternion des Handgelenks im Roboter-Basisrahmen. bei 50 Hz. - /robot_hand/joint_positions: Float array [6
20 je nach Hand] tatsächliche kommando/gemessene gemeinsame Positionen. bei 50 Hz. - /Beobachtungen/Bilder/Kamera_Armband: RGB [480×640×3] Handgelenkkamera mit 60 FPS für die Sichtbarkeit von Finger-Objektkontakt.
- Speichern Sie in HDF5 mit einer Gruppenzahl pro Episode. Für die Kompatibilität mit ACT extrahieren Sie /Gluft/Finger_Winkel als Aktionsvektor und /robot_hand/joint_Positionen als Beobachtung.
Handschuh vs. alternative Einleitungsmethoden: Wann was zu verwenden
| Input Method | DOF Control | Cost | Data Quality | Throughput | Best Tasks |
|---|---|---|---|---|---|
| Haptic glove (SenseGlove) | 20+ DOF per hand | $4,000-$10,000 | Highest for dexterous | 10-15 demos/hr | In-hand manipulation, assembly |
| Vision-based hand tracking | 21 keypoints per hand | $0 (camera only) | Lower (occlusion issues) | 15-20 demos/hr | Gross hand motions, prototyping |
| SpaceMouse (3Dconnexion) | 6 DOF (wrist only) | $130-$400 | High for arm, no fingers | 25-35 demos/hr | Pick-place, wiping, pushing |
| Leader arm (kinematic match) | 6-7 DOF (arm + gripper) | $3,100-$5,000 | Highest for arm tasks | 30-40 demos/hr | All arm tasks, highest throughput |
| VR controllers (Quest 3) | 6 DOF per hand | $500 | Good for gross manipulation | 20-30 demos/hr | Bimanual, remote operation |
Die entscheidende Entscheidung: Wenn Ihre Aufgabe individuelle Fingerkontrolle erfordert, verwenden Sie Handschuhe. Wenn Sie nur Arm + Griff öffnen / schließen benötigen, verwenden Sie einen Führerarm oder SpaceMouse. Handschuhe produzieren 2-3 mal weniger Durchsatz als Führerarme, so dass die höhere Treue die langsamere Sammelrate rechtfertigen muss.
Feedback-Methoden: Haptisch, visuell und auditiv
Die Leistung des Betreibers verbessert sich dramatisch mit multi-modal-Feedback.
- Haptic (Kraftfeedback): SenseGlove und HaptX bieten Widerstand, wenn Roboterfinger Objekte in Berührung bringen. Dies ist die wertvollste Feedback-Modalität - Operatoren mit haptischem Feedback erzeugen 30-40% weniger gescheiterte Greifungen als diejenigen mit nur visuellem Feedback.
- Visuelle (Kamera-Feeds): Eine Handgelenkkamera-Ansicht, die die Roboterfinger und das Objekt zeigt, ist wichtig. Verwenden Sie einen 60 fps-Stream für reaktionsschnelle visuelle Rückmeldung. Fügen Sie eine Tiefenüberlagerung (RealSense D405 Tiefenkarte) hinzu, um den Betreibern zu helfen, die Entfernung zu beurteilen. Anzeigen Sie den Stream auf einem kopfmontierten Display (Quest 3) für Eintauchen oder einen großen Monitor auf Augenhöhe für reduzierte Müdigkeit.
- ** Hörgeräte (Kontaktgeräusche):** Synthetisieren Sie Audiofeedback aus F/T-Sensordaten: ein Ton, der mit zunehmender Kontaktkraft in Tonhöhe steigt. Dies ermöglicht das Kraftbewusstsein, ohne haptische Hardware zu benötigen. Verwenden Sie eine einfache Kartierung: Frequenz = 200 Hz + (Kraft_N * 100 Hz), geklemmt bei 1500 Hz. Spielen Sie durch Kopfhörer, um andere Betreiber nicht zu stören.
- ** kombiniertes Feedback:** Die hochwertigste, geschickte Datenerhebung verwendet alle drei: haptische Handschuhe für die Kraftbewusstsein, VR-Headset für die immersive visuelle und Audio-Signalen für die Kontaktbestätigung.
Paxini-Taktysensor-Integration
Für Teams, die [Paxini-Taktsensoren]
- Sensorplatzierung: Paxini-Sensoren auf den Fingerspitzen der Roboterhand (nicht der Handschuh). Jeder Sensor bietet ein 4x4-Taxel-Märmchen mit einer Auflösung von 0,05 N pro Taksel bei 100 Hz.
- Datenprotokoll: Fügen Sie
T0 (Float32MultiArray, 16 Werte pro Finger, 5 Finger) bei 100 Hz zu Ihrer HDF5-Aufzeichnung hinzu. - ** Handschuh-Takt-Korrelation:** Während der Kalibrierung soll der Betreiber eine Reihe von Referenzobjekten (starre Kugel, weiche Schwamm, dünne Karte) erfassen.
Verwandte Leitfäden
- Bimanuelle Teleoperations-Einstellung -- Doppelhandschuh-Bimanuelle Konfigurationen
- Kraft/Torksensor Auswahl -- Handgelenk F/T-Sensoren, die die Handschuhdaten ergänzen
- Datenformate: HDF5, RLDS und LeRobot -- Speicherung von Handschuh + taktilen Daten in Standardformaten
- [Wie ein Teleoperationslabor eingerichtet wird]
T7 ) -- physische Einrichtung für Handschuh-Teleoperationsstationen - [Beschaffung und Ausbildung von Betreibern]
T8 ) -- Ausbildung von Betreibern für Handschuh-basierte Sammlung - Teleoperationslösungen Käuferführer -- Kostenanalyse einschließlich Handschuhsysteme
Arbeiten mit RCSV
RCSV betreibt SenseGlove + Inspire RH56 und SenseGlove + Orca Hand an unseren Standorten in San Francisco und Allston.
- Datenerhebungsdienste -- geschickte Manipulationsdatenverwertung auf Fingerniveau mit ausgebildeten Betreibern
- Hardware Store -- Kauf Paxini-Takt-Sensoren, Orca Hand und Handschuhzubehör
- Roboterleasing -- leihen komplette Handschuh-Teleoperationsstationen einschließlich Hand, Handschuh und Rechner
- Datenplattform -- hochladen, QA und konvertieren geschickte Manipulation Datenmengen
- [Kontaktieren Sie uns]
T14 ) - besprechen Sie Ihre Beherrschungen zur Erfassung von Daten über die Handhabung
Die Sammlung von Daten aus der Hand bei RCSV
RCSV betreibt SenseGlove + Inspire RH56 Systeme für handschuhbasierte, dexterische Teleoperation.
[Besichtigung der Datendienste]