Roboter-Sensoren für Manipulationslernen: Kameras, Encoders, Kraft und Tactile
Führung für die Sensoren, die bei der Roboternmanipulation verwendet werden <unk> Gelenk-Coder, Kameras, Kraft-/Torksensoren und taktilen Sensoren mit Spezifikationen.
[← Lernen]
Die Auswahl und Qualität der Sensoren bestimmen direkt, was eine Roboterpolitik lernen kann.
Warum Sensoren für das Lernen wichtig sind
Eine Roboterpolitik ist nur so gut wie ihre Eingabe. Die Politik beobachtet die Welt durch Sensoren und muss alles abschließen, was sie braucht, um zu handeln
Die wichtigsten Eigenschaften von drei Sensoren sind: Resolution (wie viel Detail erfasst wird), Latenz (wie alt die Daten sind, wenn die Richtlinie sie verwendet) und Synchronisierung (ob alle Sensoren den gleichen Moment in der Zeit berichten). Eine Desynchronisierung von 50 ms zwischen Kameras und gemeinsamen Zuständen kann die Leistung der Richtlinie bei schnellen Aufgaben erheblich schwächen.
Gemeinsame Codierer
Gelenkkodierer sind die primären Zustandssensoren für einen Roboterarm
Absolute Encoder sind Standard in modernen Cobots. Im Gegensatz zu Zuwachs-Coder (die nur Änderungen messen), absolute Encoder berichten vom Moment des Einsatzes an den wahren gemeinsamen Winkel, ohne eine Routine der Anleitung zu benötigen.
- Resolution: Normalerweise 19 Bit, wobei 219 = 524.288 Schritte pro Umdrehung oder etwa 0,0007° pro Schritt gegeben werden.
- Sampelfrequenz: 1 kHz für die gemeinsame Position; die Geschwindigkeit wird in der Regel durch Differenzierung der Position mit einem Low-Pass-Filter berechnet.
- Latenz: 0,5
2 ms vom physischen Winkel bis zum gemeldeten Wert über den Motorbus (typischerweise EtherCAT oder CAN). - ** Rolle beim Lernen:** Gemeinsame Encoderdaten liefern dem Roboter den proprioceptive Zustand
seine eigene Körperkonfiguration die immer als Richtlinieninput neben Kamerabildern enthalten ist.
RGB-Kameras
RGB-Kameras sind die informativ reichsten Sensoren für Manipulation. Eine einzige 720p-Kamera liefert ~ 1 Million Pixel pro Rahmen, wobei jede Farbe und Textur kodiert wird.
- Resolution: 640×480 (VGA) ist das Minimum für die Objekterkennung; 1280×720 (HD) ist Standard; 1920×1080 (FHD) fügt Details für kleine Objektmanipulation hinzu.
- Rahmenfrequenz: 30 fps für langsame Manipulation; 60 fps für schnelle Aufgaben oder dynamische Tracking.
- Interface: USB3 ist praktisch, hat jedoch keine deterministische Latenz. GigE Vision (Ethernet) bietet eine deterministische Timing
für synchronisierte Multi-Kamera-Setups bevorzugt. - Shutter-Typ: Global shutter erfasst alle Pixel gleichzeitig (keine Rollschutter-Verzerrung bei schnellen Bewegungen); kritisch für Handgelenkkameras, die sich schnell bewegen.
- Typische Einrichtung: 3 Kameras pro Roboterstation
eine Oberstücke, eine Seite/Vorst, eine Handgelenkmontage.
Tiefenkameras
Die Tiefenkameras fügen jedem Pixel eine Entfernungsmessung hinzu, was der Politik eine explizite 3D-Geometrie gibt. Das am häufigsten verwendete Modell in der Manipulationsforschung ist das ** Intel RealSense D435** (strukturiertes Licht / aktive Stereo).
- Range: 0,1 m bis 3 m; optimale Genauigkeit bei 0,3
1,5 m. - Rahmgeschwindigkeit: 30 fps bei 848×480 Tiefenlösung.
- Beschränkung: Struktures Licht hat schlechte Leistungen auf glänzenden, spiegelförmigen oder transparenten Oberflächen (Glas, Metall, Wasser).
- Wann zu verwenden: Planung auf überladenen Tischtischen, Trinkflaschen-Picking, jede Aufgabe, bei der die Schätzung der Objekthöhe wichtig ist.
Kraft-/Torksensoren
Ein sechsächsiger Handgelenkkraft-/Trommel-Sensor (F/T) misst die Kräfte und Drehmomente, die der Endfaktor auf die Umgebung ausübt (und von der Umgebung erhält).
- Messungen: Fx, Fy, Fz (Kraft in drei Achsen) und Tx, Ty, Tz (Torks um drei Achsen).
- Typischer Bereich: ±200 N Kraft, ±10 Nm Drehmoment.
- Bandbreite: 1 kHz, die die Echtzeitkontaktdetection ermöglicht.
- Anwendungen: Erfolgreiche Festlegung der Greifkraft (Kraft unterhalb der Schwelle → Objekt geschleudert), einheitliche Einfügung (Peg-in-Gräbe mit gewaltsgesteuerter Suche), sichere Kontakt zwischen Mensch und Roboter (Stopp bei unerwarteter Kraft), Oberflächenverfolgung.
- In Politiken: F/T-Lese können direkt als Politikinput eingeschlossen werden
mit F/T-Daten ausgebildete Politiken zeigen eine deutlich bessere, kontaktreiche Aufgabenleistung.
Tastsensor
Die taktilen Sensoren messen verteilte Kontaktinformationen auf der Fingertip-Ebene
- ** GelSight (MIT):** Ein weicher Gel-Fingerspitze mit einer internen Kamera. Kontakt verformt das Gel, und die Kamera bildet die Verformung, die eine hochauflösende Kontaktgeometrie (~ 400 × 300 Pixel pro Finger) bietet.
- Kapazität: Ein Netz von Kapazitätdrucksensoren auf der Fingerspitze. Leichter als GelSight; geringere Auflösung, aber schnell (> 1 kHz).
- ** Aktueller Zustand:** Tastilsensing im Roboter-Lernen ist ein aktives Forschungsgebiet
Die meisten Produktionssysteme verwenden F/T-Sensoren und verlassen sich für den Rest auf Kameras.
Sensordaten und Speicheranforderungen
| Sensor | Sample Rate | Data per Second | Data per 2-min Episode |
|---|---|---|---|
| Joint encoders (7-DOF) | 1000 Hz | ~56 KB/s | ~6.7 MB |
| RGB camera 720p JPEG (×3) | 30 Hz | ~9 MB/s | ~1.1 GB |
| Depth camera 480p (×1) | 30 Hz | ~28 MB/s raw (lossless) | ~3.4 GB raw |
| Force/torque sensor | 1000 Hz | ~48 KB/s | ~5.8 MB |
| Tactile sensor (GelSight ×2) | 30 Hz | ~6 MB/s | ~720 MB |
| Typical total (3 RGB + joints + F/T) | — | ~9 MB/s | ~1.1 GB |
Zeit-Synchronisierung
Alle Sensoren müssen auf eine gemeinsame Uhr gepaart sein. Ohne Synchronisierung werden ein Kamerarahmen, der bei t=100 ms erfasst wurde, und ein gemeinsamer Zustand, der bei t=105 ms erfasst wurde, während des Trainings falsch gekoppelt und jede Probe läßt Lärm erzeugen.
Beste Verfahren:
- Hardware-Auslöser: Ein GPIO-Impuls des Controllers aktiviert alle Kameras gleichzeitig. Dies erreicht eine Synchronisierung von < 1 ms und ist der Standard für ernsthafte Datenerfassungseinrichtungen.
- Software-Zeitstempel: Aufzeichnen Sie die Systemzeit beim Empfang; wenden Sie gemessene feste Latenz-Offset-Anforderungen pro Sensor an. Erhält eine 5
20 ms Synchronisierung für 30 Fps-Kamera-Politiken ausreichend, für Hochgeschwindigkeitsarbeiten marginal. - PTP/IEEE 1588: Netzwerkzeitprotokoll auf Hardware-Ebene für Multi-Maschinen-Setups. Erreicht < 1 ms über Maschinen in einem lokalen Netzwerk.
Um kompatible Sensoren und Zubehör für die Manipulation zu durchsuchen, besuchen Sie den [RCSV-Ausrüstungsgeschäft]