Roboter-Kamera-Einstellung für die Datenerhebung: Handgelenk, Oberkopf und Stereo

Teil von: [Roboter-Daten-Sammlungsanleitung]

Die Beobachtungen, die Ihre Politik während der Ausbildung sieht, müssen mit denen übereinstimmen, die sie während der Bereitstellung sieht und die falsche Kamera-Einstellung bedeutet, Daten zu sammeln, die keine zuverlässige Politik ausbilden können.

Strategie für die Kamera-Einbringung

Das erste Prinzip der Platzierung von Roboterkameras ist: Die für die Datenerfassung verwendeten Kameras müssen in der Montageposition identisch mit den für die Politik-Einsatz verwendet Kameras sein. Definieren Sie die Konfiguration Ihrer Einsatzkamera, bevor Sie eine einzelne Episode von Trainingsdaten sammeln.

Die häufigsten Konfigurationen in der Manipulationsforschung sind: Handgelenkkamera (eine Kamera, die auf dem Handgelenk des Roboters montiert ist und den Arbeitsplatz der Manipulation anschaut); Obergewicht (eine oder zwei Kameras, die auf einem festen Obergewicht montiert sind); und Multi-View (Handgelenkkamera plus eine oder zwei externe Kameras, die einen globalen Arbeitsplatzkontext bieten). Die Multi-View-Konfigurationen übertreffen bei der Umsetzung der Politik konsequent die Single-View-Konfiguration, was eine komplexere Aufzeichnungsinfrastruktur kostet.

Handgelenkkameras: Vor- und Nachteile und beste Praktiken

Die Handgelenkkameras bieten einen ersten Blick auf die Manipulationsaktion der Roboter sieht ungefähr, was er an seinem End-Effektor macht. Dieser Blickwinkel ist sehr informativ für feine Greif- und Einfügungsaufgaben, bei denen das Verhältnis zwischen Greifer und Gegenstand genau wahrgenommen werden muss. Die Handgelenkkameras folgen dem Griff auch automatisch durch den Arbeitsplatz, um sicherzustellen, dass das Zielobjekt während der Manipulation immer im Rahmen ist.

Die Hauptbeschränkung von Handgelenkkameras ist, dass sie den globalen Arbeitsplatz nicht sehen. Der Roboter kann Objekte nicht weit von seiner aktuellen Griffposition wahrnehmen, ohne den Arm zu bewegen. Dies begrenzt ihre Wirksamkeit für Aufgaben, die Scene-Level-Verstehen oder bi-manuelle Koordination erfordern. Für bi-manuelle Systeme sollte jeder Arm seine eigene Handgelenkkamera tragen. empfohlene Spezifikationen: 1080p oder höhere Auflösung, 60 fps oder mehr, globale Verschlussvorrichtung (nicht rollende Verschlussvorrichtung), um bei schnellen Bewegungen keine Verschleierung der Bewegung zu vermeiden, und ein Weitwinkelobjektiv (90110 Grad FOV), um die Sicht auf den Griffkontaktpunkt in der Nähe zu erhalten.

Oberflächene Kameras: Konfiguration und Abweichungen

Fixed overhead-kameras bieten stabile, konsistente arbeitsraumansichten, die die gesamte manipulationsszene erfassen. sie sind weniger empfindlich auf armbewegung und bieten einen besseren kontext für aufgaben, die mehrere aufeinanderfolgende schritte in verschiedenen arbeitsräumen-regionen erfordern. überhead-kameras sind einfacher, konsequent über mehrere robotstation montiert zu werden, was für groß angelegte datenerhebungskampagnen wichtig ist.

Die Grenze ist die geringere Detaillierung am Manipulationskontaktpunkt. Eine Oberkamera mit einer Höhe von 80 cm, die auf einen Arbeitsplatz auf einem Tisch blickt, kann die Geometrie des Griff-Objektkontakts auf kleinen Objekten nicht zuverlässig beobachten. Aus diesem Grund werden Oberhochdaten in Hochleistungs-Daten-Sammlung-Setups in der Regel mit Handgelenkkameras gekoppelt.

Auflösung, Bildrate und Synchronisierung

Für die Manipulationsdatenerhebung reicht 480p720p pro Kamera bei 30 fps für die meisten Imitationslernungsmaßnahmen im Jahr 2026 aus. Eine höhere Auflösung (1080p) verbessert die Leistung bei Aufgaben, die eine feine räumliche Diskriminierung erfordern. Die Bildschraubraten über 60 fps sorgen für eine abnehmende Rendite bei den meisten Manipulationsarbeiten und erhöhen die Speicheranforderungen erheblich.

Die Synchronisierung mit mehreren Kameras ist kritisch und häufig vernachlässigt. Wenn Kameras nicht hardware-synchronisiert sind, muss die Zeitstempel-Ausrichtung während des Datenladen sorgfältig umgesetzt werden. Selbst 33 ms inter-Kamera-Offset (ein Frame bei 30 fps) kann eine Trainingsunsicherheit für Aufgaben einleiten, bei denen das Handgelenk und die Oberkopfansicht zeitweise konsistent sein müssen. Die Intel RealSense D435 und D455-Serie unterstützen die Hardware-Synchronisierung über ein Synchronkabel und sind die bevorzugte Wahl von RCSV für synchronisierte Multi-Kamera-Setups.

Kameraarten für Robotik: Ein technischer Vergleich

Schutter-Typ: Global vs. Rolling

Global-Schalterkameras stellen alle Pixel gleichzeitig dar. Jeder Pixel im Rahmen stellt den gleichen Moment im Moment dar. Rollende Schalterkameras stellen die Pixel Reihen für Reihen dar, wodurch ein zeitlicher Verzerr über das Bild entsteht. Bei einem mit 0,5 m/s beweglichen Roboterarm erzeugt ein rollender Schalter mit einer Leszeit von 33 ms eine Verzerrung im Rahmen von ~16 mm. Diese Verzerrung ist systematisch: die vertikalen Kanten scheinen geneigt zu sein und sich schnell bewegende Objekte schmieren.

Bei Handgelenkkameras (die sich mit dem Arm bewegen) ist der globale Verschluss stark bevorzugt. Die Handgelenkkamera erlebt die volle Armgeschwindigkeit bei Anflugbewegungen. Bei festen Obergefährtenkameras, die sich nicht bewegen, ist der rollende Verschluss für die meisten Manipulationsarbeiten akzeptabel, da die Szenebewegung langsamer ist. Die Kostenprämien für die globale Verschlussvorrichtung sind beträchtlich etwa 2-3x für eine gleichwertige Auflösung so verwenden Sie sie, wo es wichtig ist (Halbhand) und sparen Sie Budget an anderer Stelle (Overhead).

Sensortyp: Mono vs Stereo vs RGB-D

Type	Depth	Cost	Weight	Outdoor Use	Best For
Monocular RGB	No	$50-400	20-80g	Yes	Wrist mount (lightweight), IL policies
Stereo	Computed	$300-2,000	150-350g	Yes	Outdoor mobile manipulation
Structured light RGB-D	Active IR	$200-500	70-200g	Poor (IR interference)	Indoor fixed mount, grasp planning
ToF RGB-D	Active IR (ToF)	$400-1,500	100-300g	Moderate	Long-range depth (1-10m)

Spezifische Kameraempfehlungen

Camera	Type	Resolution	Shutter	Price	Best Use
Intel RealSense D435i	Stereo RGB-D + IMU	1920x1080 (RGB), 1280x720 (depth)	Rolling (RGB), Global (IR)	$300	RCSV default: overhead mount, hardware sync support
Intel RealSense D405	Stereo RGB-D	1280x720	Global (all sensors)	$230	Wrist mount (compact: 42x42x23mm)
StereoLabs ZED 2	Stereo + neural depth	4416x1242 (2x 2208x1242)	Rolling	$450	Outdoor/mobile manipulation, long-range depth (20m)
FLIR Blackfly S	Mono RGB	Up to 5MP	Global (Sony Pregius)	$400-1,200	High-quality wrist camera, GigE for long cable runs
Arducam OV9281	Mono (grayscale)	1280x800	Global	$50	Budget wrist camera, Raspberry Pi compatible

Anbaupositionen: Handgelenk vs. Oberkopf vs. Dritter

Hand in Hand (Harmberge)

Die Kamera bewegt sich mit dem Endefektor des Roboters und bietet einen ersten Blick auf die Manipulationsaktion. Dieser Blickwinkel ist sehr informativ für feine Greif- und Einfügungsaufgaben, bei denen das Verhältnis zwischen Griff und Gegenstand genau wahrgenommen werden muss.

Befestigungsaufwand: Halten Sie die Kamera möglichst nah am Griff (5-10 cm über) und minimieren Sie den Momentarm, der Schwingungen erzeugt. Verwenden Sie eine starre Halterung 3D-gedruckte PLA-Montage, die sich unter Beschleunigung schlägt und schimmer Bilder erzeugt. Führen Sie das USB-Kabel durch eine Belastungsanhebung entlang des Arms, um die Kabelmüdigkeit am Steckgerät zu verhindern. Gewichtsaufwand: Halten Sie das Gesamtgewicht der Kamera + Montage + Kabel unter 100g, um die Auswirkungen auf die Armdynamik zu minimieren.

Hand-Auge (Overhead/External)

Fixed overhead-Kameras bieten stabile, konsistente Ansichten auf den Arbeitsplatz. Befestigt auf 60-80 cm über dem Arbeitsplatz für die Manipulation von Tabellen.

Dritte Person (Seitenansicht)

Eine Seitenaufnahmekamera mit einer Höhe von 30 bis 45 Grad von der vertikalen Seite liefert Tiefeninformationen, die in einer rein oberen Sicht verloren gehen. Dieser Sichtpunkt ist besonders nützlich für Aufgaben mit vertikaler Stapelung oder Einfügung, bei denen die oberen Kamera keine Höhe unterscheiden kann. RCSV verwendet eine Dritte-Person-Kamera auf der gegenüberliegenden Seite des Arbeitsraums von der oberen Kamera, um die Sichtpunktvielfalt zu maximieren.

Kalibrierungsprozesse

Die Hand-in-Hand-Kalibrierung

Für Handgelenkkameras benötigen Sie die Transformation vom Kamerarahmen zum Endefektorrahmen des Roboters.

1. Ein Kalibrierungsziele (ChArUco-Board empfohlen über Schachbrett für Robustheit) in einer festen Position im Arbeitsplatz zu befestigen
2. Bewegen Sie den Roboter in 15-20 verschiedene Positionen, wo das Ziel sichtbar ist, und erfassen Sie die Endeffektor-Position des Robots und die Sicht der Kamera auf das Ziel in jeder Position
3. Führen Sie einen Hand-Oge-Kalibrierungslösungsgerät (OpenCV T0 oder das T1 ROS2-Paket) aus, um die Kamera-zu-End-Effektor-Transformation zu berechnen
4. Validieren Sie, indem Sie dem Roboter befehlen, einen bekannten Punkt im Kamerarahmen zu berühren Positionsfehler sollten unter 3 mm liegen

# ROS2 Eye-in-Hand Kalibrierung mit einfach_handeye ros2 Start einfach_handeye2 Calibrate.launch.py \ eye_on_hand:=true \ robot_base_frame:=base_link \ robot_effector_frame:=tool0 \ tracking_base_frame:=camera_link \ tracking_marker_frame:=marker_frame

Die Hand-Augen-Kalibrierung

Für feste Kameras benötigen Sie die Transformation vom Kamerarahmen zum Roboterbaserahmen.

1. Fügen Sie die ChArUco-Table an den End-Effektor des Roboters an
2. Bewegen Sie den Roboter in 15-20 Positionen, wo das Ziel von der festen Kamera sichtbar ist
3. Laufen Sie T2 mit T3
4. Validieren durch Platzierung eines Objekts in eine bekannte Position und Vergleich von Kamera- und Grundwahrheitskoordinaten

Nach jeder Kameraanpassung (auch wenn man die Anlage stürzt), nach der Hardware-Wartung am Arm und als monatlicher geplanter Check.

Tiefenkameras

Die Tiefenkameras bieten zusätzlich zu RGB-Bildern auch die Messung der Entfernung pro Pixel und ermöglichen das 3D-Szenenverständnis ohne explizite Stereorexkonstruktion. Intel RealSense, Microsoft Azure Kinect und ZED-Kameras sind die am häufigsten verwendeten Tiefensensoren für die Datenerhebung von Roboter. Tiefeninformationen sind wertvoll für Aufgaben, bei denen Objektehöhe, Form oder 3D-Position für [Grasp-Planung] (T9) wichtig sind, und für Richtlinien, die Punktewolken-Eingaben anstelle von reinen Bild-Eingaben verwenden.

Die Kompensation: Die Tiefenkameras bringen Gewicht, Kosten und Verarbeitungskosten hinzu. Verwenden Sie Tiefe, wenn Ihre Richtlinienarchitektur ausdrücklich von 3D-Eingaben profitiert, wenn Aufgaben erhebliche Tiefenvariationen (Stapling von Objekten unterschiedlicher Höhen) oder wenn Sie robuste Leistungen unter variablen Lichtbedingungen benötigen (Tiefe ist mehr Lichtvarianten als RGB).

Einstellung des ROS2-Kamera-Treiber

Für RealSense-Kameras (die am häufigsten in der Manipulationsforschung) bietet das T4 ROS2-Paket einen kompletten Treiber:

# Installieren Sie RealSense ROS2 Wrapper sudo apt installieren Sie ros-humble-realsense2-Kamera # Start mit empfohlenen Einstellungen für die Datenerhebung ros2 Start realsense2_camera rs_launch.py \ depth_module.profile:=640x480x30 \ rgb_camera.profile:=640x480x30 \ enable_sync:=true \ align_depth.enable:=true \ pointcloud.enable:=false # save bandwidth # For hardware-synchronisierte Multi-Camera-Setup # Camera 1 (master): inter__camera_mode:=1 # 2 (slave): inter_camera\_sync_mode: # pinc Connect with Camera (IP) cable (=5)

Schlüssel-Einstellungen für die Datenerfassung: ermöglichen T5 die Synchronisierung von Tiefe und RGB-Streams innerhalb einer Kamera. Setzen T6, um Pixel-aligned Tiefe und RGB zu erhalten. Deaktivieren Sie PointCloud, um CPU und Bandbreite zu speichern. Für Multi-Kamera-Setups verwenden Sie den Hardware-Synchronisierung-Modus, um sicherzustellen, dass alle Kameras Bilder im selben Augenblick erfassen.

Kalibrierung und Mehrkamera-Standard des RCSV

RCSV-Daten-Sammel-Standard verwendet eine feste drei-Kamera-Konfiguration: eine Handgelenk-Kamera pro Arm plus eine kalibrierte Oberkamera pro Station. Physische Kamera-Montage sind Teil unseres standardisierten Arbeitsplatzschlags, um eine einheitliche Platzierung über unsere Anlage zu gewährleisten. Alle Kalibrierungsparameter werden automatisch protokolliert und in den Datensatz-Export enthalten. Für Teams, die ihre eigene Datenverwertungsinfrastruktur aufbauen, bietet RCSV eine Kamera-Einstellungberatung an und kann vorkalibrierte Kamera-Versammlungen liefern [kontaktieren Sie uns]T10) oder unsere [Datendienstleisterseite]T11) für Details.

Verwandte Lesungen

• [Roboter-Training-Datenführer]
• [Annotation der Roboterdaten]
• [ALOHA Roboternleitung]
• [Multimodal Roboter-Sensing]
• [Grasp Planungserhebung 2025]
• [Kontaktkräfte in Manipulation]
• [Datendienste]
• [Hardware-Katalog]
• [Glossar]