2025: Von geometrischen Methoden zu gelernten Strategien
Umfrage zur Roboter-Grip-Planung <unk> GQ-CNN, GraspNet, AnyGrasp und wann erlernte versus geometrische Methoden für Ihre Anwendung verwendet werden.
[← Blog]
Die Masterplanung hat sich von der klassischen geometrischen Analyse zu gelernten End-to-End-Systemen verändert. Hier ist ein praktischer Leitfaden für das, was zur Verfügung steht und wann jeder Ansatz verwendet wird.
Das Problem der Planung
Angesichts einer RGB-D-Beobachtung einer Szene, prognostizieren Sie eine 6-DOF-Greifer-Pose (Position + Orientierung), die einen stabilen Griff auf ein Zielobjekt erzeugt. Diese täuschend einfache Problembehauptung verbirgt eine erhebliche Komplexität: Der Raum möglicher Griffposen ist kontinuierlich und hochdimensional, die meisten Posen werden versagen, und die Beziehung zwischen der Posavor-Grip und dem Erfolg des Griffes hängt von Kontaktmechanik ab, die nicht vollständig aus einem einzigen RGB-D-Rahmen sichtbar ist.
Das Problem ist in zwei Regimen unterteilt: Top-Down-Grip (2.5D
Ansatz zur Erkennung von Grapp: Die Taxonomie
Das Feld hat sich durch drei Generationen von Ansätzen entwickelt, die jeweils für verschiedene Anwendungsfälle relevant sind:
Generation 1
Generation 2
Generation 3
Klassische Methoden
- GPD (Greifpose Detection): Punktwolkenbasierte 6-DOF-Grip-Pose-Detection. Probenkandidat-Grip-Pose auf der Punktwolkenoberfläche, bewertet jede mit einem erlernten binären Klassifikator (Grasp-Qualität). Laufen bei etwa 5 Hz auf einem modernen Arbeitsplatz. Zuverlässig auf sauberen, genauen Punktwolken
kämpft mit Verstopfung und Sensorlärm. Open Source (MIT-Lizenz). - GQ-CNN (Berkeley AUTOLAB): Greift Qualität CNN, das auf Tiefenbild-Patches arbeitet. Schnelle (50ms Ableitung) und genau für Top-Down-Greife aus direktem Oberblick. Beschränkung: beschränkt auf Top-Down-Anschussrichtung
kann Seitengreifen oder genaue 6-DOF-Posen nicht vorhersagen. Am besten für bin-Picking-Szenarien mit Oberblickkamera. Open Source mit vorgetrainierten Modellen verfügbar. - PointNetGPD: Kombiniert PointNet-basierte Punktwolk-Coding mit GPD-Kandidaten-Sampling. Lernen Sie Funktionen direkt aus Rohpunktwolken anstelle von voxelierten Darstellungen zu erfassen. Verbessert GPD in unordentlichen Szenen, in denen die Punktwolk-Qualität ungleich ist. Open Source, aber weniger aktiv gepflegt als GraspNet.
6-DOF-Methoden: Detaillierter Vergleich
| Method | Input | Novel Objects | Speed | Training Data | Availability |
|---|---|---|---|---|---|
| GraspNet-1Billion | Point cloud | Good (ShapeNet) | 10 Hz | 1.2B grasps, 97 objects | Open source |
| Contact-GraspNet | Point cloud | Good (handles occlusion) | 8 Hz | Acronym dataset, 8K objects | Open source |
| AnyGrasp | Point cloud | Best (open-set) | 15 Hz | GraspNet-1B + augmented | Commercial API + SDK |
| FoundationGrasp | RGB-D + language | Best (language-guided) | 3 Hz | Multi-modal pre-training | Research (code released) |
| GraspNeRF | Multi-view RGB | Good (NeRF reconstruction) | 0.5 Hz | NeRF + grasp labels | Research only |
Das Programm "GraspNet-1Billion" und das Programm "Contact-GraspNet: The Open-Source Workhorses"
GraspNet-1Billion (Fang et al., CVPR 2020) führte den größten Grap-Datenbestand und einen Benchmark ein, der zur Standardbewertung für 6-DOF-Grip-Erlernen geworden ist. Der Datensatz enthält 1,2 Milliarden Grap-Annotationen über 97 Alltagsgegenstände, die mit analytischen Grap-Qualitätsmetriken auf vollen 3D-Metzern erstellt wurden. Das Modell verwendet PointNet++ zur Kodierung der Punktwolke und prognostiziert pro Punkt-Grip-Posen mit einer Qualitäts-Score. Die wichtigste Innovation ist die Zylindergruppe auf Ansatzniveau, die die Grip-Predikation auf machbare Ansatzrichtungen beschränkt und falsche Positive erheblich reduziert.
Contact-GraspNet (Sundermeyer et al., ICRA 2021) befasst sich mit dem schwereren Fall der Greifung in schwerem Unordnung und teilweise Verstopfung. Das Modell wurde auf dem ACRONYM-Datenpaket (8K-Objekte, 17,7M-Gehalte) ausgebildet und erzielt 90%+ Erfolg auf dem GraspNet-Benchmark.
AnyGrasp: Der Null-Shot-Standard
AnyGrasp, entwickelt von der gleichen Gruppe wie GraspNet-1Billion, ist die neueste Methode zur Erfassung neuartiger Objekte, die während des Trainings nicht gesehen werden.
Was AnyGrasp für die meisten Teams zur praktischen Wahl macht, ist seine Null-Shot-Leistung. Sie müssen es nicht auf Ihre spezifischen Objekte einstellen
Die kommerzielle API (verfügbar von Graspnet.net) bietet Ableitung als Dienst mit einer Python-Clientbibliothek
Eine ausgezeichnete Planung
Alle bisher erörterten Methoden gehen davon aus, dass ein parallel-Klauch-Greifer
DexGraspNet (Wang et al., 2023) generiert groß angelegte dexterous grasp-Datensätze mit Optimierung-basierte Greifen-Synthese. Abgehend von zufälligen anfänglichen Handkonfigurationen, verwendet es differenzierbare Physik-Simulationen, um sich zu Optimieren, um Kraft Schließung.
UniDexGrasp (Xu et al., CVPR 2023) nimmt einen Verstärkungslernungsansatz ein: eine Strategie in der Simulation zu trainieren, um willkürliche Objekte mit einer geschickten Hand zu erfassen, dann auf echte Hardware zu übertragen. UniDexGrasp erzielt 85%+ Erfolg bei neuen Objekten in der Simulation, aber der Sim-to-Real-Transfer bleibt eine Herausforderung
Praktiische Empfehlung: Wenn Sie einen Parallell-Kohl-Greifer verwenden, beginnen Sie mit AnyGrasp. Wenn Sie eine geschickte Hand (Orca Hand, Allegro Hand, LEAP Hand) verwenden, beginnen Sie mit DexGraspNet für die Datengenerierung und trainieren Sie eine Politik für die generierten Gripps. RCSV verfügt über Orca Hand und kompatible geschickte Hände und bietet Integrationsunterstützung für geschickte Gripplangleitungen.
Punktwolke vs. Tiefenbildmethoden
Eine praktische Frage: Sollte Ihr Grappplanner auf Rohtiefbildern oder auf 3D-Punktwolken funktionieren?
| Criterion | Punktwolke Methods | Depth Image Methods |
|---|---|---|
| Multi-view fusion | Natural (register and concatenate) | Requires volumetric fusion (TSDF) |
| Inference speed | 8-15 Hz (PointNet++ backbone) | 20-50 Hz (CNN backbone) |
| 6-DOF grasp support | Native (3D coordinates) | Requires projection/back-projection |
| Clutter handling | Better (3D reasoning) | Struggles with overlapping objects |
| Pre-processing | Downsampling, normal estimation | Minimal (resize, normalize) |
| Best method | AnyGrasp, Contact-GraspNet | GQ-CNN (top-down only) |
Für 6-DOF-Griff in unordentlichen Umgebungen sind die Punktwolkmethoden streng besser. Für die oben nach unten-Binn-Picking mit einer festen Oberkamera sind die Tiefenbildmethoden (GQ-CNN) schneller und ausreichend. Die meisten Teams sollten Standard-Points-Cloud-Methoden verwenden, es sei denn, Geschwindigkeitsanforderungen erfordern Tiefenbildansätze.
Integrationspipeline
Die Standardintegration mit einem ROS2 + MoveIt2 Stack:
Schritt 1: Fangen Sie die Punktwolke von RealSense ros2 starten realsense2_camera rs_launch.py \ enable_pointcloud:=true align_depth.enable:=true # Schritt 2: Laufen Sie den Greifenplaner (AnyGrasp Beispiel) von anygrasp Import AnyGraspDetector Detektor = AnyGraspDetector() Detektor.load_model("checkpoint_detection.tar") # Pass Punktwolke, erhalten Sie die Rangliste greifen Kandidaten greifen, Punkte = Detektor.get_grasps.get_cloud, workspace\mask=executable\plane\mask, top_=20 # Schritt 3: Filter durch Reachabel (MoveIt2 IK) Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer Greifer G
Wichtige Implementierungsdetails: Filtern Sie immer die Kandidaten nach Arbeitsraumgrenzen (ausgeschlossen werden die mit dem Tisch kollidieren oder außerhalb der Reichweite der Hand liegen), setzen Sie eine Qualitätspunktschwelle (0,7 ist ein guter Ausgangspunkt) und verwenden Sie Impedanzkontrolle im letzten 5 cm der Annäherung, um Positionsfehler zu bewältigen. Die Umstellung von Positionsteuerung auf Impedanzkontrolle in der Näherentfernung ist entscheidend für eine zuverlässige Festnahme
MoveIt2 Integration: Vollständige Pipeline-Architektur
Die Integration eines erfahrenen Greifenplaners in einen MoveIt2-Produktionsstack beinhaltet mehr als das Aufrufen des Planers und die Ausführung. Eine robuste Pipeline erfordert kollizionsbewusste Planung, Greifenfilterung, Ansatz/Rückzugspurgenerierung und Rückfalllogik. Hier ist die detaillierte Architektur:
Grap Pipeline Node (ROS2 Python)
# grasp_pipeline.py -- Full MoveIt2 + AnyGrasp Pipeline Import rclpy von rclpy.node Import Node von moveit2 Import MoveIt2 von Geometrie_msgs.msg Import PoseStampelt von Sensor_msgs.msg Import PointCloud2 Import Numpy als np Klasse GraspPipelineNode: ____((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((((( Crop to workspace mask = np.all(((cloud[:,:3] >= self.ws_min) & (cloud[:,:3] <= self.ws_max), axis=1) Cloud_ws = Cloud[mask] # 2. Laufen Sie Greifen-Detection-Griff, Scores = self.detector.get_grasps(Cloud_ws, top_k=50, apply_nms=True) # 3. Filtern nach Punkt Schwelle gültig = [(g, s) für g, s in zip(grasps, Punkte) wenn s >= self.score_thresh] wenn nicht gültig: self.get_logger().warn('Kein gültiges Greifen über der Schwelle') zurück falsche # 4. Sortieren nach Punktzahl, versuchen Sie jede, bis eine gelingt.sort(key=lambda x: x[1], reverse=True) für Greifen, Punktzahl in gültig[:10]: # versuchen Sie Top 10 # 4a. Berechnen Sie die Vor-Graps-Position (zurück entlang der Annäherungs-Achse) Ansatz_vec = Graps.Rotation[:, 2] # z-Achse = Ansatz pre_Graps = Graps.Copy() pre_Graps.Translation -= Ansatz_vec * self.dist Approach_dist # 4b. Überprüfen Sie die IK-Förderbarkeit für beide Posen, wenn nicht self.moveit.check_ik(pre_grasp): weiter, wenn nicht self.moveit.check_ik(grasp): weiter # 4c. Planen und ausführen von selbst.bewegen.öffnen_gripper() Erfolg = selbst.bewegen.plan_und_ausführen(vor_greifen, Geschwindigkeit_scaling=0,5) wenn nicht Erfolg: weiter # 4d. Linearer Ansatz zur Erfassung von Posen (Kartesianischen Weg) Wegpunkten = self.moveit.compute_cartesian_path([pre_grasp, grasp], max_step=0.005) wenn Wegpunkte.Fraktion < 0.95: weiter # Weg zu unvollständig self.moveit.execute(waypoints.trajectory, velocity_scaling=0.2) # 4e. Schließen Sie den Griff mit Kraftsteuerung self.moveit.close_grip(perforce=15.0, Breite=0.0) # 4f. Rückzug (Liften geradeaus nach oben) Rückzug_Pose = greifen.kopieren() Rückzug_Pose.Übersetzung[2] += self.retreat_dist self.moveit.plan_and_execute( Rückzug_Pose, Geschwindigkeit_scaling=0.3) zurückzugeben Wahre self.get_logger().fehler('Alle Grip-Kandidaten scheiterten') zurückzugeben Falsch
Schlüsselarchitektonsentscheidungen in dieser Pipeline:
- Werkfläche vor der Erkennung zu bearbeiten verringert die falsche Positivität von Hintergrundoberflächen und verkürzt die Ableitzeit um 30-40% durch Verringerung der Punktzahl.
- ** IK-Vorprüfung vor der Planung** vermeidet teure Bewegungsplanungsanforderungen für unerreichbare Greifungen.
- Der Cartesian-Pfad für den Endanschritt sorgt für einen geraden Ansatz der Greifposition, der für die Vermeidung von Kollisionen in den letzten centimetern von entscheidender Bedeutung ist.
- Kraftkontrollierter Schließvorgang verhindert das Zerkleinern zerbrechlicher Gegenstände. Setzen Sie Kraftgrenzwerte anhand Ihres Griffes: 5-10N für Lebensmittel/Elektronik, 15-30N für starre Gegenstände, 50N+ für industrielle Teile.
- Top-10 Fallback-Loop bearbeitet den üblichen Fall, in dem die höchste Punktzahl nicht erreichbar ist oder eine Kollision auftritt.
Kamera-Kalibrierung für die Planung von Grass
Die Genauigkeit der Grip-Planung hängt von der Kalibrierung von Kamera zu Roboter ab. Ein 5mm-Kalibrierungsfehler führt direkt zu einem 5mm-Grip-Pose-Fehler - genug, um Fehler bei kleinen Objekten zu verursachen.
- Sammeln Sie Kalibrierdaten: Bewegen Sie den Roboter auf 15-20 Posen, während Sie einen ArUco-Board oder Schachbrett beobachten, der auf den Endefektor (Auge-zu-Hand) oder im Arbeitsbereich (Auge-zu-Hand) montiert ist.
- Löschen Sie AX=XB: Verwenden Sie die
T0 von OpenCV mit der Tsai-Lenz- oder Park-Methode. - ** Validieren:** Befehl dem Roboter, einen bekannten Punkt im Kamerarahmen zu berühren. Messen Sie den Fehler. Wiederholen Sie für 10 Punkte im Arbeitsbereich. Ziel: <2mm Durchschnittsfehler, <4mm max.
- Verringern Sie regelmäßig: Nach jeder Einstellung der Kameraanlage, Bewegung der Roboterbasis oder einer signifikanten Temperaturänderung (Wärmeexpansion verändert die Kameraposition um bis zu 1 mm pro 10C).
RCSV bietet vorkalibrierte Kamera-Montage für RealSense D435i und D405, die eine Kalibrierungsgenauigkeit von <1,5 mm aufrechterhalten. Für Teams, die benutzerdefinierte Montage verwenden, umfassen unsere Datendienste die Hand-Augen-Kalibrierung als Teil des Hardware-Setup-Pakets.
Grap Planner FPS nach Hardware-Plattform
Die Inferenzgeschwindigkeit variiert stark zwischen den Hardware-Anwendungen. Diese Zahlen wurden mit Batchgröße 1 auf realen Punktwolken gemessen (20K-40K Punkte nach der Arbeitsplatzgewinnung):
| Method | RTX 4090 | RTX 3060 | Jetson Orin | Jetson Xavier | CPU (i7-13700) |
|---|---|---|---|---|---|
| GQ-CNN (top-down) | 60 Hz | 45 Hz | 25 Hz | 12 Hz | 8 Hz |
| GraspNet-1Billion | 18 Hz | 10 Hz | 5 Hz | 2 Hz | 0.8 Hz |
| Contact-GraspNet | 15 Hz | 8 Hz | 4 Hz | 1.5 Hz | 0.5 Hz |
| AnyGrasp | 22 Hz | 15 Hz | 8 Hz | 3 Hz | 1.2 Hz |
| FoundationGrasp | 5 Hz | 3 Hz | 1.2 Hz | 0.4 Hz | N/A |
| GPD | 8 Hz | 5 Hz | 2.5 Hz | 1 Hz | 0.6 Hz |
** Praktische Nachweis:** Bei Jetson Orin (der Standard-Randrechner für mobile Roboter) ist AnyGrasp bei 8 Hz die einzige 6-DOF-Methode, die schnell genug für reaktives Greifen ist. Bei einem Desktop RTX 3060 laufen alle Methoden mit akzeptablen Geschwindigkeiten für Pick-Place-Aufgaben, bei denen Sie einmal planen und ausführen. Für das Pick-Conveyor-Gürtel bei mehr als 20 Pick-Pics/Minut benötigen Sie entweder eine Desktop-GPU oder GQ-CNN auf Jetson (nur Top-Down-Grip).
Erfolgsrate nach Objektkategorie
Die Ergebnisse dieser Zahlen sind aus mehreren veröffentlichten Bewertungen und RCSV-internen Tests auf OpenArm 1 mit einem Robotiq 2F-85 Greifer zusammengefasst:
| Object Category | AnyGrasp | Contact-GraspNet | GQ-CNN | Notes |
|---|---|---|---|---|
| Rigid boxes/cans | 95% | 93% | 90% | Easiest category |
| Irregular shapes (toys, tools) | 88% | 85% | 72% | GQ-CNN limited to top-down |
| Small objects (<3cm) | 78% | 72% | 65% | Depth noise dominates |
| Transparent (glass, clear plastic) | 35% | 30% | 25% | Depth sensor failure |
| Deformable (bags, cloth) | 55% | 50% | 40% | Shape changes on contact |
| Heavy clutter (>15 objects) | 75% | 80% | 58% | Contact-GraspNet excels here |
| Flat objects (books, plates) | 82% | 78% | 70% | Side grasps often needed |
Die Planung der Sprachenmanipulation
Die neueste Generation von Grip-Plans integriert die Sprache-Konditionierung, so dass Befehle wie "die rote Tasse hochziehen" oder "die linkste Flasche hochnehmen" möglich sind. Dies schließt die Lücke zwischen Grip-Planing (welche Grip-Pose ist stabil?) und Aufgabenplanung (welches Objekt sollte ich erfassen?).
Architekturmuster: Die typisch sprachlich bedingte Grippe Pipeline verknüpft drei Komponenten: (1) ein offenes Vokabularobjektdetektor (GroundingDINO, OWLv2) der das Zielobjekt aus einer Textfrage lokalisiert, (2) ein Segmentierungsmodell (SAM, Segment Anything), das eine Maske für das Zielobjekt erzeugt, und (3) ein Gripplanner, der auf der Maskenpunktwolke arbeitet. Mit diesem modularen Ansatz können Sie jede Komponente unabhängig austauschen.
# language_grasp.py -- "Sprachbedingte Grapple Pipeline von groundingdino.util.inference Importvorhersage als gd_predict von Segment_anything Import SamPredictor Import numpy als np def Language_grasp(rgb, Tiefe, Prompte, Grapple_Detector, sam, camera_K): """Pick das Objekt, das von <unk>T1
Diese Pipeline ergänzt 80-150ms Latenz für Erkennung und Segmentierung (auf einem RTX 3060), verbessert jedoch den Erfolg auf Aufgabenniveau dramatisch, da der Greifenplaner nur das Zielobjekt berücksichtigt und die Greifen auf Ablenker beseitigt.
Öffnen von Benchmarks
GraspNet Benchmark: Die Standardbewertung für 6-DOF-Griff. Es werden 190 Szenen mit 88 Objekten verwendet (in gesehen/ähnliche/neueste Kategorien aufgeteilt). Metriken: AP (durchschnittliche Präzision bei verschiedenen Qualitätsschwellen) und Erfolgsrate bei verschiedenen Reibungskoeffizienten. Alle wichtigen Methoden berichten über Ergebnisse auf diesem Benchmark, wodurch der Querschnitt der Methodenvergleich einfach wird.
YCB Graping Benchmark: verwendet das YCB-Objekt-Set (77 häufige Haushaltsobjekte) mit einem standardisierten Kamera-Setup- und Evaluationsprotokoll.
OCRTOC (Open Cloud Robot Table Organization Challenge): Ein Online-Benchmark für die Manipulation von Tischplatten, der die Grappplanning als eine Komponente umfasst. Nützlich für die Bewertung von vollständigen Pick-Place-Pipelines, anstatt die Grappplanning isoliert zu bewerten.
Versagen und Minderungen
- Transparente Objekte (Glas, klares Kunststoff): Die Tiefsensoren scheitern bei transparenten Oberflächen
Strukturlicht und ToF erfordern beide Oberflächenreflektierung. - Schweres Objekt in der Nähe der Nutzlastgrenze: Die Planung der Greiflast berücksichtigt keine Nutzlastgrenzen. Fangen Sie ein Objekt in der Nähe der Armlastgrenze aus dem falschen Winkel und Sie können es schaffen, zu greifen, aber aufgrund von Drehmomentgrenzen nicht zu heben.
- Thin Objects <3mm: Standard-Greifer mit Parallel-Klauch können ohne Hardwareänderung nicht auf <3mm nahe kommen. Gripperplaner, die auf Standardobjekte ausgebildet sind, erzeugen ungültige Greifer für Kreditkarten, Papierblätter oder dünne Platten.
- Highly Cluttered Scenes (>20 Objekte): Die Qualität der Punktwolke verschlechtert sich in dichtem Unordnung aufgrund der Objektenverstopfung. Contact-GraspNet verwaltet dies besser als GraspNet-1Billion, da es keine Objektsegmentierung erfordert, aber auch Contact-GraspNet zeigt eine Präzisionszerstörung von 15-20% über 15 Objekten. Mitigation: Verwenden Sie eine Deklutterungsstrategie
greifen Sie zuerst einfache Objekte und entfernen Sie sie, dann beobachten Sie die Szene erneut für verbleibende schwierige Objekte. - Verformbare Gegenstände (Taschen, Stoff, Weichnahrung): Alle aktuellen Methoden gehen aus starren Gegenständen aus. Mitigation: Nutzen Sie konservative Fangkraft, implementieren Sie reaktives Re-Grabping basierend auf [Kontaktkraftfeedback] ((
T5 ), oder sammeln Sie Aufgabenspezifische Demonstrationsdaten, die verformbare Manipulationsstrategien erfassen.
RCSV verfügt über RealSense D435i und D405 Kameras, die für Manipulationen optimiert sind, sowie vorgebaute ROS2-Grip-Planungsknoten für GraspNet und AnyGrasp. Unsere [Datendienste]
Verwandte Lesungen
- [Roboter-Kamera-Setup-Leitfaden]
- [Kontaktkräfte in Manipulation]
- [Multimodal Roboter-Sensing]
- [Sim-to-Real-Transfer]
- [Verbreitungspolitik für Roboter]
- [Datendienste]
- [Hardware-Katalog]
- [Glossar]
Wahrnehmungshardware und Integration
RCSV bietet Tiefenkameras, Grape Planning-Knoten und Integrationsunterstützung für Manipulation Perception Pipelines.
[Shop Perception Hardware]