Aufzeichnen Sie synchronisierte Demonstrationen

Einheit 4 von 6 · Datenerhebung · ~ 3 Stunden

Verständnis dafür, warum die Datenverwertung im zwei-Männern schwieriger ist als die Ein-Arm-Erhebung, das Format des LeRobot-Daten-Bimanuals und die Aufzeichnung von 100 sauberen synchronisierten Demonstrationen der Aufgabe des Kubums.

Warum die Datenverarbeitung in zwei Handbuchs schwieriger ist

Bei einer Einarmsdatenerhebung beeinflusst eine schlechte Demonstration nur die Strecke eines Arms. Sie nehmen 50 Demos auf, werfen 5 schlechte ab und trainieren auf 45. Bei einer zweibrochigen Datenerhebung wird ein Fehler am Handoffpunkt die Strecke der _both_Arme für diese Demo gleichzeitig ungültig machen.

Diese Kopplung hat zwei praktische Implikationen. Erstens benötigen Sie mehr Demonstrationen 100 statt 50 , weil zweibrochige Aufgaben eine höhere Variante haben und die Politik mehr Beispiele braucht, um die Koordinierungsstruktur zu lernen. Zweitens benötigen Sie strengere Konsistenz pro Demonstration. Eine Einarms-Demo, die 80% konsistent ist, zieht ziemlich gut. Eine zweimanuelle Demo, bei der ein Arm konsistent ist und der andere variiert, lehrt die Politik nichts nützliches über die Koordinierung.

Die Herausforderung zur Abdeckung des Arbeitsraums ist auch größer: Sie benötigen beide Arme im Rahmen, und der Handoverpunkt der höchsten Komplexität Moment muss zuverlässig von mindestens einer Kamera erfasst werden. Überprüfen Sie Ihre Kamera Winkel vor dem Start und passen Sie, wenn der Übergabe außerhalb des Sichtfelds der Arbeitsraum-Kamera stattfindet.

LeRobot Bimanual Datensatz Format

Die Integration von DK1 mit LeRobot erweitert das Standard-Single-Arm-Format mit Dual-Joint-State-Arrays.

# Bimanuelle Datensatzbeobachtungsschlüssel pro Zeitstufe: Beobachtung.Glied_states.links # Form: (6,) Linke Anhänger-Gliedwinkel in Radianen Beobachtung.Glied_states.right # Form: (6,) Rechte Anhänger-Gliedwinkel in Radianen Beobachtung.Greifer.left # Form: (1,) Linke Griffposition [0=off, 1=geschlossen] Beobachtung.Greifer.right # Form: (1,) Rechte Griffposition Beobachtung.im.right.Greifer # Form: (H, W, 3) Arbeitsraum Oberhäufigkeit/Rechte Kamerabeobachtung.im.w# Form: (H, W, 3) Primärarmkamera.Greifer.gefüllte_Gripper.gefüllte # Form: Linke Griffposition (6, ) Ziel (Greifer.gefüllte) (Greifer.gefüllte) (Greifer.gefüllte) (Greifer) (Greifer) ) (Greifer.

Der Hauptunterschied gegenüber einem Arm: Der Aktionsraum ist 14-dimensionaler (6+6 Gelenke + 2 Griffflächen). ACT behandelt dies nativerweise Sie geben die Aktionsdimension im Trainingskonfigurieren an und keine weiteren Änderungen sind erforderlich.

Aufzeichnung von Arbeitsflüssen

Quelle ~/dk1-env/bin/activate # Starten Sie eine Aufnahmesitzung 100 Episoden für die Würfelübergabe-Aufgabe Python -m lerobot.scripts.record \ --robot-path ~/dk1-config.yaml \ --robot-type dk1_bimanual \ --fps 50 \ --root ~/dk1-Datasets \ --repo-id cube-handoff-v1 \ --num-episodes 100 \ --warm-time-s 3 \ --episode-s 30 \ --reset-time-s 5 # --warm-time-s: Zeit nach dem Drucken des Aufzeichens vor dem Aufnehmen beginnt (diese Position zu verwenden) \ --cube-time-s: cube-hand-offs sollte in 20er Jahren abgeschlossen werden; maximaler Aufstellung zwischen den Episoden \ \ 30er Jahren gibt es die Zeit zum Buffer -s:

Führen Sie 1015 Übungsdemos aus, bevor Sie die Aufnahmesitzung starten, um Ihr Motorgedächtnis für die Aufgabe zu erwärmen. Die ersten 510 aufgezeichneten Demos werden Ihre schlimmsten sein, die erwartet werden. Stoppen Sie nicht, sie während der Sitzung zu überprüfen; überprüfen und schlechte Demos abschalten, nachdem die vollen 100 aufgezeichnet sind.

Qualitätskontrolle für Bimanuale

Überprüfen Sie alle Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-Demo-D-Demo

Arm Synchronisation beim Handoff Beide Arme müssen gleichzeitig innerhalb von 3 cm vom beabsichtigten Handoffpunkt liegen. Asynchronisierte Handoffs, bei denen der eine Arm auf den anderen wartet, lehren die Politik, zu pausieren , die schlecht überträgt.

Konsistente Startposition Der Würfel muss für jede Demo innerhalb von 2 cm von der gleichen Position starten.

Reine Greifung Beide Arme Jeder Arm muss eine stabile Greifung erreichen, bevor er in die nächste Phase übergeht.

** Home pose return** Beide Arme müssen am Ende jeder Demo sauber zur Home pose zurückkehren.

◎

Kamera-Abdeckung im Arbeitsraum Der Übergabe muss im Arbeitsraumkamera-Rahmen sichtbar sein.

Konsistent Timing Die Episodendauer sollte sich in den Demos nicht mehr als ±5 Sekunden unterscheiden.

Zieldatenstärke: 100 Demos ist das empfohlene Mindestmaß für die zweimanuale ACT-Ausbildung. Wenn Sie nach dem Training in der 5. Einheit unter 40% gelingen, sollten Sie als erstes 50 weitere Ziel-Demos sammeln.

Einheit 4 ist fertig, wenn...

Sie haben 100 aufgenommenen Demonstrationen im LeRobot-Format bei T0. Nach der Überprüfung und Abkürzung bestehen mindestens 90 Demos an der Qualitätscheckliste. Beide gemeinsamen Zustandsarie sind für jede Episode bei 50Hz vorhanden. Beide Kamera-Feeds sind vorhanden und zeigen die komplette Aufgabensequenz einschließlich des Handoff-Moments an. Sie haben T1 ausgeführt und bestätigt, dass die Datensatzstruktur gültig ist.

[← Zurück zu Wegübersicht]