Erfassen Sie Ihre eigenen Demonstrationen

Einheit 3 von 6 · Aufzeichnungen von Demos · ~ 2 Stunden

Verbinden Sie Ihren Roboter (oder Simulation), erfassen Sie mindestens 50 Demonstrationen mit dem LeRobot-Record-Befehl und schieben Sie Ihren Datensatz in HuggingFace Hub bereit für das Training in Einheit 4.

Verbinden Sie Ihren Roboter oder die Simulation

Wenn Sie einen echten Roboter verwenden, schließen Sie ihn jetzt an und bestätigen Sie, dass er von Ihrem System erkannt wird, bevor Sie den Rekordbefehl ausführen. Wenn Sie in der Simulation arbeiten, kann der Rekordbefehl einen virtuellen Roboter in den T0 oder T1 Umgebungen mit einer Tastatur oder einem Skript als Teleoperationsquelle ausführen.

# Echtes Roboter Verifizieren Sie die Verbindung (versetzen Sie so100 mit Ihrem Robotertyp) Python -m lerobot.scripts.control_robot \ --robot-path lerobot/configs/robot/so100.yaml \ --control-mode Teleoperate \ --teleop-time-s 5 # Simulation keine Hardware benötigt Python -m lerobot.scripts.control_robot \ --robot-path lerobot/configs/robot/so100_sim.yaml \ --control-mode Teleoperate \ --teleop-time-s 5

Sie sollten gemeinsame Zustände in der Endleistung und (für echte Roboter) sehen, die auf den Eingang reagieren. Wenn nicht, lösen Sie das Verbindungsproblem, bevor Sie mit einer Aufnahme mit einem abgetretenen Roboter fortfahren produziert stillschweigend beschädigte Daten.

Das Aufzeichnungsbefehl

Das Kern-Aufnahmebefehl.

python -m lerobot.scripts.control_robot \ --robot-path lerobot/configs/robot/so100.yaml \ --control-mode record \ --dataset.repo-id $HF_USER/pick-place-v1 \ --dataset.num-episodes 50 \ --dataset.single-task "die rote Würfel hochnehmen und in die Schale legen" \ --dataset.fps 30 \ --dataset.push-to-hub 1 \ --display-cameras 1 \ #HF_USER ist Ihr HuggingFace-Benutzername (setzt über: export HF\USER=your_username) \ --set.push-to-hubs 1 nach jedem Episode \ #display-kameras 1 automatisch aufladen

Simulationsaufzeichnung: Ersetzen Sie T2 durch Ihre Sim-Konfiguration. Fügen Sie T3 und T4 hinzu, um scriptbasierte (nicht menschliche) Demonstrationen für einen Basisdatensatz aufzuzeichnen.

Wie viele Demonstrationen?

Die richtige Nummer hängt von Ihrem Setup ab:

• Simulation: 50 scripted Episoden reichen für eine Basispolitik aus. Die Umgebung ist deterministisch, so dass die Variance gering ist und 50 reichen für ACT, um zu konvergieren.
• Echtes Roboter, einfache Aufgabe: 5080 menschliche Demonstrationen. Ein Pick-and-Place mit einer festen Objektsposition kann am unteren Ende dieses Bereichs gut trainieren, wenn Ihre Demo-Demonstrationen konsistent sind.
• Echtes Roboter, variable Aufgabe: 100200 Demonstrationen. Wenn die Positionen der Objekte variieren oder wenn die Aufgabe mehrere Unterschritte erfordert, benötigen Sie mehr Abdeckung.

Für diesen Weg ist das Ziel 50 Demonstrationen mindestens. Qualität schlägt Quantität 50 konsequente Demonstrationen übertreffen jedes Mal 150 schlechte.

Gute Demonstrationspraktiken

Einheitliche Arbeitsplatz-Einstellung

Setzen Sie Objekte vor jeder Episode in die gleiche Position zurück. Verwenden Sie Tape auf dem Tisch, um Startpositionen zu markieren. Die Politik lernt von der Verteilung der Positionen in Ihren Demo Wenn sie alle an der gleichen Stelle sind, wird die Politik für diesen Ort kalibriert.

Vollständige Episoden

Jede Episode sollte mit der gleichen Home-Pose beginnen und mit der vollständig abgeschlossenen Aufgabe enden.

Absichtliche, leichte Bewegungen

Bewegt sich mit 40 60% maximaler Geschwindigkeit. Langsam genug, um glatt zu sein, schnell genug, um nicht nervös zu sein. Das Modell lernt Zeit aus Ihren Demonstrationen unregelmäßige Geschwindigkeit erzeugt unregelmäßige Richtlinien.

Teilweise oder abgebrochenen Demo

Wenn Sie das Objekt fallen lassen, mit dem Arbeitsplatz kollidieren oder einen Fehler auslösen, drücken Sie T5, um die Episode zu abbrechen. Die Episode wird abgebrochen.

Unstimmige Strategien

Vermischen Sie keine Strategien: Nehmen Sie in einigen Demos nicht von links und in anderen von rechts. Wählen Sie einen Ansatz aus und verwenden Sie ihn für jede Episode.

Schieben Sie zum HuggingFace Hub

Wenn Sie während der Aufnahme nicht T6 eingestellt haben, drücken Sie nach der Sitzung manuell:

# Schieben Sie Ihren ausgefüllten Datensatz in HuggingFace Hub python -m lerobot.scripts.push_datensatz_to_hub \ --datensatz-dir ~/lerobot-datensätze/pick-place-v1 \ --repo-id $HF_USER/pick-place-v1 # Überprüfen Sie, ob es live ist: # T12

** Datensatz Sichtbarkeit:** Neue Datensätze sind standardmäßig öffentlich auf HuggingFace Hub. Wenn Ihr Arbeitsplatz oder Ihre Aufgabe empfindlich ist, fügen Sie T7 zum Push-Befehl hinzu. öffentliche Datensätze tragen zur Roboter-Community bei und können in der [RCSV Datensatzbibliothek]T10 enthalten sein.

Einheit 3 vollendet, wenn...

Sie haben mindestens 50 vollständige, unabortierte Demonstrationen in einem LeRobot-Datensatz auf HuggingFace Hub. Sie können Ihren Datensatz mit T8 laden und die erwartete Anzahl von Episoden sehen. Sie haben mindestens 5 Ihrer eigenen Episoden mit T9 visualisiert und bestätigt, dass die Gelenkbahnen reibungslos aussehen und die Greifer-Zustandänderungen sauber sind. Sie sind bereit, in der Einheit 4 zu trainieren.

[← Zurück zu Wegübersicht]