Imitierungslernen für Roboter: ACT, Diffusionspolitik, VLAs <unk> Praktische Anleitung (2026)
Vollständige praktische Anleitung zum Imitationslernen für Robotik <unk> ACT, Diffusionspolitik, OpenVLA, Datenanforderungen, Trainingspipelines und Fehlermodusdiagnose.
[← Führer]
Ein Praxisführer für die Ausbildung von Robotern aus menschlichen Demonstrationen
Was ist das Nachbilden?
Imitierungslearning schult einen Roboter durch Anzeigen von Beispielen des gewünschten Verhaltens. Statt manuell zu programmieren, um Strecken oder technische Belohnungfunktionen für das Verstärken des Lernens zu programmieren, demonstrieren Sie die Aufgabe durch [Teleoperation]
Die Kernidee ist einfach: Sammeln Sie ein Datensatz von (Beobachtung, Aktion) Paaren aus menschlichen Demonstrationen, dann trainieren Sie ein neuronales Netzwerk, um die richtige Aktion angesichts der aktuellen Beobachtung vorherzusagen.
Im Praxisfall ist das Imitationslernen die zuverlässigste Methode, um einen Roboter 2026 zu einem neuen Manipulations-Aufwand zu bringen. Das Verstärken des Lernens erfordert Millionen von Umgebungsinteraktionen und sorgfältig geformte Belohnungspfunktionen. Das Imitationslernen erfordert nur Demonstrationen
Kurze Geschichte: Von der Verhaltensklonung bis zu modernen Architekturen
**Verhaltensklonung (BC) ** ist die einfachste Form: beaufsichtigtes Lernen, das Beobachtungen direkt auf Aktionen abbildet. Trainieren Sie ein neuronales Netzwerk auf (Bild, gemeinsame_Position) → (next_action) Paaren mit Standardregressionsverlust. BC funktioniert gut, wenn Demonstrationsdaten konsistent sind und die Verteilung der Zustände deckt, die der Roboter während des Einsatzes trifft. Es versagt, wenn der Roboter von der gezeigten Bahn abweicht
**Dolch **, eingeführt von Ross et al. im Jahr 2011, behandelt die Verteilungsschicht durch die iterative Sammlung neuer Demonstrationen in Staaten, die der Roboter tatsächlich besucht. Nach dem Training einer ersten BC-Politik, setzen Sie sie ein, lassen sie abtrieben, dann lassen Sie den Menschen die resultierenden Zustände korrigieren. Diese Korrekturen werden dem Trainingsset hinzugefügt. DAgger ist theoretisch elegant, aber operationell teuer. Es erfordert einen menschlichen Experten, der während jeder Trainingsitation zur Verfügung steht.
**GAIL (Generative Adversarial Nachahmungslernen) **, eingeführt von Ho und Ermon im Jahr 2016, kombiniert Imitationslernen mit adversarial Training: Ein Diskriminierender lernt, das Verhalten von Robotern von menschlichem Verhalten zu unterscheiden, und die Politik wird geschult, um den Diskriminierenden zu täuschen. GAIL verarbeitet mehrmodal Demonstrationen besser als BC, erfordert jedoch Online-Umgebungsinteraktion (typischerweise in Simulation) und ist bekanntlich schwierig zu tunnen.
Die drei Ansätze, die die reale Roboternmanipulation im Jahr 2026 dominieren
Warum das Nachbilden der Manipulation zu einem Gewinn ist
Vor 2023 gingen die meisten Robotiklabors davon aus, dass Verstärkungsschulungen die Manipulation schließlich lösen würden. Diese Erwartung ist für kontaktreiche Aufgaben nicht realisiert.
- Stichprobeneffizienz: Eine nützliche Politik des Imitationslernens kann auf 50
500 menschlichen Demonstrationen ausgerichtet werden, die an einem einzigen Tag gesammelt werden. - ** Keine Belohnungsgemäßung:** RL erfordert eine Belohnungsanwendung, die genau feststellt, was "Erfolg" bedeutet. Bei Manipulationsarbeiten wie dem Falten eines Kleidungsstücks oder der Montage von Komponenten ist die Definition von Belohnung enorm schwierig.
- Teleoperationsdaten sind natürlich: Die moderne Teleoperationshardware (Fahrer-Follower-Arme, VR-Controller, Exoskelett-Handschuhen) erleichtert die Erhebung von hochwertigen Demonstrationen.
- Real-World-Compatibility: RL-Züge sind im Bereich Simulation am besten, aber der sim-to-real-Transfer für kontaktreiche Manipulation bleibt unzuverlässig.
- ** Kompatibilität mit Grundmodellen:** Vor-ausgebildeten Modelle der Vision-Language (SigLIP, DINOv2) liefern leistungsstarke visuelle Darstellungen, die imitiertes Lernen direkt nutzen kann.
RL dominiert immer noch bei der Bewegung (Unitree's G1, Boston Dynamics' Atlas) und bei Aufgaben mit klaren Belohnungssignalen (Spiel, Navigation). Für die Manipulation ist
ACT: Aktionsschütteln mit Transformatoren
ACT, eingeführt von Tony Zhao et al. an der Stanford-Universität im Jahr 2023, ist das Arbeitspferd des Imitationslernens für die Manipulation von Tablets. Es prognostiziert eine chunk (Sequenz) zukünftiger Aktionen anstatt einer einzigen nächsten Aktion, die das Problem des Komponidierungsfehlers in der Verhaltensklonung direkt adressiert.
Wie ACT funktioniert
ACT verwendet eine CVAE (Conditional Variational Autoencoder) Architektur mit einem Transformer-Backbone. Der Encoder verarbeitet die aktuellen Beobachtungs-
Die wichtigste Erkenntnis ist die Zeitvergleiche durch Chunking: indem das Modell 100 zukünftige Aktionen gleichzeitig vorhersagt, muss es eine kohärente Flugbahn erzeugen, nicht nur die unmittelbare nächste Aktion.
ACT verwendet während des Einsatzes eine temporal assembling: bei jedem Zeitschritt erzeugt es einen neuen 100-Schritten-Aktionsstück, aber die ausgeführte Aktion ist ein gewichteter Durchschnitt der vorhergesagten Aktionen des aktuellen Stücks und der vorhergehenden Stücks für diesen Zeitschritt.
Wann ACT verwendet werden soll
- Tabellebeschaffung mit 1
2 Roboterarmen (das ursprüngliche ALOHA-Verwendungsfall) - Aufgaben mit relativ deterministischen Strategien (Auswahl, Einfügung, Montage)
- Wenn Sie 50
200 Demonstrationen haben und eine schnelle Trainingsleitung benötigen - Wenn Sie auf bescheidener Hardware einsetzen müssen (etwas auf einer einzelnen Verbraucher-GPU läuft, ~ 15 ms Ableitung)
Typische Datenanforderungen für ACT
- Einfache Auswahl und Verlagerung: 50 Demonstrationen → 85%+ Erfolg
- Bimanuale Koordinierung: 100 Demonstrationen → 80%+ Erfolg
- Genaue Einfügung (Peg-in-Hole, USB): 200 Demonstrationen → 70%+ Erfolg
- Komplexe mehrstufige Aufgaben: 400
800 Demonstrationen erforderlich
50 saubere, konsistente Demonstrationen übertreffen oft 500 laute.
ACT-Schulung mit LeRobot
Der zugänglichste Weg, ACT 2026 zu trainieren, ist durch Hugging Face's [LeRobot]
# Install LeRobot
pip install lerobot
# Convert your dataset
python -m lerobot.scripts.convert_dataset \
--raw-dir ./my_episodes/ \
--repo-id my-org/my-task \
--raw-format hdf5_aloha
# Train ACT policy
python -m lerobot.scripts.train \
policy=act \
dataset_repo_id=my-org/my-task \
training.num_epochs=2000 \
training.batch_size=8
Die Ausbildung konvergiert in der Regel in 2
ACT: Vor- und Nachteile
| Pros | Cons |
|---|---|
| Extremely data-efficient (50 demos for simple tasks) | Struggles with multi-modal action distributions |
| Fast inference (50+ Hz on consumer GPU) | No language conditioning |
| Smooth trajectories via temporal ensembling | Sensitive to demonstration inconsistency |
| Well-supported in LeRobot framework | Single-task only (one policy per task) |
| Low training compute (single GPU, hours) | Temporal ensembling weight requires manual tuning |
Diffusionspolitik
Die Diffusion Policy, die Cheng Chi et al. in Columbia im Jahr 2023 eingeführt hat, wendet den diffusionsbezogenen Rahmen an, der den gleichen Ansatz hinter Bildgenerierungsmodellen wie Stable Diffusion zur Roboter-Aktionsvorhersage hat.
Wie die Verbreitungspolitik funktioniert
Anstatt Aktionen direkt vorherzusagen, lernt Diffusion Policy, einen Zufallslärmvektor wiederholt in eine saubere Aktionsbahn zu verweisen. Während des Trainings nimmt es eine saubere Aktionsbahn aus einer Demonstration, fügt unterschiedliche Ebenen von Gaussischem Lärm hinzu und trainiert ein Netzwerk (typischerweise ein 1D-U-Net oder Transformer) um den zusätzlichen Lärm vorherzusagen. Während der Ableitung beginnt sie mit reinem Lärm und wird wiederholt über K-Schritte (typischerweise K=10
Der kritische Vorteil ist die Multi-Modalität: Diffusionsmodelle stellen natürlich mehrere gültige Lösungen dar. Wenn es zwei gleich gut geeignete Möglichkeiten gibt, ein Objekt zu erfassen (Ansatz von links gegenüber rechts), kann die Diffusionspolitik beide Modi darstellen, ohne sie in eine einzige falsche mittlere Flugbahn durchschnittlich zu verweisen. Standardverhaltensklonung mit MSE-Verlust durchschnittliche Modi, was für bimodal Aufgaben katastrophal ist.
Die Diffusionspolitik erzeugt auch außergewöhnlich schlanke Bahnen, da der Entwässerungsprozess von Natur aus zeitlich konsistente Handlungsschritte erzeugt. Dies macht sie für kontaktreiche Aufgaben wie Reiben, Gießen und Oberflächenfolgen geeignet, bei denen die Bahnfleischigkeit den Erfolg direkt beeinflusst.
Wann sollte die Verbreitungsrichtlinie angewandt werden
- Aufgaben mit mehreren gültigen Strategien (die Daten enthalten verschiedene Ansätze zum gleichen Ziel)
- Kontaktreiche Aufgaben, bei denen präzise Kraftbahnen wichtig sind
- Aufgaben, die eine hohe Streckenglässlichkeit erfordern (Gießen, Ziehen, Oberflächenwäsche)
- Wenn Sie Daten von mehreren Operatoren mit leicht unterschiedlichen Stilen haben
- Wenn Sie eine GPU mit ausreichend Rechenleistung für iteratives Denotation (30
80 ms Ableitung) haben
Typische Datenanforderungen für die Diffusionspolitik
- Einfache einmodal-basierte Aufgaben: 100
200 Demonstrationen - Mehrmodal-Aufgaben (mehrere gültige Strategien): 200
500 Demonstrationen - Komplexe Kontaktmanipulationen: 500
1.000 Demonstrationen
Der Hauptunterschied gegenüber ACT: Die Diffusionspolitik ist weniger empfindlich gegenüber Demonstrationsunvereinbarkeiten, da sie multimodale Verteilungen darstellen kann.
Verbreitungspolitik: Vor- und Nachteile
| Pros | Cons |
|---|---|
| Handles multi-modal action distributions natively | Slower inference than ACT (10-30 Hz) |
| Exceptionally smooth trajectories | Needs more data than ACT for simple tasks |
| Robust to operator variation in demonstrations | More hyperparameters (diffusion steps, noise schedule) |
| Strong performance on contact-rich tasks | No language conditioning (without extensions) |
| Supported in LeRobot and robomimic | Higher GPU memory requirements during training |
OpenVLA und Vision-Language-Action-Modelle
Vision-Language-Action (VLA) Modelle stellen 2026 die Grenze des Roboterlernens dar. Sie kombinieren ein vorgeübtes Vision-Language-Modell mit Aktionsvorhersage, wodurch Roboter natürlichen Sprachanweisungen folgen können ("die rote Tasse aufheben und auf den Trei legen") und sich über Aufgaben und Objekte, die sie noch nie während der Feintuning gesehen haben, generalisieren.
Was sich mit den Grundlagenmodellen ändert
Das traditionelle Imitationslernen (ACT, Diffusion Policy) bildet Aufgaben-spezifische Richtlinien von Grund auf aus. Jede neue Aufgabe erfordert einen neuen Datensatz und einen neuen Trainingslauf. VLA-Modelle ändern diese Gleichung, indem sie eine vorgebildete Darstellung bereitstellen, die bereits visuelle Szenen und Sprache versteht.
Die praktische Konsequenz: VLA-Modelle können mit weniger Aufgaben-spezifischen Demonstrationen eine angemessene Leistung erzielen, da die schwere Belastung durch das visuelle Verständnis und die Sprachenanlegung während der Vorbildung auf Daten im Internet-Schale und großen Datenmengen von Roboter mit Querschnittkörpern wie Open X-Embodiment (970K+ Episoden, 22+ Robotertypen) erfolgt ist.
Schlüsselmodelle für VLA
- ** OpenVLA** (Berkeley, 2024): Open-Source 7B-Parameter VLA auf Llama 2 + SigLIP erbaut. Ausgebildet auf Open X-Embodiment-Daten. Feine Abkürzungen zu neuen Robotern mit 100
500 Demonstrationen. Laufen bei ~5 Hz auf einer einzigen A100 GPU. - pi0 (Physical Intelligence, 2024
2025): Proprietary VLA, die auf Daten über Kreuzkörperungen einschließlich dexter Hand trainiert wurde. - ** Oktober** (Berkeley, 2024): Leichtgewicht 93M Parameter generalist Politik. Entworfen für schnelle Fein-Tuning mit 50
200 Demonstrationen. Open-Source, läuft auf einer einzigen Verbraucher-GPU. - RT-2 (Google DeepMind, 2023): 55B-Parameter VLA basierend auf PaLM-E. State-of-the-art Verallgemeinerung, erfordert aber massive Rechenung (8 TPU v5e Chips). Nicht öffentlich verfügbar.
Feine Einstellung vs. Ausbildung von Grund auf
Feinabstimmung eines vorgeübten VLA (der praktische Weg): Beginnen Sie an einem OpenVLA- oder Octo-Checkpoint. Sammeln Sie 100
Beholfen Sie ein VLA von Grund auf (nur für gut finanzierte Labors): Es werden 10.000
VLA-Modelle: Vor- und Nachteile
| Pros | Cons |
|---|---|
| Language-conditioned task execution | Slow inference (3-10 Hz) |
| Multi-task from a single model | Requires A100-class GPU for 7B+ models |
| Strong generalization to new objects | Fine-tuning is more complex than ACT/DP training |
| Leverages internet-scale pre-training | Larger models are sensitive to prompt formatting |
| Cross-embodiment transfer potential | Still maturing — fewer deployment success stories than ACT/DP |
Algorithmenvergleichstabelle
| Algorithm | Data Efficiency | Generalisierung | Compute (Train) | Compute (Infer) | Ease of Training | Best For |
|---|---|---|---|---|---|---|
| ACT | Very high (50-200) | Low (single task) | 1 GPU, 2-8 hrs | 50+ Hz, 1 GPU | Easy | Single-task tabletop, fast iteration |
| Diffusion Policy | High (100-500) | Medium (multi-strategy) | 1 GPU, 4-16 hrs | 10-30 Hz, 1 GPU | Moderate | Multi-modal tasks, contact-rich |
| Behavioral Cloning | High (50-200) | Very low | 1 GPU, 1-4 hrs | 100+ Hz | Very easy | Prototyping, baselines |
| GAIL | Medium (100-1000) | Medium | Needs sim, days | 50+ Hz | Difficult | Sim-only research, locomotion |
| OpenVLA / Octo | High (50-500 fine-tune) | High (cross-task) | 1-4 A100s, 4-24 hrs | 3-10 Hz, 1 A100 | Moderate-Hard | Multi-task, language-conditioned |
Die Ausbildungsprozess: 5 Stufen
Die Ausbildungsprozesse folgen diesen Phasen, die Details in jeder Phase sind für die endgültige Politik sehr wichtig.
Stufe 1: Datenerhebung
Sammeln Sie menschliche Demonstrationen über [Teleoperation]
Kritische Entscheidungen in dieser Phase: Anzahl der Demonstrationen (siehe oben Algorithmus-spezifische Empfehlungen), Funktionskonsistenz (1
Stufe 2: Datenformatierung und Vorverarbeitung
Umwandeln Sie Rohaufnahmen in ein für die Ausbildung bereites Format:
- ** Bildgröße:** Größe Kamerarahmen auf die erwartete Eingabeauflösung des Modells (typischerweise 224x224 für ViT-basierte Encoder, 256x256 für ResNet).
- Aktionsnormalität: Normalisieren Sie Aktionen auf [-1, 1] Bereich. Berechnen Sie Mittel- und Standard-Abweichungen vom Trainingsatz.
- Episodefilterung: Entfernen Sie versagte Episoden, Episoden mit einer anomalen Dauer (> 3 Standardabweichungen von der Mittelmaßnahme) und Episoden, die während der Qualitätsprüfung gekennzeichnet sind.
- Strein/Validation Split: 10
15% der Episoden für die Validierung auszuweiten. - Formatumwandlung: Für das LeRobot-Training konvertieren Sie HDF5 in Parquet mit
T1 . Für Robomimic verwenden Sie ihren nativen HDF5-Lader.
Stufe 3: Ausbildung
Typische Schulungskonfigurationen nach Algorithmus:
- ACT: 2.000
5.000 Epochen, Lernrate 1e-5 mit Kosinus-Zeitplan, Batchgröße 8 16. - Diffusionspolitik: 500
2,000 Epochen, Lernrate 1e-4 mit Kosinus-Zeitplan. DDPM mit 100 Diffusionsschritten für Ausbildung, DDIM mit 10 50 Schritten für Schlussfolgerung. - VLA-Feinabstimmung: 20
100 Epochen, Lernrate 2e-5. LoRA (Rank 16 64) für 7B+-Modelle oder vollständige Feine-Tuning für Sub-1B-Modelle.
Wenn sich der Validierungsabzug nach einigen hundert Epochen vom Trainingsabzug abweichet, sind Sie übermäßig geeignet
Stufe 4: Bewertung
Der Wert der Validierung ist ein schwacher Prädiktor für die reale Leistung. Die einzige zuverlässige Bewertung ist die Einführung der Politik für den echten Roboter und die Messung der Aufgabenerfolgrate. Führen Sie mindestens 20 Bewertungsversuche durch, um ein statistisch aussagekräftiges Ergebnis zu erzielen (95%-Vertrauenintervall beträgt bei 20 Versuchen etwa ±20% und bei 50 Versuchen ±10%).
Beurteilen Sie unter zwei Bedingungen: (1) nominelle
Stufe 5: Einsatz
Exportieren Sie das ausgebildete Modell für die Bereitstellung an ONNX oder TorchScript. Führen Sie Abschluss auf der Bord-GPU des Robots aus (NVIDIA Jetson Orin für eingebettet, RTX 4060+ für Arbeitsstation). Überwachen Sie die Abschluss-Latenz
Melden Sie jede Einsatzphase für [Daten-Flugrad]
Datenanforderungen nach Algorithmus
| Task Complexity | ACT | Diffusion Policy | OpenVLA (fine-tune) | Octo (fine-tune) | Typical Success Rate |
|---|---|---|---|---|---|
| Simple pick-place | 50 | 100 | 100 | 50 | 80-95% |
| Bimanual coordination | 100 | 200 | 200 | 100 | 70-85% |
| Precise insertion | 200 | 300 | 300 | 150 | 65-80% |
| Multi-step assembly | 500 | 500 | 500 | 300 | 50-70% |
| Multi-task (language-cond.) | N/A | N/A | 500-2000 | 200-1000 | 40-70% |
Hardwareanforderungen für das Training: ACT und Diffusion Policy Training auf einem einzigen RTX 3060 oder höher (16 GB VRAM empfohlen). OpenVLA-Feinabstimmung erfordert mindestens 1 A100 (40 GB) oder 2 RTX 4090s. Octo-Fine-Tunes auf einem einzigen RTX 4090. Alle Algorithmen profitieren von schnellen NVMe-Speichern zum Laden von Bilddatensätzen.
5 Häufige Fehler und wie man sie beheben kann
1. Verteilungsschicht (Verbundfehler)
Symptom: Die Politik funktioniert für die ersten Sekunden, dann schleppt sie allmählich aus der Bahn und versagt.
Wurzelursache: Kleine Vorhersagefehler, die sich im Laufe der Zeit verschmelzen, drängen den Roboter in in die in den Trainingsdaten nicht dargestellten Zustände.
Fixes: Verwenden Sie Action Chunking (ACT prognostiziert 100-Schritt-Bündel, wodurch die Anzahl der Entscheidungspunkte reduziert wird, wo Fehler sich verschmelzen können). Fügen Sie während des Trainings Bildvergrößerung (zufällige Ernte, Farbnergeräuschung) hinzu, um den visuellen Encoder robust zu machen, bis zu leichten Aussichtspunktsänderungen. Sammeln Sie Wiederherstellungsdemonstrationen: Laufen Sie die Politik bis sie abweicht, und teleopereren Sie dann vom abweichen Zustand bis zur Aufgabe. Diese "Dagger-Stil"-Korrekturen sind die höchsten Daten, die Sie hinzufügen können.
2. Multi-Modality-Kollaps (Modus-Mittelung)
Symptom: Der Roboter bewegt sich in Richtung einer Position zwischen zwei gültigen Strategien, ohne zu erreichen. Oder der Roboter frustriert an Entscheidungspunkten, an denen mehrere Strategien gleich gültig sind.
Wurzelursache: Die Trainingsdaten enthalten Demonstrationen mit unterschiedlichen Strategien (Ansatz von links nach rechts), und der MSE-Verlust vermittelt sie in eine einzige falsche mittlere Strecke.
Fixes: Wechseln Sie zur Diffusionspolitik, die multimodale Verteilungen nativ repräsentiert. Wenn Sie bei ACT bleiben, standardisieren Sie die Demonstrationsstrategie
3. Fehler in der Aktionsvorhersage
Symptom: Der Roboter erzeugt eine korrekt aussehende Bahn, sammelt jedoch mit der Zeit einen Positionsfehler und erhält damit 1
Wurzelursache: Normalisierung der Aktion Fehlverhältnis zwischen Ausbildung und Einsatz (verschiedene Mittelwerte/Std-Werte) oder die Politik prognostiziert Delta-Aktionen, die über lange Strecken einen Fließpunktfehler ansammeln.
Fixes: Überprüfen Sie, ob während der Ausbildung und des Einsatzes die gleichen Normalisierungsstatistiken (Mittel, Std, Min, Max) verwendet werden. Bei delta-Aktionen bevorzugen Sie absolute gemeinsame Positionsziele, wenn möglich. Bei delta-Aktionspolitiken verankern Sie die vorhergesagte Bahn regelmäßig wieder an den aktuell beobachteten Zustand, anstatt die Delta rein zu integrieren.
4. Hardware-Unvereinbarkeit
Symptom: Eine Politik, die in der ursprünglichen Datenerfassungsanordnung gut funktioniert, versagt vollständig, wenn sie zu einer anderen Tabelle, einer anderen Beleuchtung oder einer anderen Instanz des gleichen Robotermodells verschoben wird.
Wurzelursache: Kameraposition verschoben (auch 5 mm Grad greifen), Lichtbedingungen geändert (das beeinflusst die visuellen Eigenschaften) oder die Kalibrierung der Robotergelenke unterscheidet sich zwischen den Einheiten.
Fixes: Ständig montieren Sie Kameras mit starren Anlagen und überprüfen Sie die Extrinsics vor jeder Einsatzsitzung. Verwenden Sie ein Kalibrierziel (ArUco-Board) um die Kameraposition zu überprüfen. Für den Einsatz mehrerer Roboter sammeln Sie auf jeder Roboter-Einheit einen kleinen Kalibrierdatensatz (20
5. Unzureichende Resets
Symptom: Die Politik scheint eine geringe Erfolgsrate zu haben, aber eine genaue Untersuchung zeigt, dass viele Fehler aus Staaten stammen, die nicht in der Trainingsverteilung sind
Wurzelursache: Das Evaluierungsprotokoll stellt die Szene nicht ordnungsgemäß in einen Zustand innerhalb der Trainingsverteilung zwischen den Episoden zurück.
Fixes: Definition ausdrücklicher Reset-Kriterien: Objektpositionen, Roboter-Home-Konfiguration und Szenenordnung. Überprüfen Sie die Reset-Qualität vor jeder Evaluations-Episode. Während der Datenerhebung randomisieren Sie systematisch Start-Status über die beabsichtigte Bereitstellung. Verfolgen Sie den Start-Status als Datensatzmetrik.
Sim-Real-Bewertung
Die Ausbildung in der Simulation und die Bereitstellung auf echten Robotern ist ansprechend, weil Simulationsdaten im Wesentlichen kostenlos sind.
Wenn Simulationen helfen
- Sim-Vor-Ausbildung + echte Feintuning: Auf 10.000
100.000 simulierte Episoden trainieren, dann auf 50 200 echte Episoden Feintuning. Das Sim-Vor-Ausbildung bietet eine starke Initialisierung; echte Feintuning überbrückt die Realitätshöhe. Dies übertrifft konsequent das Training auf realen Daten allein, wenn echte Daten knapp sind. - Domain-Randomisierung: Randomisieren Sie während des Simulationstrainings visuelle Eigenschaften (Texturen, Beleuchtung, Kameraposition) und Physik (Friction, Masse, Verdämpfung der Gelenke). Zwingt die Politik, robust zu variieren, von denen einige sich mit der realen Variation überschneiden.
- Lokomotion und Körperkontrolle: Sim-to-Real funktioniert bei der Lokomotion viel besser als bei der Manipulation.
- Politikvalidierung und Debugging: Laufen Sie Ihre ausgebildete Politik in Simulation vor dem Einsatz auf der echten Hardware.
Wenn Simulationen nicht helfen
- Reine Sim-to-Real für kontaktreiche Manipulation: Simulationen können die Reibung, Verformung und Kontaktdynamik von realen Objekten nicht genau modellieren.
- Simulierte Kamerabilder als Trainingsdaten: Trotz Fortschritten im Bereich der fotorealistischen Rendering zeigen die auf simulierten Bildern ausgebildeten Strategien allein eine Erfolgsrate von 30
50% bei echten Kameras. - ** Aufgaben mit verformbaren Gegenständen:** Stoff, Seil und Lebensmittel sind extrem schwierig, genau zu simulieren. Sim-trainierte Richtlinien für verformbare Manipulationen werden selten ohne umfangreiche reale Daten auf echte Hardware übertragen.
Die Checkliste beginnt
Folgen Sie diesen 10 Schritten, um von Null zu einer implementierten Politik des Imitationslernens zu gelangen:
- **Willst du deine Roboterhardware auswählen? ** Für ein erstes Projekt: ViperX-300 S2, Koch v1.1, oder [OpenArm]
T9 . Budget: 2.000€ 8.000€ für den Arm. Du brauchst die Positionssteuerung bei 50 Hz mindestens. - **Ein Teleoperations-Arm für höchste Datenqualität oder ein VR-Controller (Meta Quest 3) für niedrigere Kosten einrichten.
- Montage Kameras. Mindest: 1 Handgelenkkamera (Intel RealSense D405) + 1 Oberkamera (RealSense D435).
- Installieren Sie Aufnahmesystem. Verwenden Sie die Daten-Einsatzwerkzeuge von LeRobot oder den ALOHA-Einsatzstack.
- ** Definieren Sie Ihre erste Aufgabe.** Beginnen Sie einfach: Wählen Sie ein einzelnes Objekt aus einem festen Standort und stellen Sie es in eine Zielzone.
- ** Sammeln Sie 50 Demonstrationen.** Einheitlicher Operator, einheitliche Strategie. Nehmen Sie sich 10 Minuten zwischen den 20 Episoden Zeit, um die Datenqualität zu überprüfen.
- Behalten Sie Ihre erste ACT-Politik. Verwenden Sie das Trainingsscript von LeRobot mit Standard-Hyperparametern.
- Run 20 Evaluationsversuche. Setzen Sie die Szene vor jedem Versuch identisch neu.
- Erkennung von Fehlern und Erhebung von gezielten Daten. Identifizieren Sie den häufigsten Fehlermodus. Sammeln Sie 20
30 Demonstrationen, die sich speziell auf diesen Fehler konzentrieren. - Iterate bis >80% Erfolgsrate. Die meisten Teams erreichen 80%+ innerhalb von 2
3 Sammel-Schulungszyklen für einfache Aufgaben.
Häufig gestellte Fragen
Wie viele Demonstrationen brauche ich?
Für ACT bei einer einfachen Pick-and-Place-Aufgabe reichen 50 Demonstrationen oft für eine Erfolgsrate von 80% und mehr aus. Für Diffusion Policy: Beginnen Sie mit 100
ACT vs. Diffusion Policy Welche sollte ich wählen?
Wenn Ihre Aufgabe eine einzige klare Strategie hat und Sie den schnellsten Weg zur Bereitstellung wünschen, verwenden Sie ACT. Wenn Ihre Daten mehrere gültige Ansätze zur gleichen Aufgabe enthalten (mehrere Operatoren, zweideutige Greifenstrategien), verwenden Sie Diffusion Policy. Wenn Sie eine sprachlich bedingte Mehrfach-Aufgaben-Ausführung benötigen, verwenden Sie einen VLA. Wenn Sie Zweifel haben, beginnen Sie mit ACT
Kann ich Simulationsdaten verwenden?
Simulationsdaten allein sind für kontaktreiche Manipulationen unzuverlässig. Der effektivste Ansatz ist Sim-Vor-Training + echte Feintuning: Trainieren Sie auf 10.000+ simulierte Episoden, dann Feintuning auf 50
Welche Roboterhardware brauche ich?
Mindestens: ein Roboterarm mit Positionsteuerung bei 50 Hz (ViperX-300, Koch v1.1, OpenArm oder ähnlich), eine Telebetriebsoberfläche (Führerarm oder VR-Controller), 2
Was ist der Unterschied zwischen dem Nachbilden und dem Verstärken?
Imitierung lernt aus menschlichen Demonstrationen
Wie lange dauert das Training?
ACT auf 200 Episoden: 2
Welches Datenformat sollte ich verwenden?
HDF5 ist das Standardformat für Roboterdemonstrationsdaten. Speichern Sie gemeinsame Positionen (qpos), Geschwindigkeiten (qvel), Kamerabilder und Aktionen als separate Datensätze in jeder Episode-Datei. Für das Training mit LeRobot konvertieren Sie in Parquet-Format. Siehe unsere [Datenformat-Leitfaden]
Kann das Nachahmen für Mobilfunkmanipulation funktionieren?
Es ist jedoch möglich, dass die VLA-Modelle, wie OpenVLA und pi0, für mobile Manipulation besser geeignet sind, da ihre Vor-Training verschiedene Ausführungsformen umfasst.
Erhalten Sie Ihre Schulungsdaten von RCSV-Experten
RCSV bietet end-to-end Daten-Sammlungsdienste: ausgebildete Betreiber, kalibrierte Hardware, Qualitätskontrolle und Lieferung in Ihrem Zielformat.