Mehrfachroboter-Lernen: Daten über Aufgaben hinweg teilen für bessere Politiken
Umfrage zum Multi-Task-Roboter-Lernen <unk> Ko-Training zu mehreren Aufgaben, Aufgabenkonditionierung und wann Aufgabenteilung hilft vs. schadet der Politikleistung.
[← Forschung]
Die Ko-Training bei mehreren Aufgaben ist einer der zuverlässigsten Möglichkeiten, die Funktionsfähigkeit von Manipulationspolitik zu verbessern.
Warum man mehrtägig lernt
Die Ein-Task-Roboterpolitik hat eine grundlegende Beschränkung: Sie trainiert nur auf Daten aus einer Aufgabe, was das Potenzial für das gemeinsame visuelle Verständnis über verwandte Aufgaben hinweg verschwendet.
Das Multitasking-Lernen befasst sich damit, indem es gleichzeitig Demonstrationen aus mehreren verwandten Aufgaben gemeinsam trainiert.
- Geteilte visuelle Funktionen
Aufgaben, die einen Arbeitsplatz teilen, teilen visuelle Semantik. Eine auf "Pickcup", "Pickbottle" und "Pickbowl" ausgebildete Darstellung lernt "greifbares Objekt" als Konzept. Einfachtraining lernt nur "Cup". - Weitere Daten pro Schulungslauf
10 Aufgaben × 200 Demos jeweils = insgesamt 2.000 Schulungsbeispiele, die alle zu einer gemeinsamen Darstellung beitragen. - Bessere Grundlagen für neue Aufgaben
Eine Mehrfach- und Mehrfach-Politik passt sich schneller an echte neue Aufgaben an als eine Einfach- und Einfach-Politik, da die Repräsentation bereits reicher ist.
Aufgabenbereinigungsansätze
Eine Mehrfach-Task-Politik muss wissen, welche Aufgabe sie ausführen soll.
- Sprachenanweisung
am flexibleren. Das Programm erhält Text wie "die rote Tasse hochnehmen und in den Müll legen". Verwendet einen Sprachen-Encoder (T5, CLIP-Text-Encoder) zur Erstellung einer Aufgaben-Einbetung. Er ermöglicht eine Null-Schuss-Verallgemeinerung auf neue Anweisungen. - ** One-hot Task ID**
einfachste. Das Policy erhält einen Task-Index (Task 0, Task 1, ..., Task N). Keine Sprachverständnis erforderlich. Funktioniert gut, wenn der Task-Set fest und klein ist (<20 Aufgaben). - Zielbild
Politik erhält ein Bild des gewünschten Endzustands. Keine Sprache erforderlich; arbeitet für Aufgaben, die schwer verbal beschrieben werden können. Einschränkungen: Das Sammeln von Zielfildern ist arbeitsintensiv, und die Politik muss abschließen, welche Aktion das Ziel erzeugt, nicht nur, wie das Ziel aussieht.
Vorteile der Ko-Ausbildung: Beweise aus veröffentlichten Arbeiten
Die empirischen Beweise für multitasking Co-Training sind stark:
- Open X-Embodiment
Training auf dem vollständigen vielfältigen Datensatz (22 Ausführungsformen, 527 Aufgaben) übertrifft konsequent das Training auf einem einzigen Datensatz, auch für Aufgaben, bei denen der Ein-Tasksatz groß ist. Vielfältige Aufgaben → bessere Verallgemeinerung. - ALOHA-Bimanuelle Aufgaben
Ko-Training 25-Bimanuelle Aufgaben (Faltung, Verpackung, Montage) zeigte, dass ein gemeinsamer Encoder die Leistung bei allen Aufgaben im Vergleich zu separaten Modellen pro Aufgabe verbessert. - Bridge V2 + andere Datensätze
Das Hinzufügen von Bridge V2-Daten zur Fein-Tuning von OpenVLA verbessert die Verallgemeinerung von neuen Objekten konsequent um 10 20 Prozentpunkte gegenüber Fein-Tuning nur auf dem Zieldatensatz. Auch wenn die Aufgaben von Bridge V2 von der Ziel-Task abweichen.
Negative Übertragung: Wenn es schmerzt, Aufgaben zu teilen
Nicht alle Aufgabenkombinationen profitieren von der Teilung. Negativer Transfer tritt auf, wenn eine Ausbildung zu mehreren Aufgaben zusammen eine Politik hervorbringt, die schlechter ist als jede einzelne Ein-Task-Politik.
- Konfliktliche Aktionsverteilungen
"Wip-Table" (breite Wip-Bewegungen) und "Pick-Objekt" (genaue Positionierung) haben grundsätzlich unterschiedliche Aktionsverteilungen. - Konflikt zwischen visuellen Darstellungen
Aufgaben, die auf feine Strukturen (Sähen, Elektronik) achten müssen, stehen in Konflikt mit Aufgaben, die das Verständnis der globalen Szene erfordern (Navigation, Trinkflaschenholung). - Diverse Hardware-Setups
Das Ko-Training von Daten aus einem parallelen Kiefergriffer mit Daten aus einer mehrfingerigen Hand erzeugt verwirrte Handlungsschwankungen. - Die Regel ist, wenn zwei Aufgaben den gleichen Endfaktor haben und auf Objekten im gleichen Arbeitsbereich arbeiten, profitieren sie fast immer von Ko-Training.
Architekturwahl
- ** Ein einzelner gemeinsame Encoder + Aufgaben-spezifische Kopfhäfe**
am häufigsten. Der gemeinsame ResNet- oder ViT-Coder extrahiert visuelle Merkmale; MLP-Kopfhäfe pro Aufgabe prognostizieren Aktionen. Gut, wenn Aufgaben den visuellen Kontext teilen, sich jedoch in der Aktionsverteilung unterscheiden. - Mixung von Experten
N Expertennetzwerke, die sich jeweils auf eine Untergruppe von Aufgaben spezialisieren. Ein Gateing-Netzwerk führt Eingabe an den entsprechenden Experten. Verringert den negativen Transfer für widersprüchliche Aufgaben. - Hypernetzwerk / Aufgabenbedingte Gewichtserzeugung
Meta-Lernen-Ansatz, bei dem ein Hypernetzwerk Aufgabenspezifische Politikgewichte erzeugt, wenn eine Aufgabe eingebettet wird. - Für die meisten praktischen Multi-Task-Manipulation-Arbeiten ist ein gemeinsamer ViT-Encoder mit Sprach-Task-Konditionierung und einem Diffusions-Aktionskopf (wie in Octo) die beste Praxis.
Datenmischungsstrategien
- Task-proportional-Sampling
Proben pro Aufgabe proportional zu ihrer Datensatzgröße. - ** Überbeispiel seltener Aufgaben**
Einheitliche Aufgabenprobenahme (gleich große Wahrscheinlichkeit pro Aufgabe unabhängig von ihrer Größe) überwiegt seltener Aufgaben und verhindert, dass sie ertrinken. - Lehrplanmischung
Beginnen Sie mit einfachen Aufgaben, führen Sie schwierige nach und nach ein. Spiegel menschliches Lernen: Grundkenntnisse vor komplexen Fähigkeiten. Besonders nützlich, wenn die Aufgabenschwierigkeit ein breites Spektrum umfasst. - Schwierigkeitsgewichtete Probenahme
Probenaufgaben im umgekehrten Verhältnis zur aktuellen Politikleistung.
Bewertung von Mehrfach- und Mehrfach-Politiken
Gehaltenen Aufgabenverallgemeinerung ist der Goldstandard: Ausbildung zu N Aufgaben, Bewertung zu M Aufgaben, die während der Ausbildung nicht gesehen wurden.
Die Ergebnisse der Veröffentlichung zur Verallgemeinerung der erledigten Aufgaben: Politiken, die mit Sprachkonditionierung auf 25+ Aufgaben ausgebildet sind, erzielen in der Regel 40
Praktische Anleitung
- Wenn Sie mehr als drei verwandte Aufgaben und dieselbe Hardware/End-Effektor haben, müssen Sie immer gemeinsam trainieren.
- Verwenden Sie Sprachkonditionierung, auch wenn Sie nie die Absicht haben, Sprache bei der Bereitstellung zu verwenden
es zwingt eine bessere Aufgabenrepräsentation und vereinfacht die Datenerhebung (beschreiben Sie einfach jede Aufgabe verbal). - Wenn die Performance pro Aufgabe viel höher ist als die Verallgemeinerung zwischen den Aufgaben, dann erlernen Sie eher als lernen.
- Ein einzelnes Modell ist nur dann gerechtfertigt, wenn Aufgaben wirklich unterschiedliche Hardware, Sensoren oder Handlungsmodalitäten erfordern.
Erforschen Sie die Werkzeuge zur Datenerhebung für mehrere Aufgaben auf der Seite [RCSV-Datendienste]
Erstellen Sie Multi-Task-Politiken mit RCSV-Daten
Zugriff auf verschiedene Manipulationsdatenmengen über 30+ Aufgaben, standardisierte Bewertungsanforderungen und GPU-Schulinfrastruktur für das Multi-Task-Roboterlernen.
[Erforschung der Datendienste]