Open X-Body: Der Roboter-Datenbestand, der alles verändert hat

← Blog

Open X-Embodiment ist der größte offene Kollaborationsroboter-Lerndatensatz. Es liefert den ersten strengen Beweis dafür, dass das Training auf Daten von vielen verschiedenen Robotern Richtlinien erzeugt, die besser auf neue Roboter übertragen als das Training von Einzelrobotern.

Was ist eine offene X-Body

Open X-Embodiment (OXE) ist ein einheitlicher Datensatz von Roboternmanipulation Demonstrationen, die über mehr als 22 verschiedene Roboter Ausführungen gesammelt wurden, darunter Waffen von Franka Emika, Trossen Robotics (WidowX, ViperX), Universal Robots (UR5), KUKA, Google's eigene Roboterflotte und viele andere. Das Datensatz umfasst insgesamt über eine Million Episoden, die hunderte unterschiedlicher Manipulationsarbeiten abdecken: Sammeln, Platzieren, Schubladen und Schränke öffnen, Flüssigkeiten gießen, Oberflächen wischen, Objekte stapeln und vieles mehr.

Das Projekt war eine Zusammenarbeit von über 30 Forschungseinrichtungen, angeführt von Google DeepMind mit großen Beiträgen von Stanford, UC Berkeley, Carnegie Mellon, MIT, Columbia, ETH Zürich und anderen. Jedes Labor beitragte seine vorhandenen Demonstrationsdatenmengen, die dann in das RLDS-Format (Robot Learning Dataset Specification) standardisiert wurden. Der gesamte Datensatz wird auf Google Cloud Storage gehostet und ist für Forschungszwecke frei verfügbar.

Die "X" im Namen steht für Kreuzverkörperung. Das definierende Ziel von OXE ist nicht nur, einen großen Datensatz zu erstellen, sondern zu demonstrieren, dass das Training auf Daten von vielen verschiedenen Robotern bessere Richtlinien erzeugt als das Training auf Daten von einem einzigen Roboter, auch für diesen einzigen Roboter. Diese Hypothese erwies sich als korrekt, und die Beweise haben die Art und Weise, wie das Feld über Roboterdaten denkt, umgestaltet.

Warum ist es wichtig: Die Ergebnisse der RT-X

Die wichtigste Erkenntnis aus dem OXE-Bericht (Padalkar et al., 2023) war die Leistung von RT-X-Modellen, insbesondere RT-1-X und RT-2-X, die auf dem vollständigen Multi-Incarnation-Daten-Set ausgebildet wurden.

RT-1-X (ein kleineres, effizientes Modell), das auf OXE-Daten ausgebildet wurde, übertraf die spezialisierten Einzelroboter-Modelle RT-1 bei ausgeführten Bewertungsaufgaben auf mehreren Roboterplattformen um etwa 50%. Das Hauptresultat war: Ein einzelnes Generalist-Modell, das auf Daten von 22 verschiedenen Robotern ausgebildet wurde, lief auf jedem einzelnen Roboter besser als ein Modell, das nur auf den eigenen Daten des Robots ausgebildet wurde. Der Mechanismus ist, dass Kreuzkörperdaten das Modell dazu zwingen, körperlich-agnostische Manipulationsrepräsentationen zu lernen, was effektiv ein starkes Vorfeld für visuelles Verständnis und Aufgabenkonzepte bietet.

RT-2-X (auf dem viel größeren PaLM-E-Vision-Language-Modell erbaut) zeigte einen noch stärkeren Kreuz-Inkarnationsübertragung, mit einer besonders beeindruckenden Null-Schuss-Generalisierung auf Roboter-Inkarnationen, die nicht im Trainingsset vorhanden sind. Bei der Bewertung auf einem ausgehaltenen Robotertyp erreichte RT-2-X eine bedeutende Aufgabenvollendungsrate ohne Feintuning, was für ein Modell, das nur auf den Daten eines einzigen Robots ausgebildet ist, unmöglich wäre.

Diese Ergebnisse bestätigten eine Kernhypothese: Das Wissen über Robotermanipulation ist teilweise verkörperungs-agnostic. Eine Politik, die einen Franka-Arm eine Schublade öffnet und einen WidowX-Arm eine Tasse abnimmt, hat etwas über Schubladen und Tassen gelernt, die zu einem UR5 übertragen, obwohl der UR5 völlig andere Kinematik hat.

Schlüsselfinden aus dem Papier

Was über Ausführungsformen hinweg übertragen wird: Das visuelle Szenenverständnis (Objekte erkennen, räumliche Beziehungen verstehen) wurde am stärksten übertragen.

Was nicht gut überträgt: Genaue Griffkonfigurationen (genaue Fingerspositionen im Verhältnis zu den Oberflächen der Objekte) erforderten körperspezifische Daten. Kontaktdynamik (Körperkraftmodulation, Einfügungskräfte) übertragen nicht. Feinmotorkontrolle (Sub-Zentimeter-Genaussetzungen) erforderten eine Fein-Abstimmung pro Körper.

** Datenverteilung:** Der OXE-Datensatz ist nicht gleichmäßig auf Ausführungsformen und Aufgaben verteilt. Einige Labore haben Zehntausende von Episoden, andere Hunderte beigetragen. Die Aufgabenverteilung ist stark verzerrt in Richtung Desktop-Pick-and-Place. Trotz dieses Ungleichgewichts war der Nutzen zwischen den Körpern robust, obwohl die größten Vorteile unterrepräsentierten Ausführungsformen (die am meisten von der Übertragung zwischen den Körpern profitierten) entstanden, anstatt den dominierenden Ausführungsformen (die genügend Daten hatten, um starke Spezialisten zu schulen).

Skala hilft, aber Vielfalt hilft mehr: Ablationstudien, die die Anzahl der Ausführungen im Trainingssatz variieren und gleichzeitig die Gesamtzahl der Episoden konstant halten, zeigten, dass die Hinzufügung einer neuen Ausführungsform mit weniger Episoden die Hinzufügung von mehr Episoden einer bereits repräsentierten Ausführungsform konsequent übertreffen. Diese Ergebnisse der Vielfalt über das Volumen sind zu einem der meist zitierten und praktisch wichtigsten Ergebnisse im Roboterlernen geworden.

Wie Sie den Datensatz zugreifen und verwenden

OXE wird auf Google Cloud Storage gehostet und kann mit der tensorflow_datasets (TFDS) API heruntergeladen werden. Der Datensatz verwendet das RLDS-Format, bei dem jede Episode eine Schrittfolge mit Beobachtungswörterbüchern (Bilder, Gelenkstaaten, Griffzustand), Aktionsvektoren, Belohnungssignalen und Natursprache-Taskenanmerkungen ist.

** Anfang:**

• Installieren Sie Tensorflow_Datensätze: T4
• Durchsuchen Sie die verfügbaren Unterdatenmengen im GitHub-Repository von OXE oder im TFDS-Katalog
• Lade einen spezifischen Unterdatensatz: T5 (für den RT-1 Fractal Datensatz, einer der größten Komponenten)
• Für PyTorch-Benutzer: Nutzen Sie die Konversionsfunktionen von LeRobot, um RLDS-Daten in das LeRobot Parquet-Format zu verwandeln, oder nutzen Sie den Oxe_torch_dataloader für die direkte PyTorch-Lade

Praktikalische Nutzungsmuster:

• Vor-Schulung eines Grundmodells: Laden Sie den vollständigen OXE-Datenbestand (oder eine vielfältige Untermenge mit mehr als 10 Ausführungen) herunter. Schulen Sie Ihr Modell auf diesen Daten, um allgemeine Manipulationsrepräsentationen zu lernen. Dann passen Sie Ihre Aufgaben-spezifischen Daten an. Dies erfordert konsequent 5-10 mal weniger Aufgaben-spezifische Demonstrationen als Training von Grund auf.
• Erweiterung eines kleinen Datensatzes: Wenn Sie 100 bis 200 Demonstrationen auf Ihrem spezifischen Roboter haben, fügen Sie relevante OXE-Unterdaten-Sets zu Ihrer Trainingsmischung hinzu.
• Evaluation des Übertrags zwischen den Inkarnationen: Verwenden Sie das Standard-Evaluationsprotokoll von OXE und die ausgehaltenen Aufgabenmengen, um die Verallgemeinerungsfähigkeit Ihres Modells gegenüber den veröffentlichten Basislinien zu vergleichen.

Beschränkungen: Was OXE nicht abdeckt

OXE ist transformativ, hat aber echte Grenzen, die Teams verstehen sollten, bevor sie sich darauf verlassen.

Die Aufgabenvielfalt ist verzerrt. Die meisten Episoden sind auf dem Tisch-Pick-and-Place, wobei kleinere Fraktionen die Öffnung, das Abwischen und das Gießen von Schubladen und Schränken abdecken. Komplexe mehrstufige Aufgaben, zweibrochige Aufgaben und mobile Manipulationsarbeiten sind unterrepräsentiert. Wenn Ihre Einsatzsaufgabe nicht durch die Aufgabenverteilung von OXE gut abgedeckt ist, wird der Vor-Schulungsvorteil begrenzt sein.

Hardware ist datiert. Viele beitragsfähige Labors verwendeten Hardware, die 2020-2023 aktuell war, aber jetzt veraltet ist: Niedrig-Auflösungskameras, ältere RealSense-Modelle und Armkonfigurationen, die sich von den ViperX/Franka-Setups unterscheiden, die am häufigsten im Jahr 2026 verwendet werden.

Dexterität ist begrenzt. Fast alle OXE-Daten verwenden Parallel-Klauch-Greifer.

Die Qualität der Anmerkungen variiert. Die Sprachanmerkungen reichen von sorgfältigen, spezifischen Beschreibungen ("die rote Tasse von links auf der Tabelle aufnehmen") bis hin zu generischen Etiketten ("Objekt aufnehmen"). Diese Inkonsistenz begrenzt die Wirksamkeit der sprachlich bedingten Ausbildung auf dem Rohdatensatz ohne Nachverarbeitung.

Keine Daten über das Kraft-Torkspiel. Die überwiegende Mehrheit der OXE-Episoden enthält nur gemeinsame Positionen und Kamerabilder.

Lade OXE-Daten mit LeRobot (Python)

# Load an OXE sub-dataset via LeRobot's HuggingFace integration
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset

# Load the Bridge V2 subset (WidowX data, 60K+ episodes)
dataset = LeRobotDataset("lerobot/bridge_orig")

# Inspect dataset structure
print(f"Number of episodes: {dataset.num_episodes}")
print(f"Keys per frame: {dataset[0].keys()}")
# Typical keys: observation.images.image_0, observation.state, action, ...

# Load a specific episode
episode = dataset.filter(lambda x: x["episode_index"] == 42)
for frame in episode:
    obs_image = frame["observation.images.image_0"]  # PIL Image or tensor
    state = frame["observation.state"]  # joint positions
    action = frame["action"]  # action vector
    # Process as needed for your training pipeline

# For TFDS-native loading (alternative):
# import tensorflow_datasets as tfds
# ds = tfds.load('fractal20220817_data', split='train')
# for episode in ds.take(10):
#     steps = episode['steps']
#     for step in steps:
#         image = step['observation']['image']
#         action = step['action']

Ein Fundamentmodell auf OXE + Ihre Daten

Die Standard-Pipeline zur Verwendung von OXE-Daten zur Verbesserung Ihrer Aufgaben-spezifischen Politik umfasst drei Stufen:

Stufe 1: Wählen Sie relevante OXE-Unterdatenmengen. Nicht alle OXE-Daten sind für Ihre Aufgabe gleich nützlich. Wählen Sie Unterdatenmengen basierend auf: ähnlicher Roboter-Typ (selber Grifftyp ist wichtiger als die gleiche Armkinematik), ähnlicher Aufgabenkategorie (Pick-Place-Daten helfen Pick-Place; es hilft nicht der Zusammenstellung) und Datenqualität (verlieben Sie Unterdatenmengen mit Sprachanmerkungen und konsistenten Kamera-Setups). Für ein WidowX-basiertes Pick-Place-Projekt sind die Bridge V2 und Berkeley Cable Routing Datensätze am relevantesten.

Stage 2: Vor-Ausbildung oder Vor-Ausbildung von Gewichten. Wenn Octo oder OpenVLA verwendet werden, enthalten die vor-Ausbildung von Gewichten bereits OXE-Daten. Beginnen Sie mit diesen Gewichten und gehen Sie weiter zur Fein-Tuning. Wenn Sie eine benutzerdefinierte Architektur ausbilden, vor-Ausbildung auf Ihren ausgewählten OXE-Unterdatenmengen für 100-200 Epochen (normalerweise 12-48 Stunden auf 4x A100 GPUs je nach Datenvolumen). Überwachen Sie den Validierungsverlust auf einem gehaltenen Teil Ihrer Aufgabenspezifischen Daten, um zu entdecken, dass Sie zu OXE-Verteilung zu Lasten Ihrer Ziel-Tasche überpassend sind.

Stage 3: Fein-Tuning auf Aufgaben-spezifische Daten. Fein-Tuning das vorgebildete Modell auf Ihre Aufgaben-spezifischen Demonstrationen mit einer niedrigeren Lernrate (typischerweise 10 mal niedriger als vorgebildete: 1e-5 für Octo, 5e-6 für OpenVLA). Verwenden Sie alle Ihre Aufgaben-spezifischen Daten plus eine 10-20% Mischung der wichtigsten OXE-Daten, um zu verhindern, dass das allgemeine Manipulationswissen katastrophal vergessen wird. Die Fein-Tuning-Anwendungen erfordern in der Regel 50 bis 200 Epochen (2 bis 8 Stunden auf einem einzigen A100).

Benchmark-Ergebnisse: OXE-ausbildete Modelle gegenüber Spezialisten

Model	Vortraining Data	Fine-Tune Data	In-Dist. Success	Novel Object Success
ACT (from scratch)	None	200 task demos	82%	28%
RT-1-X	Full OXE	200 task demos	88%	52%
Octo (fine-tuned)	Full OXE	200 task demos	86%	48%
OpenVLA (fine-tuned)	Full OXE	200 task demos	90%	58%

Das Muster ist konsistent: OXE-Vorbildung bietet eine bescheidene Verbesserung der Verteilung (5-10%) und eine große Verallgemeinerung der neuen Objekte (20-30 Prozentpunkte). Der Verteilungsevorteil schränkt sich mit mehr Feinschaltungsdaten ein, aber der OOD-Vorteil bleibt auch bei 500+ Aufgaben-spezifischen Demonstrationen bestehen.

OXE Datensatz Statistiken: Nach den Zahlen

Das Verständnis der Zusammensetzung von OXE hilft den Teams, die wichtigsten Unterdatenmengen für ihren Anwendungsfall zu wählen.

Statistic	Value	Notes
Total episodes	~1.1 million	Growing as labs continue to contribute
Robot embodiments	22+	Franka, WidowX, UR5, KUKA, Google fleet, etc.
Contributing institutions	33	Led by Google DeepMind, Stanford, UC Berkeley
Distinct task categories	~500	Heavily skewed toward pick-place (~60% of episodes)
Total storage size	~12 TB (raw)	Most sub-datasets are 5-200 GB individually
Largest sub-dataset	Fractal (RT-1): ~130K episodes	Google's proprietary robot fleet data
Bridge V2 (WidowX)	~60K episodes	24 environments; most popular for WidowX fine-tuning
Language annotations	~70% of episodes	Quality varies significantly across sub-datasets
Camera resolution range	128x128 to 640x480	Most sub-datasets standardize to 256x256 or 224x224
Force-torque data	< 5% of episodes	Major gap; limits contact-learning applications

RCSV-Datenformat-Kompatibilität

Die Datenverarbeitungsergebnisse der RCSV sind so konzipiert, dass sie mit OXE und den wichtigsten Trainingsrahmen interoperabel sind.

• Natives Format: HDF5 (LeRobot-kompatibel). Das primäre Ausgangsformat von RCSV ist HDF5, organisiert in der Episodensystem von LeRobot. Jede Episode enthält: T6 (RGB, 640x480, 30fps), T7 (RGB, 640x480, 30fps), T8 (Gemächte + Geschwindigkeiten + Griff), T9 (Kraft-Torks, 6-Achse, 500Hz auf 30Hz), T10 (Gemächte-Positionsziele oder Delta EEF) und T11 (natürliche Sprache).
• RLDS-Export. Für OXE-Kompatibilität und TFDS-basierte Trainingspipelines bietet RCSV eine ein-Befehls-RLDS-Konvertierung, die HDF5-Episoden mit den standardisierten Beobachtungs-, Aktions- und Sprachfeldern in RLDS-Format abbildet. Dieser Export ist das, was Sie benötigen, um RCSV-gesammelte Daten in OXE einzubeziehen oder mit bestehenden OXE-Unterdatenmengen zu mischen.
• LeRobot Parquet Export. Für Hugging Face-native Workflows exportiert RCSV mit den zugehörigen Metadaten YAML in das Parquet-Format von LeRobot.
• Raw Video + CSV.* Für benutzerdefinierte Pipelines kann RCSV Roh MP4-Video pro Kamera und CSV-Dateien mit zeitgemachten Gelenkstaaten, F/T-Lese und Greifer-Staaten exportieren. Dies ist das flexibelste Format, erfordert jedoch, dass das Team seinen eigenen Datenladencode schreibt.

Der Schlüsselunterschied zwischen RCSV-Daten und typischen OXE-Unterdatenmengen: Jede RCSV-Episode enthält synchronisierte Kraft-Torks-Daten (wenn F/T-Sensoren auf der Hardware vorhanden sind), kalibrierte Kamera-Ein- und Extrinsics sowie Sprachanmerkungen nach einem standardisierten Protokoll. Diese Eigenschaften machen RCSV-Daten besonders wertvoll als hochwertige Fein-Tuning-Daten zusätzlich zu OXE-Vorlehrung.

Wie die RCSV-Daten OXE ergänzen

OXE bietet Breite: viele Ausführungsformen, viele Aufgaben, viele Umgebungen. Die RCSV-Datenammlung füllt diese Lücke durch die Bereitstellung: konsistenter Kamera-Setups mit kalibriertem In- und Extrinsic in allen Episoden, Kraft-Torks-Sensor-Daten, die mit visuellen und proprioceptive Strömen synchronisiert sind (abwesen von fast allen OXE-Daten), systematischer Objektvielfalt innerhalb der Ziel-Task-Kategorien (30+ Objekte pro Kategorie, nicht die 5-10 typischen in OXE-Unterdatenmengen), und Sprachanmerkungen nach einem standardisierten Protokoll anstatt der variablen Qualität über OXE-Unterdatenmengen.

Der empfohlene Ansatz für Teams mit einem spezifischen Einsatzziel: Nutzen Sie vorgebildete OXE-Grundlagemodellgewichte für das visuelle Rückgrat und das allgemeine Manipulationswissen, und passen Sie dann die von RCSV erhobenen Aufgabenspezifischen Daten an, die die Tiefe und Qualität bieten, die für die Zuverlässigkeit der Einsatzstufe erforderlich sind.

Datensatzzusammensetzung Tiefe Tauch: Was ist eigentlich in OXE

Nicht alle OXE-Unterdatenmengen sind gleich. Das Verständnis der Zusammensetzung hilft Teams, die richtigen Untermengen für das Vortraining zu wählen und zu vermeiden, dass die Rechen auf irrelevante Daten verschwendet werden.

Sub-Dataset	Robot	Episodes	Tasks	Best For
Fractal (RT-1)	Google Everyday Robot	~130K	Kitchen manipulation, pick-place	Visual diversity, mobile manipulation
Bridge V2	WidowX 250	~60K	24 environments, pick-place, sweeping	WidowX fine-tuning, env diversity
TOTO	Franka Panda	~1K	Tabletop manipulation	Franka fine-tuning baseline
Kuka	KUKA IIWA	~3K	Grasping, stacking	Industrial arm benchmarks
BC-Z	Google Robot	~25K	100+ tasks with language	Language conditioning, multi-task
Cable Routing	WidowX / Franka	~2K	Deformable object manipulation	Contact-rich, deformable tasks
Jaco Play	Kinova Jaco	~1K	Pick-place, drawer open	Kinova fine-tuning, 3-finger gripper data

Für RCSV-Kunden, die OpenArm 1 verwenden (6-DOF mit Parallel-Machengriff), sind die wichtigsten OXE-Unterdatenmengen für Vor-Training-Mischungen Bridge V2 (ähnlicher End-Effektor-Typ) und BC-Z (Sprachenanmerkungen für sprachlich bedingte Richtlinien).

Praktische Datenvermischung: Ausgleich von OXE- und Aufgabenspezifischen Daten

Bei der Kombination von OXE-Vor-Schuldaten mit Aufgaben-spezifischen Feintuning-Daten ist das Mischverhältnis von erheblicher Bedeutung. Zu viele OXE-Daten während des Feintuning-Vorgangs können Aufgaben-spezifisches Lernen verdünnen; zu wenig ermöglicht eine katastrophale Vergessenheit des allgemeinen Manipulationswissens.

Empfohlene Mischpläne:

• Phase 1 (Epochen 1-50): 80% OXE, 20% Aufgabenspezifisch. Das Modell behält allgemeine Kenntnisse bei Anbeginn der Anpassung bei.
• Phase 2 (Epochen 51-150): 40% OXE, 60% Aufgabenspezifisch. Das Modell ist spezialisiert und behält dabei breite visuelle Merkmale bei.
• Phase 3 (Epochs 151-200): 10% OXE, 90% Aufgabenspezifisch.

Diese schrittweise Planung übertrifft die Fixverhältnismischung bei der neuen Objektgeneralisierung in unseren Bewertungen konsequent um 5-8%. Die OXE-Daten in Phase 3 wirken als Regulierer, der verhindert, dass die Feinstimmungverteilung übermäßig abgestimmt wird, ohne das Task-spezifische Aktionslernen zu beeinträchtigen.

# Graduated data mixing for OXE + task-specific fine-tuning
from torch.utils.data import ConcatDataset, WeightedRandomSampler

def get_sampler(epoch, oxe_dataset, task_dataset, total_epochs=200):
    """Returns a weighted sampler with epoch-dependent mixing ratio."""
    progress = epoch / total_epochs
    if progress < 0.25:
        oxe_weight, task_weight = 0.8, 0.2
    elif progress < 0.75:
        oxe_weight, task_weight = 0.4, 0.6
    else:
        oxe_weight, task_weight = 0.1, 0.9

    weights = ([oxe_weight / len(oxe_dataset)] * len(oxe_dataset) +
               [task_weight / len(task_dataset)] * len(task_dataset))
    combined = ConcatDataset([oxe_dataset, task_dataset])
    sampler = WeightedRandomSampler(weights, num_samples=len(combined))
    return combined, sampler

Wie Sie Ihre eigenen Daten beitragen können

Die Teilnahme an OXE stärkt den Datensatz der Gemeinschaft und bietet einen Mechanismus, damit Ihre Daten von der breiteren Forschungsgemeinschaft zitiert und verwendet werden können.

• Formatieren Sie Ihre Daten in RLDS. Jede Episode muss Beobachtungen (Bilder und Propriozeption), Aktionen und Sprachanmerkungen im RLDS-Schema enthalten.
• Spielweise Sprachanmerkungen hinzufügen. Jeder Schritt sollte eine natürliche Sprachbeschreibung der aktuellen Aufgabe enthalten.
• Dokumenten Sie Ihren Datensatz. Stellen Sie eine Datensatzkarte mit: Robotertyp und Konfiguration, Kamera-Spezifikationen und -anordnung, Sammelumgebungsbeschreibung, Aufgabenbeschreibung, Operatorzahl und -schulung sowie Episodezahl pro Aufgabe vor.
• Senden Sie eine Zugfrage. Das GitHub-Repository von OXE akzeptiert Datensatzbeiträge durch Zugfragen. Der Überprüfungsprozess überprüft die Formatkonformität, die Datenqualität (keine beschädigten Episoden, keine extremen Ausmaßwerte) und die Dokumentationsvollständigkeit.

Wenn Ihre Demonstrationen über die [Datendienste] von RCSV erhoben wurden, kann unsere Plattform mit standardisierten Metadaten RLDS-kompatible Exporte generieren und den Beiträgeprozess vereinfachen.

Häufige Fallstricke bei der Verwendung von OXE-Daten

Die ersten Equipment, die OXE einnehmen, stellen häufig Probleme fest, die die Abfallrechnung und die Ergebnisse unteroptimal erzeugen.

• Training auf dem gesamten Datensatz ohne Filterung. OXE enthält mehr als 1 Million Episoden, und viele sind für Ihre spezifische Aufgabe irrelevant. Training auf alles fügt Lärm hinzu und erhöht die Trainingszeit um 10-50x ohne proportionale Vorteile. Filtern Sie immer zuerst auf relevante Unterdatensätze. Ein guter Ausgangspunkt: Wählen Sie 3-5 Unterdatensätze mit ähnlichem Greifer-Typ und Aufgabenkategorie aus, insgesamt 50K-200K Episoden.
• Unsinn auf die Normalisierung des Aktionsraums. Verschiedene OXE-Unterdatenmengen verwenden verschiedene Aktionsrepräsentationen: absolute gemeinsame Positionen, delta-Joint-Positionen, absolute End-Effektor-Posen, delta-End-Effektor-Posen und verschiedene Griff-Aktionsformate. Verwenden Sie die OXE-Aktionsnormalizations-Utilitäten oder die eingebaute Konversionsschicht von LeRobot.
• Annahme einer einheitlichen Kameraanordnung. Kamerapositionen, Winkel und Auflösungen variieren stark zwischen OXE-Unterdatenmengen. Ein Modell, das auf Bridge V2 (Top-Down-Kamera, 256x256) vorgebildet ist, kann sich möglicherweise nicht gut auf Ihre Handgelenkkamera bei 640x480 übertragen. Passen Sie Ihre vorgebildeten Unterdatenmengen so nah wie möglich mit Ihrer Einsatzkamera-Konfiguration ab.
• ** Übergewichtung der größten Unterdatenmengen.** Fraktal (130K Episoden) dominiert OXE nach Volumen. Wenn Sie einheitlich pro Episode pro Probe machen, sind 60%+ Ihrer Trainingspartien Fraktal-Daten aus der Roboterflotte von Google, die einen einzigartigen mobilen Manipulator verwendet, der möglicherweise nicht für Ihren Arm relevant ist. Verwenden Sie ausgewogene Probenahme zwischen Unterdaten- oder kleineren Daten-Sets mit höherem Gewicht, die für Ihre Zielverwirklichung relevanter sind.
• Vernachlässigung des Problems der Qualität der Sprachanmerkungen. Rund 30% der OXE-Episoden haben generische oder fehlende Sprachanmerkungen ("Pick up object" anstatt "Pick up the red cup from the left side"). Für sprachlich bedingte Richtlinien, Filter zu Unterdatenmengen mit hochwertigen Anmerkungen (Bridge V2, BC-Z) oder Post-Prozess-Anmerkungen mit einem LLM-Umschriftungsschritt.

Aktionsraumnormalization: Ein praktischer Leitfaden

Die Aktionsraum-Inkonsistenz zwischen OXE-Unterdatenmengen ist eine der größten praktischen Herausforderungen.

# Action space normalization for mixed OXE training
import numpy as np

class ActionNormalizer:
    """Normalize actions from different OXE sub-datasets to a common space."""

    def __init__(self, target_space="delta_eef_6d"):
        self.target_space = target_space
        # Per-dataset statistics (computed from dataset metadata)
        self.stats = {}

    def register_dataset(self, dataset_name, action_mean, action_std, action_type):
        """Register per-dataset normalization statistics."""
        self.stats[dataset_name] = {
            "mean": np.array(action_mean),
            "std": np.array(action_std),
            "type": action_type,  # "abs_joint", "delta_joint", "abs_eef", "delta_eef"
        }

    def normalize(self, action, dataset_name):
        """Normalize action to zero-mean, unit-variance in target space."""
        s = self.stats[dataset_name]
        # Step 1: Convert to target action type (if needed)
        converted = self._convert_action_type(action, s["type"], self.target_space)
        # Step 2: Standardize using per-dataset statistics
        normalized = (converted - s["mean"]) / (s["std"] + 1e-8)
        return np.clip(normalized, -5.0, 5.0)  # Clip outliers

    def _convert_action_type(self, action, source_type, target_type):
        """Convert between action representations using FK/IK."""
        if source_type == target_type:
            return action
        # Conversion requires robot-specific FK/IK -- use URDF-based solver
        # This is dataset-specific and must be implemented per-embodiment
        raise NotImplementedError(
            f"Conversion from {source_type} to {target_type} "
            f"requires robot-specific FK/IK model"
        )

Die Herausforderung zur Aktionsnormierung ist ein wichtiger Grund, warum Fundamentmodelle wie Octo und OpenVLA so wertvoll sind: Sie handhaben die Aktionsnormierung zwischen Datensätzen intern und sparen die Teams davon ab, sie von Grund auf umzusetzen. Wenn Sie eine benutzerdefinierte Architektur auf Roh-OXE-Daten ausbilden, sollten Sie 1-2 Wochen Zeit für eine ordnungsgemäße Handhabung des Aktionsraums einplanen.

Evaluierungsprotokoll: Wie wird die Benchmarking gegenüber OXE-Basellinien ausgeführt

Um Ihr fein abgestimmtes Modell mit den veröffentlichten OXE-Basellinien sinnvoll zu vergleichen, verwenden Sie das standardisierte Bewertungsprotokoll aus den RT-X-Papieren.

1. Definieren Sie 10-20 Auswertungskonfigurationen, die sich auf In-Distribution (Schulobjekte in Schulpositionen) und Out-of-Distribution (neue Objekte in neuen Positionen) erstrecken.
2. *Für die Konfiguration werden 3 Versuche durchgeführt, um stochastisches politisches Verhalten und Umweltlärm zu berücksichtigen.
3. Verwenden Sie die Standard-Erfolgskriterien: Objekt ist für Aufgaben im Pick-Place innerhalb von 3 cm von der Zielposition entfernt; Schubladen-/Schrankwinkel innerhalb von 10 Grad von der Zielgruppe für artikulierte Aufgaben; Aufgabe innerhalb von 2x der durchschnittlichen menschlichen Demonstrationsdauer abgeschlossen.
4. Berichtet sowohl in-distribution als auch OOD-Erfolgsraten getrennt. Viele Papiere berichten nur über die in-distribution-Nummern, was irreführend sein kann.
5. Vergleichen Sie mit den veröffentlichten Baselinien: ACT von Grund auf (Unterhalb der Linie), Octo-Feinabstimmung (Mittelklasse) und OpenVLA-Feinabstimmung (Oberhalb der Linie für aktuelle Modelle).

RCSV bietet standardisierte Bewertungssätze für gemeinsame Aufgabenkategorien (Tischtop-Pick-Place, Schubladenöffnung, Stapeln) an, die physische Objekte, Positionsvorlagen und Punktzahlungsrubriken umfassen.

Erstellen Sie Ihren eigenen OXE-kompatiblen Datensatz

Um Daten zum OXE-Ökosystem zu beitragen - oder Datenmengen zu bauen, die mit OXE-trainierten Modellen kompatibel sind - müssen Sie sich an spezifische Datenformate und Metadatenstandards halten. Hier ist die Checkliste für die OXE-Kompatibilität.

1. Verwenden Sie das RLDS-Format. OXE verwendet das auf TensorFlow-Datasets (TFDS) basierende RLDS-Format (Reinforcement Learning Datasets). Jede Episode enthält: Beobachtung (Kamerabilder, proprioceptive Zustand), Action (End-Effektor-Pose-Delta oder Gelenkswinkel), Sprachunterricht (natürliche Sprachschnur) und Belohnung/Erfolgsignal.
2. Standardisieren Sie die Kamerakonfiguration. OXE-Modelle erwarten spezifische Kamerafelder: ein oder mehrere RGB-Bilder mit den Namen T13, T14 usw. Die Auflösung sollte mindestens 256x256 (mindestens 320x240) sein.
3. Normalisieren Sie die Aktionen in einen gemeinsamen Raum. Melden Sie die Aktionen als 7D-End-Effektor-Delta: [dx, dy, dz, droll, dpitch, dyaw, gripper_open]. Positionieren Sie die Deltas in Metern, drehen Sie sich die Deltas in Radianen. In die Datensatzdokumentation ist die Konvertierung aus dem nativen Aktionsraum Ihres Robots (Gliedwinkle, absolute Position usw.) enthalten.
4. Bei den Datenmengen sind reichhaltige Metadaten enthalten. Je Datensatz: Robotermodell, Grifftyp, Kameramodell, Arbeitsraumdimensionen, Aufgabenbeschreibung. Je Episode: Sprachanweisung, Erfolg/Fehler-Label, Datumsammlung, Operator-ID (anonymisiert). Diese Metadaten ermöglichen die Datenmix-Strategien, die das OXE-Training effektiv machen.
5. Quality Gate vor der Veröffentlichung. Entfernen Sie versagte Demonstrationen (es sei denn, sie sind speziell als Fehler für das negative Beispieltraining bezeichnet). Überprüfen Sie die Zeitstempel-Synchronisierung zwischen den Modalitäten. Überprüfen Sie, ob die Aktionsetiketten korrekt der beobachteten Bewegung entsprechen. Eine 5%-Spot-Kontrolle durch einen zweiten Anmerker erfasst systematische Probleme.

RCSV bietet den OXE-kompatiblen Daten-Export als Standard-Ausgang für alle Datenerhebungsabgaben an. Teams, die RCSV-Daten verwenden, können sie sofort ohne Formatkonvertierung mit OXE- ausgebildeten Modellen (Octo, OpenVLA) integrieren. Wir tragen auch anonymisierte Datensätze zum öffentlichen OXE-Repository bei, wenn sich die Kunden entscheiden, und erweitern die für alle nützliche Community-Ressource.

OXE-Modelle für die Fein-Ausrichtung: Schritt-für-Schritt-Leitfaden

Die praktischste Anwendung von OXE für die meisten Teams ist die Feinarierung eines OXE-vorgebildeten Modells auf ihre Aufgabenspezifischen Daten.

# fine_tune_octo.py -- Fine-tune OXE-pretrained Octo on task-specific data
from octo.model.octo_model import OctoModel
from octo.data import make_single_dataset

# Step 1: Load OXE-pretrained checkpoint
model = OctoModel.load_pretrained("hf://rail-berkeley/octo-base")

# Step 2: Prepare your task-specific dataset (RLDS format)
dataset = make_single_dataset(
    dataset_kwargs={
        "name": "my_robot_pick_place",
        "data_dir": "/data/my_dataset/1.0.0",
        "image_obs_keys": {"primary": "image_0", "wrist": "image_1"},
        "state_obs_keys": ["state"],
        "language_key": "language_instruction",
    },
    train=True,
)

# Step 3: Fine-tune with reduced learning rate
# Key: use 10x lower LR than pre-training to avoid catastrophic forgetting
model = model.finetune(
    dataset,
    learning_rate=3e-5,     # Pre-training used 3e-4
    batch_size=256,
    num_steps=10000,        # 50-200 demos typically need 5K-20K steps
    freeze_transformer=False,
)

# Step 4: Evaluate on held-out conditions
model.save_pretrained("/models/my_task_octo_finetuned")

Kritische Tipps zur Feinausrichtung:

• Beginnen Sie mit T15 (93M Param) außer wenn Sie 4+ A100 GPUs haben, in diesem Fall kann T16 die Berechnung wert sein.
• Die Fein-Tuning mit 100 Demonstrationen für 10K-Schritte dauert etwa 2 Stunden auf einem einzigen A100. Bei 500 Demonstrationen, Budget 8-12 Stunden.
• Beobachten Sie sowohl den Trainingsausfall als auch die Evaluierung in der realen Welt.
• Wenn Ihr Roboter eine andere Griff- oder Kamera-Inrichtung hat als in OXE, sollten Sie zusätzliche Feintuningdaten (200+ Demo) einstellen, um dem Modell die spezifischen Merkmale der neuen Ausführungsform zu beibringen.

Was kommt als Nächstes: DROID, Bridge V2 und darüber hinaus

Die OXE hat das Prinzip festgelegt.

DROID (Khazatsky et al., 2024) konzentriert sich auf Umweltvielfalt. 76.000 Demonstrationen in 564 Umgebungen und 86 Laboren, die speziell darauf ausgelegt sind, zu testen, wie Umweltvielfalt die Politikverallgemeinerung beeinflusst. DROID ist ergänzend zu OXE: wo OXE die Robotererlebnisvielfalt maximiert, maximiert DROID die Szene- und Umweltvielfalt.

Bridge V2 (Walke et al., 2023) bietet einen fokussierten, qualitativ hochwertigen Datensatz für WidowX-basierte Manipulationen. 60.000+ Demonstrationen in 24 Umgebungen mit sorgfältiger Qualitätskontrolle. Bridge V2 ist der Go-to-Feinabstimmung-Datensatz für Teams, die auf WidowX-Hardware einsetzen, da er das Volumen und die Umweltvielfalt bietet, die für eine robuste Bereitstellung, speziell für eine Ausführungsform, erforderlich sind.

Open-Anything Datensätze. Die Community arbeitet an einer Aggregation im OXE-Stil für Domains, die derzeit unzureichend repräsentiert sind: geschickte Manipulation mit mehreren Fingern, bi-manuale Aufgaben, mobile Manipulation und Outdoor-/Feld-Roboter.

Die breitere Bahn ist auf ein Roboter-Äquivalent der Web-Skala Text-Corpores, die große Sprachen-Modelle ermöglicht. OXE war der Beweis für das Konzept. Die Frage ist jetzt, ob die Gemeinschaft die Vielfalt und das Maß erreichen kann, die benötigt werden, um wirklich generalistische Roboter-Grundlagen-Modelle zu trainieren, und wie lange dauert das. Die [Daten-Sammlungsinfrastruktur] von RCSV (T20) ist so konzipiert, dass sie zu diesem Anstrengungsbereich beitragen und gleichzeitig den Teams, die die heutigen Robotersysteme entwickeln, sofortiges praktische Nutzen bieten.

Verwandte Lesungen

• [Skalierungsgesetze für Roboterlernen: Was wissen wir in 2026]
• [LeRobot-Framework: Anfängerführer]
• [Die Herausforderung der Verallgemeinerung: Warum Roboterpolitik immer noch scheitert]
• [Roboter Lernen aus Video: Stand der Kunst im Jahr 2026]
• [Ausbildungsschulden für Roboter: von Demonstrationen bis zur Bereitstellung]
• RCSV-Datenerhebungsdienste
• [RCSV-Datenmengen]

OXE-kompatible Datenerhebung

Die Datenerfassung von RCSV ist von Grund auf OXE-kompatibel: standardisierte Kameras, RLDS-bereit Export und qualitativ eingeschützte Anmerkungen. Nutzen Sie unsere Daten direkt für Vor-Schulung oder tragen Sie sie zur Gemeinschaft bei.

[Erforschung der Datendienste]