Vertrieb kontaktieren
Zurück zu Datasets

BridgeData V2: Berkeley's skalierbare Manipulationskorpus

Download BridgeData V2: 60.096 WidowX-Trajektorien in 24 Umgebungen und 13 Fähigkeiten.

Ein Praktikerführer zu BridgeData V2 der 60,096-Trajektorie WidowX Datensatz aus dem RAIL Lab der UC Berkeley, der Bridge-trained VLAs, Octo-Fine-Tunes und den OpenX-Mix antreibt.

TL;DR

Metric Value
Task count 13 skills across ~100 task variants
Robots WidowX 250 6DOF arm (consumer-grade, ~$6K)
Modalities RGB-D (Intel RealSense), proprioception, gripper, language instruction
License CC-BY 4.0
Size 60,096 trajectories, ~400 GB raw
Environments 24 scenes including toy kitchens, sinks, and tabletops

Was ist BridgeData V2?

BridgeData V2 ist der Nachfolger der ursprünglichen BridgeData-Veröffentlichung von 2021 vom Robotic AI & Learning Lab (RAIL) der UC Berkeley. Es wurde von Homer Walke, Pranav Atreya und Co-Autoren unter Sergey Levine gebaut, um eine täuschend einfache Frage zu beantworten: Kann eine einzige Manipulationspolitik lernen, den Natursprachenanweisungen über Dutzende von Umgebungen und Fähigkeiten hinweg zu folgen, ohne dass sich die Umgebung spezifisch auf sie abgestimmt hat? Um darauf zu antworten, teleoperatierte das RAIL-Team einen kostengünstigen WidowX 250 6DOF-Arm über 24 Szenen für 60.096 Demonstrationen, die Pick-and-Place, Schieben, Schieben, Stapeln, Falten, Schubladeöffnung und mehrere andere Fähigkeiten abdeckten.

Zwei Designentscheidungen, die BridgeData V2 überproportional beeinflusst haben. Erstens wird jede Bahn mit einer Crowdsourced-Natursprachenanleitung annotert nicht eine feste Aufgaben-ID , was bedeutet, dass die auf Bridge ausgebildeten Richtlinien zur Zeit der Ableitung auf freien Text bedingt werden können. Zweitens, die Wahl des $6.000 WidowX-Arms (statt einer Franka oder UR5) hielt die Hardware-Kosten niedrig genug, dass Dutzende von Follow-up-Labors die Einrichtung reproduzieren konnten, und die Daten sind zu einem de facto-Standard für kostengünstige Manipulationenforschung geworden.

BridgeData V2 ist jetzt einer der größten individuellen Beiträge zum Open X-Embodiment Mix und ist das beliebteste Ziel für Papiere, die Ergebnisse in der realen Welt ohne besitzende industrielle Hardware demonstrieren möchten. OpenVLA, Octo und mehrere Diffusion Policy-Varianten veröffentlichen BridgeData V2-Nummern als ihr kanonisches Ergebnis in der realen Welt.

Wie man herunterlädt und lädt

Der Datensatz wird als NumPy-Shards von Berkeley und als RLDS auf Google Cloud Storage über den Open X-Embodiment-Bucket verteilt:

# Raw NumPy shards (~400 GB)
wget -r https://rail.eecs.berkeley.edu/datasets/bridge_release/data/demos_8_17.zip
unzip demos_8_17.zip

# Or stream the RLDS copy from OXE (recommended for VLA training)
pip install tensorflow_datasets
import tensorflow_datasets as tfds
ds = tfds.load("bridge", data_dir="gs://gresearch/robotics", split="train")
for ep in ds.take(1):
    for step in ep["steps"]:
        print(step["observation"]["image_0"].shape,
              step["observation"]["state"].shape,
              step["action"].shape,
              step["language_instruction"])

# Install the reference training stack
git clone https://github.com/rail-berkeley/bridge_data_v2.git
cd bridge_data_v2 && pip install -e .

Für die Fein-Tuning von OpenVLA oder Octo, zeigen Sie die Konfiguration auf T1 im OpenX-Mix und Sie können die veröffentlichten Ergebnisse auf einem einzigen 8xA100-Knoten reproduzieren.

Häufige Anwendungsfälle und Modellpaarungen

  • Low-cost VLA-Evaluierung. BridgeData V2 ist die Standard-Real-World-Fine-Tune für OpenVLA und Octo jeder neue VLA muss die Bridge-Nummern veröffentlichen, um ernst genommen zu werden.
  • Sprachbedingte Richtlinien. Die freien Anweisungsbezeichnungen machen es zum Datenbestand für die Anweisungsforschung.
  • Generalisierungsstudien. Da sich die gleiche Fähigkeit in 24 Umgebungen wiederholt, ist es leicht, Szenen auszuweiten und die Null-Szenen-Generalisierung zu messen.
  • Die Basislinien für die Diffusionpolitik. Die ~4.000 Episoden pro Fähigkeitskarte werden ohne Lehrplan-Trick auf Diffusion- und Transformationspolitik abgespielt.

Benchmarks & Leaderboards

Die BridgeData V2-Evaluierung wird in der Regel als In-Distribution-Erfolgsrate auf einem ausgehaltenen Satz von Sprachanweisungen sowie Out-of-Distribution-Erfolg auf einem Satz von neuen Objekt- / Novell-Szenenkombinationen gemeldet. OpenVLA berichtet von etwa 70% In-Distribution und 40-50% OOD-Erfolg. Siehe Papiere mit Code BridgeData V2 Eintrag und die RAIL Lab Projektseite für das kanonische Evalue-Protokoll.

Technisches tiefgreifendes Tauchen: Schema und Aktionsraum

BridgeData V2-Episoden werden als Verzeichnisse pro Bahn gespeichert, die jeweils einen Python-Pickel von Beobachtungen sowie RGB-Rahmen pro Schritt und eine Sprachanweisung enthalten. Die Beobachtungen werden bei 5 Hz (die WidowX Teleoperations-Loop-Rate) aufgezeichnet und umfassen zwei RGB-Streams eine Kamera für die Szenen der dritten Person und eine Handgelenkkamera über der Schulter zusammen mit Intel RealSense-Tiefthalt (auf einer Teilmenge von Szenen), die 6-dimensionalen End-Effektor-Position von WidowX und einen binären Griffzustand.

Die Aktionen sind 7-dimensionaler: Cartesian delta end-effector Position (xyz), Cartesian delta Orientierung (rpy) und Griff öffnen/schließen. Da die Aktionsfrequenz nur 5 Hz ist, sind BridgeData V2-Politiken mit Aktions-Cunking von 4-8 Schritten ausgebildet, die gut mit der Standard-Cunk Größe der Diffusion Policy übereinstimmt. Die niedrige Steuerungsrate ist ein Segen für die Datenerhebung (Telebetreiber erreichen bei langsamen Geschwindigkeiten höhere Erfolgsraten) und ein milder Fluch für dynamische Aufgaben (der Datensatz ist nicht geeignet für alles, was eine reaktive Steuerung unter 100 ms erfordert).

Die Sprachanweisungen werden über Amazon Mechanical Turk crowdsourced. Arbeiter beobachteten jede Bahn und schrieben eine natürliche Sprache Beschreibung der Aufgabe, was bedeutet, dass Anweisungen Tippfehler, Synonyme und Parafrazen enthalten. Dieser Lärm ist eigentlich eine Funktion es zwingt die Politik, die Art von Durcheinander zu behandeln, die Sie in einer echten Bereitstellung sehen.

Bekannte Einschränkungen

  • Einfachverkörperung. Alle 60K-Platzungen sind auf einem WidowX 250.
  • Tischoberfläche-Versprechung. Die Szenen sind alle ungefähr Tafeloberflächen mit Spülspül, Herd oder Schreibtischhöhe.
  • Niedrige Wirkungsrate. 5 Hz sind für quasi-statische Manipulationen gut, aber nicht für dynamische Aufgaben wie Gießen oder Fangen ausreichend.
  • Erfolgskennzeichnungen sind heuristisch. Das Urteil des Teleoperators war die Grundwahrheit für den Erfolg; ein kleiner Bruchteil der als erfolgreich bezeichneten Episoden sind eigentlich teilweise Versagen.

FAQ

Behörte ich eine WidowX, um BridgeData V2 zu verwenden? Nur wenn Sie eine geschlossene Evaluierung in der realen Welt durchführen möchten.

Wie ist BridgeData V2 mit BridgeData V1 verbunden? V2 ist ungefähr 4x größer, fügt 12 neue Szenen hinzu, teleoperates die meisten V1-Aufgaben mit einem sauberen Setup erneut und versendet Sprachanmerkungen auf jeder Episode (V1 hatte sie nur auf einer Untermenge).

** Kann ich BridgeData V2 mit meinen eigenen WidowX-Daten kombinieren?** Ja Das Schema ist gut dokumentiert, und mehrere Trainingsleitungen von Drittanbietern unterstützen Drop-in-Mixing.