Vertrieb kontaktieren
Zurück zu Datasets

RoboNet: Das Original Cross-Robot Video Corpus

Erforschen Sie RoboNet: 15 Millionen Videobilder über 7 Roboter und 4 Labore. Laden Sie herunter, trainieren Sie Videoprediktionen und visuelle Vorhersage-Modelle und benchmarkten Sie den Cross-Roboter-Transfer in einem Wochenende.

Ein Praktikerführer für RoboNet das 15-Millionen-Frame-Daten-Set, 7-Roboter, 4-Labor, das die Vorlage für jede groß angelegte Multi-Roboter-Veröffentlichung, die folgte, etablierte.

TL;DR

Metric Value
Frame count ~15,000,000 RGB video frames
Robots 7 (Sawyer, Baxter, WidowX, Kuka iiwa, Franka, Fetch, Widow200)
Modalities RGB video (1-4 cameras), Cartesian delta action, proprioception, gripper
License MIT
Institutions 4 labs (Penn, Stanford, UC Berkeley, CMU)
Original paper CoRL 2019 (Dasari et al.)

Was ist RoboNet?

RoboNet war der erste ernsthafte Versuch, eine sehr spezifische Frage zu beantworten: Wenn mehrere Labors ihr autonomes Robotervideo zusammenbringen, kann sich ein einzelnes Videovorhersage-Modell über Roboter und Umgebungen hinweg verallgemeinern? Sudeep Dasari und Kollegen von Penn, Stanford, UC Berkeley und CMU haben 15 Millionen Video-Frame von 7 verschiedenen Roboterplattformen zusammengestellt und mit einem einheitlichen HDF5-Schema veröffentlicht. Eine bemerkenswerte Leistung im Jahr 2019, als Roboter-Datenmengen normalerweise privat und protokollespezifisch waren.

RoboNet ist ein _video prediction_dataset, nicht ein sprachlich bedingter Manipulationsdataset. Die meisten Episoden werden autonom gesammelt (zufällig oder scripted Erkundung vor verschiedenen Objekten), nicht teleoperativen Experten-Demonstrationen. Diese Entwurfswahl machte RoboNet seit Jahren zum Referenzwert für stochastische Videomodelle (SVG, SVP, SV2P), visuelle Voraussichtsplaner und weltmodellbasierte Steuerung und prägte die Art und Weise, wie das Feld jetzt über kreuzroboterbasierte Aktionsvorhersagen denkt.

Obwohl RoboNet seitdem von Open X-Embodiment und DROID in Rohgröße übertroffen wurde, bleibt es der sauberste, kleinste und pädagogisch nützlichste Kreuzrobot-Datenbestand.

Wie man herunterlädt und lädt

Die kanonische Verteilung ist eine Reihe von HDF5-Shards auf dem RoboNet-Wiki, mit einem TFRecord-Spiegel über das Referenz-GitHub-Repo versandt:

# Pull the reference code
git clone https://github.com/SudeepDasari/RoboNet.git
cd RoboNet && pip install -e .

# Download the HDF5 shards (see https://www.robonet.wiki/ for bucket URLs)
python robonet/datasets/download_robonet.py --output_dir ./data

# Load episodes with the built-in reader
from robonet.datasets.robonet_dataset import RoboNetDataset
ds = RoboNetDataset(
    batch_size=32,
    dataset_files=["./data/*.hdf5"],
    hparams={"img_size": [64, 64], "load_random_cam": True},
)
for batch in ds:
    print(batch["images"].shape, batch["actions"].shape, batch["states"].shape)

Da die Frames klein sind (64x64 oder 128x128) und die Aktionsvektoren kurz sind, ist RoboNet eines der seltenen Roboter-Datensätze, in denen Sie ein sinnvolles Experiment auf einer einzelnen GPU ausführen können.

Häufige Anwendungsfälle und Modellpaarungen

  • Video-Vorhersage-Baselines. SVG, SVP, FitVid und der ursprüngliche Visual Foresight-Stack verwenden alle RoboNet als Cross-Robot-Referenz.
  • Weltmodellbasierte Steuerung. Die kombinierten Aktions-/Beobachtungssequenzen machen es zu einem natürlichen Prüfstand für Dreamer-Stil-Weltmodelle in einer Multi-Inkarnations-Umgebung.
  • Einbeziehungskodeierforschung. Da jeder Schlitten mit einer Roboter-ID markiert ist, ist RoboNet ein reines Ziel für das Lernen von Einbeziehungen in Ebenbeziehungen, die auf neue Arme übertragen werden.
  • Lehr- / Kursaufgaben. Die geringe Rahmengröße und das saubere HDF5-Schema machen RoboNet zum Standarddatensatz in den Roboter-Lernkursen.

Benchmarks & Leaderboards

Es gibt keine geschlossene Leaderboard, aber die Standard-Evaluierung ist PSNR / SSIM / LPIPS auf 10-Schritt-Zukunftsrahmen-Vorhersage auf einer ausgehaltenen Aktionssequenz, die separat für gesehen und unsichtbare Roboter berichtet.

Technisches tiefgreifendes Tauchen: Cartesianische Delta-Aktionen und Ausführungs-IDs

Die Aktionsdarstellung von RoboNet war für 2019 ungewöhnlich ehrgeizig. Anstatt Roh-Gelenke oder Motorkommando (die sich zwischen jedem Roboter unterscheiden würden) aufzuzeichnen, kartesierten die Autoren jede Aktion auf ein 5-dimensionales kartesisches Delta: xyz-Übersetzung plus yaw-Rotation plus ein binäres Greifer-Bit. Die meisten Roboter unterstützten nur Top-Down-Grip in der Sammlung. Diese Normalisierung ermöglicht es, ein einzelnes Video-Vorhersage-Modell auf Aktionen aus sieben verschiedenen Armen zu bedingten.

Jede Bahn ist mit einer integren Ausführungs-ID gekennzeichnet, die die Politik entweder ignorieren kann (um ein generisches Kreuzrobotermodell zu lernen) oder die Bedingung (um roboterspezifische Dynamik auszunutzen). Der letztere Ansatz lernte Ausführungsimplementierungen wurde zu einem der dominierenden Muster in der Folgeliteratur und inspirierte direkt die Per-Dataset-Einbettungen in Octo und das Aktionsnormalizationssystem in OpenVLA.

Video-Frame werden speziell bei niedriger Auflösung (64x64 oder 128x128 je nach Schnitt) gespeichert, damit Videoprädiktionsgrundlinien auf Rohstoffhardware ausgeführt werden können. Wenn Sie Aufnahmen mit höherer Auflösung benötigen, werden Open X-Embodiment und DROID beide mit voller Auflösung RGB und sollten für moderne Vision-Schwer Pipelines bevorzugt werden.

Bekannte Einschränkungen

  • Niedrige Auflösung. 64x64 oder 128x128 Frames sind für moderne Pixel-basierte Richtlinien nicht nutzbar. RoboNet ist ein historisches Referenzmaterial, nicht ein Trainingsziel für Produktionssysteme.
  • Autonome (nicht-experte) Daten. Die meisten Bahnen sind zufällig erforscht, so dass RoboNet nicht für das Nachahmen des Lernens geeignet ist es war nie vorgesehen.
  • Nur oben nach unten Aktionsraum. Die 5-DoF-Normalisierung lässt die Spitze und Rollen sinken, was das Manipulationsrepertoire auf planares Greifen beschränkt.
  • Keine Sprachanmerkungen. Episoden sind mit Robotern und Umgebungs-IDs gekennzeichnet, aber keine natürliche Sprache, so dass RoboNet nicht vor-Train-Sprach-konditionierte Richtlinien.

FAQ

Ist RoboNet noch 2026 nutzbar? Ja, aus zwei Gründen: Es ist immer noch der beste Lehrdatensatz für die Vorgehensweise von Video-Vorträgen, und seine geringe Größe macht es ideal für Ablationstudien, die auf Open X-Embodiment zu teuer wären.

Wie verglichen sich RoboNet mit Open X-Embodiment? OXE ist 50-100x größer, enthält Expertendemonstrationen und liefert Sprachanmerkungen. RoboNet ist kleiner, nur für Video und basiert auf autonomer Erkundung. Sie ergänzen sich.

Kann ich RoboNet mit modernen Action-Labelled-Daten-Sets kombinieren? Ja Das in der Ausführungsform gekennzeichnete Aktionsschema ist mit den meisten modernen VLA-Trainingstacks mit kleineren Adaptercodes kompatibel.