Vertrieb kontaktieren
Zurück zu Blog

Weltmodelle für Robotik: Warum sie wichtig sind und wie sie funktionieren

Was sind Weltmodelle für Robotik? Erfahren Sie, wie erlernte Dynamikmodelle wie Dreamer, IRIS und TD-MPC2 durch imaginäre Planung, sim-to-real-Transfer und Sicherheitsvalidierung ein probierteffizientes Roboterlernen ermöglichen.

Von Jerry Huang am 22. April 2026

Weltmodelle sind gelernte Dynamikmodelle, die künftige Zustände aus Aktionen voraussagen, wodurch Roboter das Verhalten in der Vorstellungskraft planen, erkunden und validieren können, bevor sie in der realen Welt ausgeführt werden. Sie werden schnell zum zentralen Teil des Roboterlernstacks - die Lücke zwischen der Probeeffizienz von modellbasierten Methoden und der Ausdrucksfähigkeit des Deep Learning schließen. Dieser Artikel erklärt, was diese Architekturen sind, wie sich die wichtigsten Architekturen unterscheiden und wie man entscheidet, ob ein Projekt eines dieser Architekturen benötigt.

Was sind Weltmodelle?

Ein Weltmodell ist ein neuronales Netzwerk, das die Dynamik einer Umgebung aus Daten lernt. Angesichts eines aktuellen Zustands (oder einer Beobachtung) und einer Aktion prognostiziert das Modell den nächsten Zustand, die Belohnung und optional, ob die Episode beendet ist. Dies ist keine neue Idee - modelbasiertes Verstärkungssystem existiert seit Jahrzehnten - aber die Kombination aus Deep Learning, groß angelegten Daten und modernem Sequenzmodellieren hat die Weltmodelle seit 2020 dramatisch leistungsfähiger gemacht.

Formal nähert sich ein Weltmodell der Übergangsfunktion T s, r s, a) eines Markov-Entscheidungsprozesses.

  • Encoder: Die Rohbeobachtungen (Bilder, Propriozeption, Punktwolken) in eine kompakte latente Darstellung z_t erstellen.
  • Dynamisches Modell: Vorhersagt den nächsten latenten Zustand z_{t+1} angesichts des aktuellen latenten Zustands z_t und der Aktion a_t. Dies ist der Kern des Weltmodells.
  • ** Dekoder (s):** Rekonstruktion von Beobachtungen, Vorhersage von Belohnungen und Vorhersage von Episode-Entscheidungen aus latenten Zuständen.

Die Schlüsselfunktion, die Weltmodelle nützlich macht, ist, dass das Dynamikmodell, wenn es einmal ausgebildet ist, in der Vorstellungskraft "ausgerollt" werden kann - Sie können Tausende von Bahnen simulieren, ohne jemals den echten Roboter zu berühren. Dies ermöglicht die Planung, die Optimierung von Politiken und die Sicherheitsvalidierung ganz innerhalb des erlernten Modells.

Warum Robotik Weltmodelle braucht

Modellfreie Verstärkungslernungsmethoden wie PPO und SAC lernen durch Versuch und Fehler, was Millionen von Umgebungsinteraktionen erfordert, um sich zu konvergieren. In der Simulation ist dies nur teuer. Auf der echten Hardware ist es unpraktisch und gefährlich - ein Roboterarm, der zufällig erkundet, wird mit Objekten kollidieren, Endfaktoren beschädigen und Wochen Zeit für Wanduhren verschwenden. Weltmodelle lösen diesen grundlegenden Engpass durch vier Mechanismen:

1. Probeneffizienz

Weltmodelle extrahieren mehr Lernsignale aus jeder realen Interaktion. Anstatt einen Übergang (s, a, r, s') einmal zu verwenden, um eine Wertschöpfung zu aktualisieren, speichert das Weltmodell es als Trainingsdaten. Sobald das Modell genau genug ist, kann der Agent unbegrenzte synthetische Erfahrung generieren, indem das Modell ausgeführt wird. Dreamer v3, zum Beispiel, lernt Atari-Spiele aus 200K Umgebungsrahmen, wo modelfreie Methoden 50-200M-Rahmen benötigen - eine 100-1000-fache Verbesserung der Probeneffizienz. Für Robotik, wo jeder Frame Echtzeit kostet und Echtverlust auf Hardware, ist dieser Unterschied existentiell.

2. Planung und Schau

Mit einem genauen Weltmodell kann ein Roboter Kandidatenaktionssequenzen bewerten, bevor er sich zu einer verpflichtet. Modell-Prediktionssteuerung (MPC) mit einem gelernten Dynamikmodell funktioniert: (1) N Kandidatenaktionssequenzen vorgeschlagen, (2) jedes durch das Weltmodell ausgeführt, (3) jede Strecke durch vorhergesagte kumulative Belohnung erzielt und (4) die erste Aktion aus der besten Strecke ausgeführt. Diese Planungsschleife wiederholt sich bei jedem Kontrollschritt und gibt dem Roboter eine form der deliberativen Argumentation, die reaktiven Politiken fehlt.

3. Sicherheitsvalidierung

Bevor Sie eine Richtlinie auf einem echten Roboter einsetzen, können Sie sie im Weltmodell ausführen, um zu überprüfen, ob gefährliche Zustände vorhanden sind - Kollisionen, Verletzungen der Grenzwerte, übermäßige Kräfte oder Verletzungen der Grenzen des Arbeitsplatzes. Dies ist schneller und billiger als die Physik-Simulation, weil das Weltmodell auf GPU als ein einzelner Vorwärtspass pro Schritt läuft, ohne die Überlast von Kontaktdynamiklösern. Es ist auch realistischer als handgestellte Simulation, da das Weltmodell aus realen Daten gelernt und Phänomene (Kabeldynamik, weiche Objektdeformation, Sensorlärm) erfasst, die analytisch schwer zu simulieren sind.

4. Sim-Real-Überweisung

Weltmodelle, die auf echten Roboterdaten ausgebildet sind, dienen als gelernte Simulatoren, die sich von Natur aus mit der echten Dynamik übereinstimmen. Die Sim-zu-Realen Lücke - die Mischweigung zwischen Physik-Simulation und Realität - ist der dominierende Fehlermodus in der simulierten Roboterpolitik. Ein auf nur geringe Menge an realen Daten trainiertes Weltmodell (1-10 Stunden Interaktion) kann Dynamik erfassen, die notorisch schwer zu simulieren ist: Kabelrouting, deformierbare Objektmanipulation, Reibung auf verschiedenen Oberflächen und konformem Kontakt.

Schlüsselarchitekturen

Die Weltmodelllandschaft hat sich rasch entwickelt. Hier sind die Architekturen, die für Robotikpraktiker am wichtigsten sind.

Träumer (v1, v2, v3) -- Hafner et al., 2020-2023

Dreamer ist der reifste und am häufigsten verwendete Weltmodellrahmen. Es lernt ein Recurrent State-Space Model (RSSM), das sowohl einen deterministischen wiederkehrenden Zustand (Erfassung von Geschichte) als auch einen stochastischen latenten Zustand (Erfassung von Unsicherheit) aufrechterhält. Der Agent lernt eine Akteur-kritische Politik ganz innerhalb der vorstellten Flugbahnen des Weltmodells und muss nach der ersten Datenerhebungsphasen nie RL in der realen Umgebung durchführen.

Dreamer v3 (2023) führte mehrere wichtige Verbesserungen ein: Symlog-Vorhersagen für Belohnung und Wertnormalisierung über Aufgaben mit weit unterschiedlichen Belohnungsschalen, diskrete latente Darstellungen (32 kategorische Variablen mit 32 Klassen jeweils = 1024-dimensionaler diskreter Code) und eine einheitliche Reihe von Hyperparametern, die über 150+ Aufgaben ohne Tuning funktioniert. Es ist der erste Modellagent der Welt, der Diamanten in Minecraft von Grund auf sammeln kann. Eine Aufgabe, die hunderte von aufeinanderfolgenden Entscheidungen in verschiedenen Spielfildern erfordert.

Dreamer v3 ist für die Robotik der Standard-Startpunkt. Es verwaltet kontinuierliche Steuerung natürlich, trainiert auf bescheidenen GPU-Budgets (einziges RTX 3090), und wurde erfolgreich auf echte Roboter-Manipulation, Lokomotion und Navigations-Tätigkeiten angewendet. Seine primäre Einschränkung ist der Fehler der Langhorizon-Verbund: Für Aufgaben, die mehr als 200 Schritte der genauen Vorhersage erfordern, treten die vorgestellten Bahnen von der Realität ab.

IRIS -- Micheli et al., 2023

IRIS (Imagination with Auto-Regression over an Inner Speech) nimmt einen radikal anderen Ansatz ein: Es tokeniziert sowohl Beobachtungen als auch Aktionen in diskrete Token mit einem VQ-VAE, modelliert dann die gemeinsame Sequenz mit einem autoregressiven Transformer. Das Weltmodell ist im Wesentlichen ein GPT-Stil Next-Token-Prediktor über verflochtenen Beobachtungs- und Aktionstoken.

Diese Architektur hat einen tiefen Vorteil: Sie erbt die Skalierungseigenschaften großer Sprachmodelle. Wenn Sie die Modellgröße und Daten erhöhen, verbessert sich die Vorhersagequalität vorhersehbar. IRIS erzielte übermenschliche Leistung in 10 von 26 Atari-Spielen mit nur 100K Umgebungsinteraktionen - vergleichbar mit Dreamer v3 aber mit einer Architektur, die anfälliger für die Skalierung ist.

Die Kompromiss ist, dass Tokenisierung über VQ-VAE verlustfreie Kompression einführt. Feinkornige räumliche Informationen, die für eine präzise Manipulation (die genaue Position eines Schraubkopfes, die Ausrichtung eines Anschlusses) wichtig sind, können in der diskreten Engpässe verloren gehen. Für Robotik-Aufgaben, die eine Sub-Millimetergenauigkeit erfordern, ist dies ein echter Problem. Für Navigation, Lokomotion und grobe Manipulation reicht die symbolisierte Darstellung aus und die Skalegeschichte sind attraktiv.

TD-MPC2 -- Hansen et al., 2024

TD-MPC2 (Temporal Difference Learning for Modellprädiktive Regelung, Version 2) kombiniert ein gelerntes latentes Dynamikmodell mit model-predictive Control zur Zeit der Ableitung. Im Gegensatz zu Dreamer, der einen separaten Schauspieler-Kritiker in der Phantasie trainiert, verwendet TD-MPC2 das Weltmodell direkt für die Online-Planung über den Model Predictive Path Integral (MPPI) Algorithmus. Bei jedem Kontrollschritt erfasst sie die Aktionssequenzen, rollt sie durch das Dynamikmodell aus, punktet sie mit einer gelernten Wertfunktion und führt die beste erste Aktion durch.

TD-MPC2 zeigt, dass ein einziges Set von Hyperparametern und eine einzige Modellarchitektur 104 kontinuierliche Steuerungsaufgaben in der Lokomotion, der Manipulation und der Navigation lösen kann. Das Modell verwendet ein einfaches MLP-basiertes latentes Dynamikmodell (keine Wiederholung, keine Aufmerksamkeit) mit einem gemeinsam gelernten Encoder, Dynamik, Belohnung und Wertfunktion. Diese Einfachheit macht es schneller zu trainieren und schneller zu schließen.

Für die Robotik ist TD-MPC2 überzeugend, wenn man das Weltmodell direkt durch Planung steuern möchte, anstatt in eine separate Politik zu distillerieren. Dies macht es für Aufgaben geeignet, bei denen sich das Ziel zur Bereitstellung ändert - verschiedene Zielpositionen, unterschiedliche Fähigkeitsanforderungen oder vom Menschen spezifizierte Ziele.

UniSim -- Yang et al., 2024

UniSim ist ein "universeller Simulator", der realistisches Video von künftigen Beobachtungen erzeugt, die von Aktionen abhängig sind. Die wichtigste Erkenntnis ist, dass Video-Daten im Internet-Skala implizite Physik enthält - Objekte fallen, Flüssigkeiten fließen, Türen schwenken - und ein genügend großes generatives Modell kann diese Dynamik ohne explizite physikalische Überwachung lernen.

UniSim arbeitet in Pixelraum und nicht in latentem Raum, was bedeutet, dass es fotorealistische, direkt interpretierbare künftige Rahmen darstellen kann. Die Pixel-Raum-Generation ist jedoch berechnungsmäßig teuer: Die Erstellung eines 16-Framen-Rollouts bei 256x256 dauert auf einem A100 ~ 2 Sekunden, was es für die Echtzeit-MPC-Stilplanung zu langsam macht.

UniSim ist ein Instrument zur Datenvergrößerung und zur Bewertung von Richtlinien, und nicht ein Echtzeitplaner. Sie können es verwenden, um synthetische Trainings-Episoden zu erzeugen, zu visualisieren, was eine Richtlinie in neuen Situationen tun würde oder um die Sicherheit vor dem Einsatz zu bewerten.

Genie / Genie 2 - Bruce et al., 2024

Genie (Generative Interactive Environments) ist ein Grundwerlemodell von Google DeepMind, das auf Internet-Skala-Video ausgebildet wurde. Genie 2 erweitert dies auf 3D-Umgebungen und erzeugt konsistente, steuerbare Weltsimulationen aus einem einzigen Bild-Prompt. Im Gegensatz zu Aufgaben-spezifischen Weltmodellen ist Genie als allgemein zweckmäßiger Umgebungsgenerator konzipiert, der für bestimmte Domains optimiert werden kann.

Für die Robotik ist Genie als vorgeübtes Fundamentmodell von Bedeutung. Anstatt ein Weltmodell von Grund auf auf Ihre Roboterdaten (das 10-100+ Stunden Interaktion erfordert) zu trainieren, können Sie Genie auf einer kleinen Menge von domain-spezifischen Daten feinen Schnittstellen setzen und ihr vorheriges Wissen über Physik und räumliche Beziehungen nutzen. Dieses Paradigma - Grundlagen-Weltmodell + Domänen-Feinabstimmung - spiegelt den Erfolg der Grundlagen-Sprachmodelle wider und ist wahrscheinlich die Richtung, in der sich das Feld im Jahr 2026-2027 bewegt.

Latent-Space vs. Pixel-Space Weltmodelle

Dies ist die wichtigste architektonische Entscheidung beim Bau oder Auswahl eines Weltmodells.

Property Latent-Space (Dreamer, TD-MPC2) Pixel-Space (UniSim, Genie)
Rollout speed ~0.1ms per step (GPU) ~50-200ms per step
Planning compatibility Real-time MPC feasible Offline planning only
Human interpretability Low (latent vectors are opaque) High (viewable video frames)
Spatial precision Task-dependent (can be high) Limited by generation resolution
Training compute Single GPU (hours-days) Multi-GPU cluster (days-weeks)
Data efficiency Good (100K-1M frames) Poor (needs millions of frames or pre-training)
Generalisierung Narrow (domain-specific) Broad (foundation models generalize across domains)
Best use case Real-time control + online RL Data augmentation + offline evaluation

Praktike Empfehlung: Für die meisten Robotikprojekte im Jahr 2026 verwenden Sie ein latent-Space-Weltmodell (Dreamer v3 oder TD-MPC2) als Ihr primäres Dynamikmodell. Wenn Sie menschlich inspektierbare Roll-outs für die Sicherheitsüberprüfung oder die Kommunikation mit den Interessengruppen benötigen, fügen Sie einen Pixel-Space-Decoder hinzu, der latente Strecken in Video auf Anfrage umwandelt. Das gibt Ihnen die Geschwindigkeit der Planung des latenten Raumes mit der Interpretation der Pixel-Raum-Visualisierung, wenn Sie es brauchen.

Schulungsdatenanforderungen

Die Weltmodelle sind nur so gut wie die Daten, auf denen sie ausgebildet werden. Dies ist der wichtigste Faktor für die Leistung der Weltmodelle und der meist unterbewertete Faktor für neue Teams.

Welche Art von Daten

Weltmodelle benötigen Übergangs-Tuple: (Beobachtung, Aktion, Belohnung, Beobachtung, getan). Für die Robotik umfassen Beobachtungen typischerweise:

  • RGB-Bilder von einer oder mehreren Kameras (an Handgelenk montiert, übergeladen oder beides).
  • ** Eigene Empfindungszustand:** Gelenkpositionen, Geschwindigkeiten, Griffzustand, Endeffektor-Position.
  • Actions: die Kommandos, die an den Roboter in jedem Zeitschritt gesendet werden. Für Waffen sind dies typischerweise gemeinsame Geschwindigkeits- oder End-Effektor-Delta-Kommandos.
  • Lohn (optional für Offline-Schulungen): Funktionssignalen, Abstand-zu-Ziel- oder spärliche Erfolgsindikatoren.

Wie viel Daten

Die Datenanforderungen variieren je nach Architektur und Aufgabenkomplexität:

  • Dreamer v3: 50-200 Episoden (10K-50K Übergangs) für die Ein-Tasken-Manipulation. 500-2000 Episoden für mehrtägige oder komplexe, kontaktreiche Aufgaben.
  • TD-MPC2: Ähnlich wie Dreamer für Manipulation. Kann mit nur 20 bis 50 Episoden für einfache Aufgaben effektiv planen, aber komplexe Aufgaben benötigen 200+
  • IRIS: Mehr Datenhungrigkeit aufgrund der VQ-VAE Tokenizer-Ausbildung.
  • UniSim/Genie: Vorübergehende Ausbildung auf Internet-Skala-Daten erfordert.

Qualität ist mehr wichtig als Quantität

Niedrigwertige Daten schädigen die weltweite Modellbildung aktiv.

  • Inkonsistente Steuerfrequenz: Wenn die Datenerfassung mit variablen Geschwindigkeiten (manchmal 10 Hz, manchmal 30 Hz) läuft, lernt das Dynamikmodell eine inkohärente Zeitbeziehung.
  • State-Action-Misalination: Wenn Beobachtungs- und Aktionszeitstempeln nicht ordnungsgemäß synchronisiert sind, lernt das Modell eine falsche Dynamik.
  • Unzureichende Zustandsdeckung: Ein Datensatz von 1000 Episoden, die alle aus derselben Anfangskonfiguration beginnen, ist weniger als 200 Episoden mit unterschiedlichen Anfangszuständen wert.
  • ** Korrupte Episoden:** Episoden, in denen die Aufgabe aufgrund von Hardwareproblemen (Encoder-Drift, Kommunikationsfall, Grifffehler) fehlerhaft ist, lehren das Weltmodell falsche Dynamik.

Aktuelle Beschränkungen

Die Weltmodelle sind mächtig, aber sie sind kein Problem, das gelöst wird.

Vergrößerte Fehler

Jede Weltmodellvorhersage hat einen Fehler. Wenn man das Modell für 100+ Schritte ausführt, werden diese Fehler zusammengefügt - jede Vorhersage basiert auf der vorherigen Vorhersage, nicht auf der Grundrealität. Bis zum Schritt 200 kann die vorgestellte Bahn wenig Ähnlichkeit zu dem haben, was tatsächlich passieren würde. Dies begrenzt den wirksamen Planungshorizont auf etwa 20-50 Schritte für aktuelle Modelle (2-5 Sekunden bei 10Hz-Steuerung). Aufgaben, die längere Planungshorizonte erfordern, erfordern hierarchische Ansätze oder eine regelmäßige Ankerung an reale Beobachtungen.

Verteilungsschicht

Das Weltmodell ist nur in Regionen des staatlichen Aktionsraums korrekt, die es während des Trainings gesehen hat. Wenn Ihre Politik Staaten erkundet, mit denen das Weltmodell nie zu tun hatte - eine neue Objekteinrichtung, einen ungewöhnlichen Kollisionszustand oder einen anderen Lichtzustand - werden die Vorhersagen des Modells unzuverlässig. Schlimmer noch, die Politik kann lernen, Ungenauigkeiten im Weltmodell zu nutzen und "imaginäre" High-Reward-Trajectories zu finden, die nicht in die Realität übertragen werden.

Langzeittreue

Selbst innerhalb der Verteilung kämpfen Weltmodelle mit langen Reihen von kontaktreichen Interaktionen.Drei Blöcke zu stapeln, ein Kabel durch mehrere Führer zu strecken oder einen mehrteilige Mechanismus zu montieren, erfordert jeweils die genaue Vorhersage von Hunderten von Kontaktereignissen in Reihenfolge. Die derzeitigen Weltmodelle können kurze Kontaktsequenzen (Greift, Schieben, Einfügen) verarbeiten, aber auf erweiterten mehrstufigen Montageaufgaben abschwächen.

Berechnen Sie die Kosten für die Online-Planung

Bei einer MPC-Pläne mit einem Weltmodell werden bei jedem Kontrollschritt Hunderte von Kandidatenbahnen ausgeführt. Für TD-MPC2 mit MPPI bedeutet dies 512 Ausführungen x 5 Schritte = 2560 Dynamikmodell-Fortschritte pro Kontrollschritt. Bei einem RTX 4090 läuft dies bei ~15Hz, was für viele Manipulationsarbeiten ausreichend ist, aber nicht für die Hochfrequenzlokomotionssteuerung ausreichend ist. Die Abbuchung der Planung (die Entfernung des Planers in eine reaktive Politik) kann 100 Hz+ erreichen, erfordert jedoch zusätzliche Ausbildung.

Wie Weltmodelle VLAs und Verbreitungsrichtlinien ergänzen

Weltmodelle sind kein Ersatz für Vision-Language-Action-Modelle (VLA) oder Diffusion-Policies.

Weltmodell + VLA: Ein VLA wie RT-2 oder Octo erzeugt Aktionen aus visuellen Beobachtungen und Sprachanweisungen. Ein Weltmodell kann als Verifikator dienen - bevor der Roboter die vorgeschlagene Aktion des VLA ausführt, simuliert das Weltmodell das Ergebnis und überprüft Sicherheitsverstöße. Wenn das vorhergesagte Ergebnis gefährlich ist (Kollision, übermäßige Kraft), kann das System die Aktion ablehnen und eine Alternative beantragen. Dies ist analog zu der Art und Weise, wie eine Schachmaschine ein Weltmodell (die Spielregeln) verwendet, um die Bewegungen des Kandidaten zu bewerten, bevor sie eine auswählen.

Weltmodell + Diffusionspolitik: Die Diffusionspolitik generiert verschiedene Aktionsbahnen durch Probenahme aus einer erlernten Verteilung. Ein Weltmodell kann diese Kandidaten durch vorhergesagte Ergebnisqualität beurteilen und die am wahrscheinlichsten erfolgreiche Bahn auswählen. Dies kombiniert die multimodalen Ausdrucksfähigkeit der Diffusionspolitik mit der zukunftsweisenden Bewertung eines Weltmodells. In der Praxis bedeutet dies, den Verstoßprozess der Diffusion Policy zu durchführen, um 8-16 Kandidatenbahn zu generieren, jedes durch das Weltmodell zu rollen und das mit der höchsten prognostizierten Belohnung auszuführen.

Weltmodell für Datenvergrößerung: Vielleicht die praktischste kurzfristige Verwendung: Trainieren Sie ein Weltmodell auf Ihren gesammelten Daten, dann verwenden Sie es, um synthetische Trainings-Episoden für eine nachgelagerte VLA oder Diffusion Policy zu erzeugen. Dies kann 3-10x Ihre effektive Datensatzgröße zu Kosten der GPU-Rechen statt zusätzlicher Datenerhebung. Die synthetischen Daten sollten mit realen Daten (typischerweise 50-80% synthetisch, 20-50% real) gemischt werden, um die Grundung zu erhalten.

Praktischer Vergleich: Dreamer v3 vs IRIS vs TD-MPC2 vs UniSim

Property Dreamer v3 IRIS TD-MPC2 UniSim
Architecture RSSM (GRU + stochastic latent) VQ-VAE + autoregressive Transformer MLP encoder + MLP dynamics Video diffusion (U-Net or DiT)
Parameters ~20M (S), ~100M (L), ~200M (XL) ~80M (base), ~300M (large) ~5M (S), ~19M (M), ~317M (L) ~1-3B
Data needs (single task) 50-200 episodes 200-500 episodes 50-200 episodes Pre-trained + 50-500 fine-tune episodes
Training GPU 1x RTX 3090 (6-24h) 1x RTX 3090 (12-48h) 1x RTX 3090 (2-12h) 8x A100 (days-weeks)
Inference speed ~50us/step (imagination) ~1ms/token ~0.1ms/step (latent rollout) ~100-200ms/frame
Primary task domains Manipulation, locomotion, games Atari, discrete-action domains Continuous control (manipulation, locomotion) Navigation, manipulation (visual)
Key strength Universal hyperparameters, robust Scaling properties, discrete tokens Fast training, flexible reward Photorealistic, broad generalization
Open-source Yes (danijar/dreamerv3) Yes (eloialonso/iris) Yes (nicklashansen/tdmpc2) No (research preview only)

Verbindung zum RCSV: Datenerhebung für Weltmodellbildung

Die Entwicklung eines guten Weltmodells beginnt mit guten Daten. Die [Daten-Sammlungsdienste] von RCSV (T0) sind so konzipiert, dass hochwertige, vielfältige, synchronisierte Flugbahndaten erstellt werden, die Weltmodelle benötigen. Unsere Sammelpipeline sorgt für eine Festfrequenz-Aufzeichnung (50Hz), eine hardware-zeitgestempelte Zustand-Aktions-Ausrichtung und eine strukturierte Variation zwischen den Episoden (randomisierte Objektpositionen, unterschiedliche Ansatzstrategien, unterschiedliche Anfangskonfigurationen).

Für Teams, die Weltmodelle trainieren, liefern wir Datensätze in Formaten, die mit Dreamer v3 (NPZ-Episoden), TD-MPC2 (HDF5) und dem HuggingFace LeRobot-Ökosystem (Parquet + Video) kompatibel sind. Jeder Datensatz umfasst proprioceptive Zustand (Gelenkpositionen, Geschwindigkeiten, Griffzustand), Multi-View RGB (Handgelenk + Oberkopfkameras bei 640x480), und kalibrierte Aktionsetiketten.

Das Vor-Training des Weltmodells profitiert insbesondere von der Datenvielfalt - Episoden, die viele verschiedene Szenarien, Objekte und Manipulationsstrategien umfassen. Für maßgeschneiderte Datenerhebungskampagnen, die sich auf die Ausbildung von Weltmodellen konzentrieren, kontaktieren Sie unser Team, um Ihre Anforderungen zu besprechen.

Verwandte Lesungen