Roboter lernen aus Video: Der Stand der Kunst im Jahr 2026

[← Blog]

Milliarden von Stunden menschlicher Manipulation existieren im Internet. Das Versprechen, diese Daten zu benutzen, um Roboter zu unterrichten, ist real - aber der Mechanismus, der tatsächlich funktioniert, unterscheidet sich von dem, was die meisten Leute erwarten, und die Lücke zwischen dem, was Video bietet und dem, was Roboter brauchen, bleibt erheblich.

Warum Video für Roboter-Lernen so ansprechend ist

Die Appell ist eine einfache Arithmetik. Die Erhebung von Roboterdemonstrationsdaten durch [Teleoperation] T5) erzeugt 30 bis 120 Episoden pro Stunde. Ein Forschungsteam mit einer Roboterstation, die 8 Stunden am Tag läuft, sammelt etwa 500 bis 1.000 Episoden pro Tag. Inzwischen erhält YouTube allein über 500 Stunden Video pro Minute. Koch-Tutorials, Zimmermann-Demonstrationen, Fabrik-Assembling-Fotomaterialien, chirurgische Verfahren - das Internet enthält Demonstrationen von im Wesentlichen jeder physischen Aufgabe, die ein Roboter ausgeführt werden könnte, in einem Maßstab, der die Roboter-native Datenerfassung nicht vergleichen kann.

Wenn Roboter direkt aus diesem Video lernen könnten, würde der Datenengehl, der physische KI begrenzt, weitgehend verschwinden. Anstatt Monate damit zu verbringen, auf spezifische Hardware spezifische Demonstrationen zu sammeln, könnten Teams ihre Modelle einfach auf die entsprechende Untermenge von Internetvideo lenken und allgemein zweckmäßige Manipulationsrichtlinien ausbilden.

Die Realität ist ab 2026 noch nuancierter. Video hat sich als enorm nützlich für das Lernen von Robotern erwiesen - aber nicht so, wie die einfache Erzählung es vorschlägt. Der Weg vom Video zum Roboterverhalten führt durch spezifische technische Ansätze, die jeweils unterschiedliche Stärken und schwere Grenzen haben.

Die drei grundlegenden Probleme

Aktionen sind nicht gekennzeichnet. Video zeigt, was passiert - eine Hand reicht eine Tasse, hebt sie auf, gießt Wasser - aber es nimmt nicht die motorischen Befehle auf, die diese Bewegungen hervorgebracht haben. Eine Roboterpolitik muss Beobachtungen auf Aktionen abzeichnen: gemeinsame Geschwindigkeiten, End-Effektor-Verlagerungen, Griffbefehle. Video liefert die Beobachtungsseite, aber nicht die Aktionsseite. Die Wiederherstellung von Aktionen aus Video erfordert die Lösung eines umgekehrten Problems, das grundsätzlich unterbestimmt ist.

** Körperunvereinbarkeit.** Die menschlichen Hände haben 27 Grad Freiheit, eine kompakte Haut, die reichhaltige taktile Rückkopplung und Kraftfähigkeiten bietet, die sich dramatisch von Robotergriffen unterscheiden. Ein menschliches Wasser, das ausgegossen wird, verwendet proprioceptive Rückkopplung aus Fingerdruck, Handgelenk-Toment und Flüssigkeitsbewegungssignale, die keinen direkten Analog auf einem parallel-Klauchgriffer auf einem 7-DOF-Arm montiert haben. Selbst wenn man perfekte Aktionsetiketten aus Videos herausziehen könnte, beschreiben diese Aktionen menschliche Motorkommandoen, nicht Robotermotorkommandoen.

Viewpoint Mismatch. Das menschliche Video wird aus einer ersten Person (egozentrisch) oder einer dritten Person erfasst, die selten mit der Platzierung der Roboterkamera übereinstimmt. Ein Roboter hat typischerweise eine Handgelenkkamera und eine oder mehrere feste Oberkameras. Die aus dem menschlichen Video gelernten visuellen Merkmale können bei der Roboter-Perspektive Beobachtungen möglicherweise nicht richtig aktiviert werden, was den direkten Übergang von visuellen Richtlinien einschränkt.

Was wirklich funktioniert: Vorübung der visuellen Darstellung

Das stärkste validierte Ergebnis des videobasierten Roboterlernens ist das Vor-Training der visuellen Darstellung. Der Ansatz: Trainieren Sie einen visuellen Encoder auf großen Mengen von menschlichen Manipulationsvideo - ohne Aktionsetiketten - und verwenden Sie die resultierenden Darstellungen, um das visuelle Rückgrat eines Roboter-Politik-Netzwerks zu initialisieren. Dies verbessert die Probeneffizienz bei der Abflüge von Robotern um 15 bis 40 Prozent.

R3M (Nair et al., 2022) hat ein ResNet auf Meta's Ego4D Datensatz egozentrischer menschlicher Videos mit einem zeitlich kontrastativen Lernziel in Kombination mit Sprachalignation vorentwickelt. Der resultierende visuelle Encoder, wenn er zur Initialisierung von Franka-Manipulation-Politiken verwendet wird, verbesserte die Probeneffizienz um 15-40% im Vergleich zu ImageNet-Vorentwicklung über mehrere Benchmark-Tätigkeiten. R3M ist einer der am häufigsten verwendeten Video-Vor-Ausbildungskodeure in der Roboter-Lernforschung.

MVP (Masked Visual Vortraining, Xiao et al., 2022) verwendet masken Autokodierung auf einer Kombination von egozentrischem Video und ImageNet-Daten. Die gelernten Darstellungen übertragen gut zu Roboterkontrollabgaben, die zeigen, dass selbstüberwachende Vor-Training auf Manipulation-relevante Video übertragen ImageNet-Funktionen für das Lernen von Roboter-Politik.

SPA (Zhu et al., 2024) erweiterte das Vor-Training-Paradigma mit räumlichen Bewusstseinszielen und produzierte Darstellungen mit besserer 3D-Razonation.

Der Mechanismus hinter diesen Ergebnissen ist gut verstanden: Das menschliche Manipulationsvideo enthält enorme Mengen an Informationen über Objekte, wie sie aussehen, wie sie sich bewegen, wenn sie gedrückt oder ergriffen werden, was eine stabile Konfiguration darstellt. Selbst ohne explizite Aktionsetiketten werden diese Informationen in den visuellen Merkmalen kodiert und werden direkt an die Roboterempfindung übertragen. Ein visueller Coder, der Tausende von Stunden Menschen gesehen hat, die Tassen greifen, weiß, wie eine greifbare Tasse aussieht, die genau die Darstellung ist, die ein Roboter braucht, der die Politik greifen kann.

Video-Sprachen-Aktionsmodelle: Die neue Grenze

Die Entstehung großer Vision-Language-Modelle (VLMs) hat einen neuen Weg für den Video-zu-Roboter-Transfer geöffnet. Video-Language-Action (VLA) Modelle kombinieren video-vorgebildete visuelle Encoder mit Sprachverständnis und Aktionsvorhersage in einer einzigen Architektur.

RT-2 (Brohan et al., 2023) zeigte, dass ein VLM, der vorab auf Internet-Skala Bild-Text-Daten ausgebildet wurde, so fein abgestimmt werden konnte, dass Roboter-Aktionen direkt ausgegeben werden konnten. RT-2 zeigte eine sinnvolle Null-Schuss-Generalisierung für neue Objekte und Anweisungen, die während der Roboter-Daten-Sammlung nicht gesehen wurden.

SuSIE (Black et al., 2023) nutzte ein Videogenerationsmodell als Subgoal Generator: Angesichts einer aktuellen Beobachtung und einer Sprachanweisung erzeugt es ein plausibles zukünftiges Bild, das den Zielzustand zeigt, dann führt eine Niedrig-Level-Politik Aktionen durch, um dieses generierte Subgoal zu erreichen. Dieser Ansatz nutzt die Fähigkeiten der Videovorhersage - auf Internetvideo ausgebildet - um eine visuelle Planung für Roboter zu ermöglichen.

UniSim (Yang et al., 2023) ging weiter und trainierte einen universellen Simulator aus Video-Daten, der vorhersehen konnte, wie sich die visuelle Welt in Reaktion auf Aktionen entwickelt. Dieses gelernte Weltmodell ermöglicht eine modell-prognosische Steuerung: Der Roboter stellt sich die Konsequenzen von Kandidatenaktionen vor, indem er sie durch das Video-Predikationsmodell ausführt und die Aktionssequenz mit dem besten vorhergesagten Ergebnis auswählt.

Diese Ansätze stellen echte Fortschritte dar, aber sie haben wichtige Grenzen. VLA-Modelle erfordern erhebliche roboterspezifische Feinschaltungsdaten, um zuverlässige Aktionen zu erzeugen. Das Videovortraining bietet visuelles Verständnis und semantisches Erdnen, nicht präzise motorische Steuerung. SuSIE und UniSim arbeiten in strukturierten Umgebungen, sind aber noch nicht robust genug für die Produktion bei Präzisionsarbeiten.

Was noch nicht funktioniert: Direkt politisches Lernen aus Internet-Video

Der Traum, eine Roboterpolitik end-to-end auf Internet-Video zu trainieren - gar keine Roboterdaten - bleibt bis 2026 unwirksam.

• Reverse Dynamics-Modelle versuchen, Video mit Pseudo-Aktionen zu kennzeichnen, indem sie die Aktion zwischen aufeinanderfolgenden Bildern vorhersagen. Die aktuellen Retargeting-Pipelines funktionieren für die grossen Armbewegungen, scheitern aber bei der feinen Fingermanipulation, die für das Roboterlernen wertvoll ist.
• DMP-Trajektorie-Fitting extrahiert Hand-Trajektorien aus Video mit Hilfe von Posen-Schätzung und passt Dynamische Bewegung Primitiv zu ihnen. Dies überträgt grobe Bewegungen, aber versagt für präzise Greifen, Einfügung oder jede Aufgabe, wo die Kontaktdynamik wichtig ist.
• Die direkt-video-konditionierten Richtlinien, die eine Videodemonstration als Eingabe nehmen und Roboteraktionen erzeugen, haben sich bei einfachen Aufgaben in kontrollierten Einstellungen vielversprechend erwiesen, aber die Sichtweise, Ausführungsform und Physiklücken noch nicht robust genug für den allgemeinen Einsatz bewältigen.

Das grundlegende Problem ist, dass Video das Aktionsüberwachungssignal fehlt, das die Roboterpolitik braucht. Visuelle Darstellungen übertragen sich gut, weil die Wahrnehmung weitgehend von der Verkörperung unabhängig ist - eine Tasse sieht wie eine Tasse aus, unabhängig davon, ob ein Mensch oder ein Roboter sie ansieht. Aber die motorische Steuerung ist tief von der Verkörperung abhängig, und Video enthält nicht die Informationen, die erforderlich sind, um diese Lücke zu überbrücken.

Vergleich der visuellen Vor-Ausbildungsschilder

Die folgende Tabelle vergleicht die wichtigsten vorgebildeten visuellen Encoder, die für die Roboterninitialisierung ab Anfang 2026 zur Verfügung stehen.

Model	Vortraining Data	Backbone	Stichprobeneffizienz Gain	Novel Object Improvement	Params
R3M	Ego4D (egocentric video)	ResNet-50	15-40%	+12-18%	25M
MVP	Ego4D + ImageNet	ViT-B/16	20-35%	+10-16%	86M
SPA	Ego4D + spatial tasks	ViT-B/16	25-40%	+14-20%	86M
DINOv2	LVD-142M (curated images)	ViT-L/14	20-35%	+15-25%	300M
SigLIP	WebLI (image-text pairs)	ViT-L/16	15-30%	+12-22%	300M
VC-1	Ego4D + ImageNet + robot video	ViT-L/16	25-45%	+15-22%	300M
ImageNet ResNet (baseline)	ImageNet-1K (classification)	ResNet-50	Baseline (0%)	Baseline (0%)	25M

Wichtige Ergebnisse: DINOv2 und VC-1 liefern die stärksten Gesamtresultate im Jahr 2026, sind aber auch die größten Modelle (300M-Parameter), die die Ableitungsgeschwindigkeit beeinflussen. R3M bleibt eine starke Wahl, wenn Ableitungslatenz wichtig ist (25M-Parameter, läuft auf CPU). SPA bietet die beste räumliche Argumentation, die für präzise Platzierungsaufgaben wichtig ist. SigLIP bietet eine Sprachausrichtung, die nützlich ist, wenn Sie später eine Fein-Tuning-Pipeline für VLA planen.

Ein gut abgestimmtes Leitfaden: Von einem vorgebildeten Encoder zur Roboterpolitik

Die Integration eines video-vorgeübten Encoder in Ihre Politik-Schulungs-Pipeline erfordert sorgfältige Entscheidungen darüber, wie viel des Encoder zu eingefrieren ist, wie man ihn mit Aktionsvorhersage kombiniert und wie man den Lernrate-Zeitplan verwaltet.

Schritt 1: Wählen Sie Ihren Encoder. Für die meisten Aufgaben der Tabelle-Manipulation bietet DINOv2 ViT-B/14 (86M Parameter) den besten Kompromiss zwischen Darstellungsqualität und Ableitungsgeschwindigkeit. Für latenzempfindliche Anwendungen (> 20 Hz-Steuerung) verwenden Sie R3M ResNet-50 (25M Parameter). Für VLA-kompatible Pipelines verwenden Sie SigLIP.

Schritt 2: Entscheiden Sie, was Sie einfrieren sollten. Drei Strategien, die von am meisten bis zum am wenigsten konservativ eingestuft sind:

• Freistellen Sie alle Encoder-Schichten. Verwenden Sie den vorgeübten Encoder als Fix-Funktions-Extraktor. Trainieren Sie nur den Richtlinien-Head (Aktionsvorhersage-Netzwerk) auf Ihren Aufgabendaten. Dies funktioniert am besten, wenn Sie weniger als 100 Demonstrationen haben.
• _Freien Sie die frühen Schichten, feinen Sie die späten Schichten._Freien Sie die ersten 75% des Encoder (die allgemeine visuelle Eigenschaften erfassen) und feinen Sie die letzten 25% zusammen mit dem Policy-Head. Dies ermöglicht es dem Encoder, sich an Ihren spezifischen Kamera-Blickwinkel und -beleuchtung anzupassen, während sich breite visuelle Kenntnisse erhalten.
• Fine-Tune alles mit niedrigem Lernrate. Trainieren Sie das gesamte Modell mit einer Lernrate von 10-100 mal niedriger für den Encoder als für den Policy Head (z.B. Encoder LR = 1e-6, Policy Head LR = 1e-4).

Schritt 3: Bearbeiten Sie die Auflösungsunvereinbarkeit. Die meisten vorgebildeten Encoder erwarten 224x224 oder 384x384 Eingabe. Roboterkameras erfassen oft mit höherer Auflösung (640x480, 1280x720). Redesidieren Sie die Eingabe, um die erwartete Auflösung des Encoders zu entsprechen. Ändern Sie nicht die Patchgröße des Encoders oder die Positionscodierung - dies entsorgt vorgebildete Informationen. Wenn Ihre Aufgabe detaillierte Auflösungen erfordert (z.B. das Lesen von kleinen Texten auf Paketen), sollten Sie die Funktionen aus mehreren Pflanzen extrahieren und nicht nach unten schahlen.

# Example: Using DINOv2 as a frozen encoder for ACT-style policy
import torch
from transformers import AutoModel, AutoImageProcessor

# Load pre-trained DINOv2
encoder = AutoModel.from_pretrained("facebook/dinov2-base")
processor = AutoImageProcessor.from_pretrained("facebook/dinov2-base")

# Freeze encoder weights
for param in encoder.parameters():
    param.requires_grad = False

# Extract features from a robot camera image
image = camera.capture_rgb()  # (480, 640, 3) numpy array
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    features = encoder(**inputs).last_hidden_state  # (1, 257, 768)
    cls_token = features[:, 0, :]  # (1, 768) -- global image feature

# Feed cls_token + proprioception to your action prediction head
obs = torch.cat([cls_token, joint_state], dim=-1)  # (1, 768+7)
action = policy_head(obs)  # (1, chunk_size, action_dim)

Vertretungsbenchmarks: Welcher Encoder für welche Aufgabe?

Nicht alle vorgeübten Coder funktionieren über Aufgabenarten hinweg gleich. Auf der Grundlage von veröffentlichten Ablationen und internen RCSV-Evaluierungen sind hier die Aufgaben-spezifischen Empfehlungen:

• Tischtop-Pick-and-Place (starre Objekte): DINOv2 ViT-B bietet die stärkste Leistung. Das selbstüberwachende Vortraining erfasst Objekts-Level-Funktionen, die direkt zur Manipulation übertragen werden. 18-25% Verbesserung gegenüber ImageNet-Basislinie.
• Verformbare Objekte (Gewebe, Lebensmittel): R3M oder VC-1 übertreffen DINOv2 bei verformbaren Aufgaben, da das zeitliche Kontrastziel im Videovortraining die Objektidynamik erfasst, die im statischen Bildvortraining verpasst wird. 20-30% Verbesserung.
• Sprachbedingte Manipulation: SigLIP bietet die stärkste Übertragung, da die vorgeübte Ausrichtung von Sprache und Sicht die Grundspracheinstructions der Politik bei visuellen Merkmalen unterstützt.
• ** Kontaktreiche Einfügungsaufgaben:** Alle visuellen Encoder bieten einen minimalen Nutzen (< 10% Verbesserung), da diese Aufgaben von proprioceptive und Kraftfeedback dominiert werden, nicht von visuellen Eigenschaften.
• Multi-Umgebungs-Generalisierung: DINOv2 und VC-1 bieten die größte OOD-Verbesserung (20-30%) weil ihre vielfältigen Vor-Training-Daten eine große visuelle Vielfalt umfassen.

Datenpipeline-Integration: vom Video-Encoder bis hin zu Politikbildung

Die Integration eines Video-Vor-Ausbildungskodeers in eine bestehende Pipeline für das Nachahmen erfordert spezifische Datenverarbeitung und -ausbildung.

# video_encoder_pipeline.py -- Integrate pre-trained encoder into IL training
import torch
from torchvision import transforms

class VideoPretrainedPipeline:
    """Pipeline for using video-pretrained encoders in IL training."""

    def __init__(self, encoder_name="dinov2_vitb14", freeze=True):
        self.encoder = torch.hub.load('facebookresearch/dinov2', encoder_name)
        self.freeze = freeze
        if freeze:
            for param in self.encoder.parameters():
                param.requires_grad = False

        # Normalization must match pre-training distribution
        self.transform = transforms.Compose([
            transforms.Resize(224),
            transforms.CenterCrop(224),
            transforms.Normalize(
                mean=[0.485, 0.456, 0.406],
                std=[0.229, 0.224, 0.225]),
        ])

    def extract_features(self, image_tensor):
        """Extract features from a single camera image.
        Args: image_tensor: (B, 3, H, W) in [0, 1]
        Returns: (B, 768) feature vector for ViT-B
        """
        x = self.transform(image_tensor)
        with torch.no_grad() if self.freeze else torch.enable_grad():
            features = self.encoder(x)  # CLS token: (B, 768)
        return features

    def build_observation(self, image, proprioception):
        """Combine visual and proprioceptive features.
        Args:
            image: (B, 3, H, W) camera image
            proprioception: (B, D) joint angles, gripper state
        Returns: (B, 768 + D) combined observation
        """
        vis_features = self.extract_features(image)
        return torch.cat([vis_features, proprioception], dim=-1)

** Kritische Implementierungsdetails:** Die Normalisationsparameter (Mittel, std) müssen genau mit den während des Vortrainings des Encoder verwendeten Werten übereinstimmen. Die Verwendung einer falschen Normalisation schlechtert die Leistung um 10-30%, da der Encoder Out-of-Distribution-Eingabe erhält. DINOv2 und R3M verwenden beide ImageNet-Normalisierungswerte. SigLIP verwendet eine andere Normalisierung - überprüfen Sie die Modellkarte, bevor Sie integrieren.

Für mehrere Kamera-Setups ist es vorzuziehen, einen Encoder pro Kamera-Ansicht zu instanzieren oder einen einzigen Encoder über Sichtungen (Gewichtsteilung) zu teilen. Gewichtsteilung ist bevorzugt: Es reduziert die Speicherverwendung und erzeugt konsistentere Funktionsräume über Sichtungen hinweg.

Bemerkenswerte Dokumente und Systeme

Für Teams, die sich auf Video-basiertes Roboterlernen stützen, sind dies die wichtigsten Referenzen für Anfang 2026:

• R3M (Meta, 2022): Egozentrisches Videovor-Training für Roboternmanipulationen. Die Basis für das visuelle Vor-Training.
• MVP (2022): Masken-Visuelles Vortraining, das Video- und Bilddaten kombiniert. Starke Alternative zu R3M mit unterschiedlicher Trainingsmethodik.
• SuSIE (2023): Video-Generation als Teilzielplanung für Robotermanipulation. Zeigt, wie Video-Vorhersage-Modelle Roboterverhalten leiten können.
• UniSim (2023): Leerter universeller Simulator aus Video. Zeigt, dass video-trainierte Weltmodelle die model-prognosische Steuerung unterstützen können.
• RT-2 (Google DeepMind, 2023): Vision-Language-Modell, das für Roboteraktionen optimiert wurde. Das VLA-Paradigma etabliert, das die aktuelle Forschung dominiert.
• GR-2 (ByteDance, 2024): Modell der Videogeneration, das für das Lernen von Roboterpolitik angepasst wurde und den SuSIE-Ansatz umfassender erweitert.
• Octo (2024): Open-Source-Generalist-Roboter-Politik mit video-vorgebildetem visuellen Rückgrat. Praktischer Ausgangspunkt für Teams, die auf VLA-Architekturen aufbauen möchten.

Aktuelle Grenzen: Was Videos Roboter nicht lehren können

Das Verständnis der harten Grenzen des videobasierten Lernens verhindert, dass Teams übermäßig in Ansätze investieren, die nicht für ihre spezifischen Aufgaben funktionieren.

• Moldation der Kraft. Video gibt keine Informationen über Griffkraft, Einfügungskraft oder Kontaktdruck. Ein Mensch, der Wasser aus einem Krug gießt, passt die Griffkraft anhand von Gewichtsänderungen, Handgelenksmoment und Flüssigkeitsflussdynamik an - von denen nichts aus Video wiederherstellbar ist.
• Propriozeptiver Rückkopplungsschleife. Die Menschen führen viele Manipulationsarbeiten mit geschlossenen Augen nach der ersten visuellen Anleitung durch - die motorische Steuerung ist propriozeptiver. Video erfasst nur das visuelle Ergebnis, nicht die propriozeptive Steuerungsschleife. Aufgaben, die von den Gelenk-Toment-Feedback, taktilen Kontakt-Sensing oder kinesthetischen Speicher (blinde Einfügung, Schrauben an ein Ziel-Toment) abhängen, gewinnen nichts aus dem Video-Vor-Training.
• Zeit- und Geschwindigkeitsprofile. Die Video-Bildschnelligkeiten (typischerweise 24-30 fps) unterbezeichnen die zeitliche Dynamik schneller Manipulationsarbeiten. Ein schneller Pick-and-Place-Zyklus, der 0,8 Sekunden dauert, erstreckt sich nur über 20-24 Bilder bei 30 fps - eine unzureichende zeitliche Auflösung, um die Geschwindigkeits- und Beschleunigungsprofile zu lernen, die eine glatte Expertenbewegung von einer ungeschickten Anfänger unterscheiden.
• Bimanuelle Koordinierung. Für Bimanuelle Aufgaben ist die genaue Timing der linker-rechten Armkoordinierung kritisch und kann nicht aus dem Video zurückgewonnen werden.

Video-Übertragungsausführung Checkliste

Für Teams, die bereit sind, Videovor-Training in ihre Pipeline zu integrieren, folgen Sie dieser praktischen Checkliste:

1. Wir wählen einen Coder auf der Grundlage Ihres Aufgabentyps (siehe Darstellungsbenchmarks oben). Standardempfehlung: DINOv2 ViT-B für allgemeine Manipulationen; R3M für latenzempfindliche Anwendungen.
2. Download vorgeübte Gewichte. Alle empfohlenen Encoder sind bei Hugging Face: T2, T3 oder aus den Originalpapierrepositorien verfügbar.
3. Einfallslösung übereinstimmen. Die Roboterkamerabilder umgestalten, um den erwarteten Einfluss des Encoders (224x224 für die meisten ViT-Modelle, 224x224 für R3M ResNet) zu entsprechen.
4. Benchmark Freeze vs. Fine-Tune-Encoder. Beginnen Sie mit einem Freeze-Encoder (schnellsten, sichersten). Wenn die Leistung nach 50+ Demoen nicht ausreicht, wechseln Sie zu teilweise Fein-Tuning der letzten 25% der Schichten.
5. Monitor-Funktionqualität. Visualisieren Sie die Aufmerksamkeitskarten (ViT) oder Aktivierungskarte (ResNet) des Encoder auf Ihren Roboterkamerabildern. Wenn der Encoder sich vor allem auf Hintergrund statt auf Aufgabenrelevante Objekte konzentriert, bietet er keine nützlichen Funktionen und Sie benötigen möglicherweise eine andere Vor-Schulungquelle oder eine aggressivere Fein-Tuning.
6. Lauft die kontrollierte Ablation aus. Vergleichen Sie immer mit dem ImageNet-Basiswert, um den tatsächlichen Nutzen für Ihre spezifische Aufgabe zu quantifizieren, bevor Sie sich auf eine komplexere Pipeline einlassen.

Praktische Implikationen für die Datenerhebung

Angesichts des Standpunkts des Feldes im Jahr 2026 bedeutet die Forschung für Teams, die Entscheidungen über die Datenerhebung treffen:

Verwenden Sie video-vorbereitete visuelle Encoder. Initialisieren Sie das visuelle Rückgrat Ihrer Politik mit R3M, SPA, MVP oder einem video-vorbereiteten Vision Transformer anstelle von ImageNet-Gewichten. Dies ist eine kostenlose 15-30% Erhebungseffizienzverbesserung, die keine zusätzliche Datenerhebung erfordert.

Still sammeln Roboter-native Demonstrationen für das Action-Learning. Video liefert die visuelle Darstellung; Roboter-Teleoperation liefert die Action-labelled Training-Daten. Dies sind komplementäre, nicht Alternativen. Ein Team, das in hochwertige Teleoperationsdaten-Sammlung investiert und Video-vorgebildete Encoder verwendet, wird ein Team, das ausschließlich auf beiden Ansätzen angewiesen ist, übertreffen.

Verbinden Sie Videovor-Training mit Datenvergrößerung. Videovor-Trained-Encoder und Datenvergrößerung sind komplementär, nicht ersetzend. Videovor-Training bietet allgemeine visuelle Darstellungen; Datenvergrößerung macht diese Darstellungen robust für bestimmte Einsatzvariationen. In RCSV-Ablationen verbessert die Kombination von DINOv2 vor-Training plus Standard-Vergrößerung die OOD-Erfolgsrate um 25-35% über die ImageNet-Baseline ohne Vergrößerung - mehr als jede einzelne Technik (15-20% jeweils).

Verwenden Sie Sprachanweisungen in Ihrer Datenerhebung. Das VLA-Paradigma beruht auf sprachbedingtem Verhalten. Wenn Sie Demonstrationen mit zugehörigen natürlichen Sprachanweisungen ("die rote Tasse hochziehen", "die Schraube ins Loch legen") sammeln, sind Ihre Daten direkt mit VLA-Feinabstimmung-Pipelines kompatibel, die eine video-trainierte Sprach-Visuelle Ausrichtung nutzen. Wenn Sie Demonstrationen ohne Sprachkennzeichnung sammeln, verlieren Sie diese Verbindung.

Bedenken Sie die Domain-spezifische Video-Kuration. Wenn Ihre Ziel-Tasks-Domain reichlich Video hat - wie Kochen, Verpackung oder Elektronik-Assembly - kann die Kuration eines Domain-spezifischen Video-Datensatzes für das Vortraining Ihres visuellen Encoder das allgemeine Vortraining übertreffen. Die visuellen Merkmale, die aus Kochvideos gelernt werden, sind für Küchenmanipulationsaufgaben relevanter als die Merkmale, die aus generischem Internetvideo gelernt werden.

Vorbereitung und Cache-Encoder-Funktionen. Für Datensätze unter 1.000 Episoden berechnen Sie die visuellen Encoder-Funktionen für jeden Frame vorbereitet und speichern Sie sie neben den Rohbildern. Dies eliminiert den Encoder-Forward-Pass während des Trainings (sparen Sie 50-80% der Trainingszeit für gefrorene Encoder) und ermöglicht eine schnelle Iteration von Aktionsvorhersagearchitekturen, ohne den visuellen Encoder erneut auszuführen. Cache-Dateien sind für ViT-B-Funktionen in der Regel 10-50 MB pro Episode (768 Dimensionen pro Bild bei 30 Fps für 30 Sekunden).

Wartet nicht auf Video-Nur-Training, um zu funktionieren. Die Lücke zwischen Video-Nur- und Video-plus-Roboter-Daten-Ansätzen ist immer noch groß. Teams, die die Datenerfassung verzögern und auf Video-Nur-Methoden warten, machen einen strategischen Fehler. Sammeln Sie jetzt echte Roboter-Daten, nutzen Sie Video-Vor-Training, um seinen Wert zu verstärken, und integrieren Sie bessere videobasierte Methoden, wenn sie verfügbar werden.

Praktische Bewertung: Wie man den Nutzen von Videos vor dem Training messen kann

Die Teams, die Video-Vor-Schulungen annehmen, sollten ihre Auswirkungen streng messen und nicht davon ausgehen, dass sie hilfreich sind.

• Kontrollierte Ablation: Trainieren Sie zwei identische Richtlinienarchitekturen auf Ihren Aufgabendaten - eine mit einem Video-Visuellen Rückgrat (R3M, SPA oder DINOv2), eine mit einem ImageNet-Visuellen Rückgrat. Beurteilen Sie auf dem gleichen Testset. Der Unterschied in der Erfolgsrate ist der zugeschreibbare Nutzen von Video-Vor-Training für Ihre spezifische Aufgabe.
• Besonderungseffizienzkurve: Beide Varianten auf 25%, 50%, 75% und 100% Ihrer Trainingsdaten trainieren.
• OOD-Evaluierung: Test beide Varianten auf ausgehaltenen Objekten und Umgebungen. Video-Vor-Behandlungskodeure zeigen typischerweise ihren größten Vorteil bei der Auswertung außerhalb der Verteilung (15-30% Verbesserung bei neuen Objekten) statt bei der Auswertung im Verteilungsbereich (5-15% Verbesserung).

Erwartete Ergebnisse auf der Grundlage von veröffentlichten und RCSV-internen Bewertungen: Bei Aufgaben der Tabellenmanipulation mit 100-300 Demonstrationen sorgt Videovor-Training für eine Verbesserung der Probeneffizienz um 15-25% (d. h. Sie benötigen 15-25% weniger Demonstrationen, um die gleiche Leistung zu erreichen) und eine absolute Verbesserung der Verallgemeinerung der neuen Objekte um 10-20%. Bei Aufgaben mit reichlich Datenreichkeit (1.000+ Demonstrationen) verringert sich die Verbesserung auf 5-10%.

Die Truppenlange: Warum Videoaktionen nicht direkt übertragen werden

Die Ausführungslücke ist der grundlegende Grund, warum das direkte Lernen von Politiken aus Internetvideo noch nicht realisiert wird.

Ein menschlicher Arm hat 7 große DOF (Schulter 3, Ellenbogen 1, Handgelenk 3) plus 27 DOF in der Hand. Ein typischer Roboterarm hat 6-7 DOF mit einem 1-DOF-Parallel-Kächelgriffer.

Grasp-Strategie-Ungleichheit. Die Menschen verwenden Fingerspitze, Power-Grip, Pinch-Grip und Dutzende anderer Handkonfigurationen austauschbar. Ein Parallel-Kächel-Grip hat genau einen Grip-Modus: Schließen der Kiefer.

Macht und Konformitätsunvereinbarkeit. Die menschliche Manipulation hängt stark von der natürlichen Konformität von Haut und Muskelgewebe ab, was eine passive Kraftanpassung ermöglicht. Robotergriffer sind steif (oder haben eine begrenzte, konstruierte Konformität). Ein Mensch nimmt eine Papiertasse mit einem sanften Druck auf, der sich automatisch an die Konformität der Tasse anpasst. Ein Roboter braucht eine explizite Kraftkontrolle, um den gleichen Effekt zu erzielen, und keine Menge an Video-Daten lehrt den Roboter über seine eigene Kraftdynamik.

Skalierungsinplikationen. Diese Ungleichheiten bedeuten, dass Video nützliche visuelle Darstellungskenntnisse (wie Objekte aussehen, wo sie sich befinden, welche Vorteile sie haben) bietet, aber keine nützliche motorische Steuerungskenntnisse (wie man Gelenke bewegt, wie viel Kraft angewendet wird, wie man Zeitpunkt koordiniert). Die praktische Grenze für den Beitrag des Videos zum Roboterlernen wird durch diese Abteilung festgelegt: Video hilft beim "Was" und "Wo" der Manipulation, aber nicht beim "Wie".

Multi-Kamera-Videoschmelzung für das Lernen von Robotern

Ein wachsendes Forschungsgebiet im Jahr 2026 ist die Verwendung mehrerer Video-Blickwinkle gleichzeitig, um das Lernen von Robotern zu verbessern. Während die meisten Video-Vor-Training verwendet, ein einzelnes Bildpunkt Daten, Roboter in der Praxis haben mehrere Kameras (Händchen, Oberkopf, Seite). Die Herausforderung ist die Ausrichtung von Darstellungen über diese Blickwinkle, so dass vor-trainierte Funktionen bleiben nützlich unabhängig von der Kamera Platzierung.

Kross-View-Kontrast-Learning bildet einen Encoder aus, um ähnliche Einbettungen für verschiedene Kameraansichten derselben Szene zu erzeugen. Dies ist besonders effektiv, wenn es mit Video-Vor-Training kombiniert wird: Vor-Training auf Ein-View-Internet-Video für allgemeine visuelle Eigenschaften, dann Fein-Tuning mit einem Cross-View-Kontrast-Ziel auf mehrkamera-Roboterdaten. Das Ergebnis ist ein visueller Coder, der visuelles Wissen im Internet-Schale überträgt und gleichzeitig robust auf die spezifische Kameraanordnung Ihres Robots zugeschnitten ist.

Camera Configuration	Typical Resolution	Frame Rate	Primary Use for Policy	Video Vortraining Benefit
Overhead (third-person)	640x480	30 fps	Spatial layout, object positions	High (matches internet video perspectives)
Wrist-mounted (eye-in-hand)	640x480	30 fps	Grasp precision, contact detection	Moderate (egocentric video data helps)
Side-angle (45-degree)	640x480	30 fps	Depth disambiguation, approach angle	High (common in cooking/tutorial videos)
Depth camera (RealSense)	640x480 + depth	30 fps	3D geometry, height estimation	Low (no depth in internet video)

Praktische Anleitung: Verwenden Sie Ihre Oberkamera mit dem vorgebildeten Video-Encoder (höchster Nutzen) und verarbeiten Sie die Handgelenkkamera mit einem separaten, kleineren Encoder oder einer fein abgestimmten Version desselben Encoder. Konzentrieren Sie die daraus resultierenden Feature-Vektoren vor dem Richtlinienkopf. Dieser Dual-Encoder-Ansatz fügt eine minimale Latenz (parallele Vorwärtspass) hinzu und maximiert gleichzeitig den Nutzen von Videovor-Training in der Kameraansicht, wo es am meisten hilft.

Domain-spezifische Videokuratur: Schritt-für-Schritt-Protokoll

Für Teams, deren Einsatzbereich über reichlich Internetvideo verfügt (Kocherei, Verpackung, Elektronikmontage, Laborarbeit), kann die Kuratierung eines domain-spezifischen Video-Datensatzes für das Encoder-Vortraining generische Modelle um 10-15% übertreffen. Hier ist das Protokoll, das RCSV für domain-spezifische Video-Kuration verwendet.

1. Definieren Sie Aufgabenrelevanten Videokategorien. Für eine Küchenmanipulation gehören die relevanten Kategorien: Koch-Tutorials, Lebensmittelbereitung, Küchenreinigung, Geschirrspülmaschine-Laden, Lebensmittel-Auspacken.
2. Source-Video von YouTube, Ego4D und domain-spezifischen Plattformen. Nutzen Sie yt-dlp, um relevante Wiedergabelisten herunterzuladen (Versicherung der Lizenzkonformität). Für Ego4D, filtern Sie nach Aktivitätsetiketten. Zielen Sie auf 500-2.000 Stunden domain-spezifischen Videos. Mehr ist besser für Vor-Training, aber sinkende Renditen in den letzten 2.000 Stunden für die meisten Domains.
3. Filter für manipulationsrelevante Segmente. Nicht alle Bilder in einem Kochvideo zeigen Manipulation. Verwenden Sie ein eigenes Handdetektionsmodell (MediaPipe Hands oder ein fein abgestimmtes YOLO), um nur Segmente zu extrahieren, in denen Hände sichtbar sind und mit Objekten in Kontakt stehen. Dies reduziert typischerweise das Gesamtvideo um 60-70% und konzentriert gleichzeitig den visuellen Inhalt, der für die Manipulation relevant ist.
4. Vor-Training mit Zeit-Kontraist-Lernen. Verwenden Sie das R3M-Training-Ziel (Zeit-Kontraist + Sprachalignation) auf Ihrem kuratierten Domainnvideo. Das Training dauert 24-72 Stunden auf 4x A100-GPUs für ein ResNet-50-Backbone auf 1.000 Stunden Video. Für ViT-B, Budget 48-96 Stunden.
5. Bewertet mit generischen Encoder* Vergleichen Sie Ihren domain-spezifischen Encoder mit DINOv2 und R3M auf einem kleinen, ausgehaltenen Satz von 50 Roboterdemonstrationen aus Ihrer Ziel-Aufgabe.

Erwartete Ergebnisse von internen Evaluationen des RCSV: Bereiche-spezifisches Vor-Training mit 800 Stunden Kochvideo verbesserte die Auswahlwirksamkeit der Küchenmanipulation im Vergleich zu der generischen R3M um 28% und im Vergleich zu DINOv2 um 12% bei 150 Roboterdemonstrationen. Die Verbesserung war am größten bei neuen Objektkategorien (Food items, die nicht im Roboter-Training-Set enthalten sind), was darauf hindeutet, dass für die Domain spezifische Video besonders starke Objekt-Kenntnisse zur Verfügung stellt.

Die Berechnung der Latenz für die Echtzeitverwendung

Video-Vor-Betriebskodeure variieren erheblich in der Ableitgeschwindigkeit, was für die Echtzeit-Roboterkontrolle wichtig ist. Eine Politik, die bei 10 Hz läuft, hat 100 ms pro Kontrollzyklus; der visuelle Encoder muss einen Vorlauf gut innerhalb dieses Budgets abschließen, um Zeit für die Aktionsvorhersage und die Kommunikationsüberschreitung zu lassen.

Encoder	Params	RTX 4090 (ms)	Jetson Orin (ms)	CPU Only (ms)	Max Control Freq
R3M (ResNet-50)	25M	3-5	8-12	25-40	25+ Hz (all platforms)
DINOv2 ViT-B/14	86M	6-10	18-25	60-90	15+ Hz (GPU required)
DINOv2 ViT-L/14	300M	15-22	40-60	180-250	10 Hz (desktop GPU only)
SigLIP ViT-L/16	300M	14-20	38-55	170-240	10 Hz (desktop GPU only)
VC-1 ViT-L/16	300M	15-22	42-58	185-260	10 Hz (desktop GPU only)

Wichtigste Erkenntnis: R3M ist der einzige Encoder, der auf einem Jetson Orin bei 20+ Hz laufen kann, was ihn zur praktischen Wahl für Edge-deployed-Roboter ohne Desktop-GPU macht. Die ViT-L-Modelle (DINOv2-L, SigLIP-L, VC-1) sind im Allgemeinen zu langsam für die Echtzeitsteuerung von anderen als Desktop-GPUs und eignen sich besser für Offline-Evaluierung oder Batchverarbeitung.

Für Teams, die die Qualität eines großen Encoder mit Rand-Inferenzgeschwindigkeiten benötigen, ist die Knowledge Destillation ein praktikabler Weg: Trainieren Sie einen kleinen Studenten-Encoder (ResNet-50 oder ViT-S) um die Ergebnisse eines großen Lehrers (DINOv2 ViT-L) auf Ihren Roboterkamera-Daten zu entsprechen. Dies erzeugt einen kompakten Encoder mit 70-85% der Darstellungsqualität des großen Modells bei 3-5x der Inferenzgeschwindigkeit. Der Destillationsprozess erfordert Ihren Roboter-Kamera-Datenbestand (mindestens 1.000+ Bilder) und 4-8 Stunden GPU-Schulung.

Zeitrepräsentationslern: Rahmen- und Clip-Level-Funktionen

Eine entscheidende architektonische Entscheidung bei der Verwendung von video-vorgebildeten Encodern ist, ob Features aus einzelnen Frames oder aus kurzen Video-Clips extrahiert werden.

Framen-Level-Funktionen verarbeiten jedes Kamerabild unabhängig vom Encoder. Dies ist die einfachste Integration: Die Politik erhält einen Feature-Vektor aus dem aktuellen Frame (und optional die vorherigen 1-3 Frames als kurze Geschichte). Die meisten eingesetzten Systeme im Jahr 2026 verwenden Frame-Level-Funktionen, weil sie mit jedem Bild-Encoder kompatibel sind und keine zeitlichen Berechnungsüberschüsse hinzufügen. R3M, DINOv2 und SigLIP produzieren alle Rahmen-Ebene-Funktionen.

Clip-Level-Funktionen verarbeiten eine kurze Reihe von Frames (typischerweise 4-16 Frames bei 5-15 fps) durch einen Video-Encoder, der zeitliche Dynamik erfasst. Modelle wie VideoMAE, TimeSformer und Hiera produzieren Funktionen, die Bewegungsinformationen kodieren - die Richtung, in der sich ein Objekt bewegt, die Phase einer Manipulationsaktion oder die Rate des Anschlusses an den Kontakt. Die Funktionen auf Clip-Level sind besonders wertvoll für Aufgaben, die dynamische Interaktionen beinhalten: das Fangen von geworfenen Objekten, das Falten von beweglichen Stoffen oder das Einfügen von Verbindungen, wo die Annäherungsbahn wichtig ist.

Der Kompromiss ist konkret: Clip-Level-Encoder benötigen 4-16x mehr Rechenleistung pro Weitergabe (Verarbeitung mehrerer Frames gegenüber einem), was die maximale Steuerfrequenz reduziert. Ein ViT-B-Video-Encoder, der 8 Frames auf einem RTX 4090 verarbeitet, dauert 40-60 ms, die Kontrolle auf 15 Hz begrenzt - marginal für kontaktreiche Aufgaben. Die DINOv2 ViT-B-Rahmen-Level-Dinov2 dauert 6-10ms auf derselben Hardware, so dass 50+ Hz-Steuerung mit Headroom für die Aktionsvorhersage möglich ist.

Praktische Empfehlung: Verwenden Sie die Funktionen auf Rahmenebene als Standard. Wechseln Sie nur zu den Funktionen auf Clip-Level, wenn Ihre Aufgabe eine dynamische Bewegung von Objekten beinhaltet, bei der die Geschwindigkeit und die Flugbahn der Objekte (nicht nur der Roboter) entscheidend sind. Für die meisten Manipulationen auf dem Tisch -- Pick-Place, Einfügung, Stapeln -- bieten die Funktionen auf Rahmenebene mit einer 3-Framm-Propriozeptiven-Historie ausreichend zeitlichen Kontext.

Übertragung von Lernstrategien: Gefroren vs. gut abgestimmte Encoders

Wenn Sie einen Video-Vor-Ausbildungskodeur ausgewählt haben, müssen Sie entscheiden, ob Sie die Codeurgewichte während der Politik-Ausbildung einfrieren oder ihnen erlauben, Ihre Roboterdaten zu optimieren.

Strategy	Robot Demos	Training Time	In-Distribution	OOD Generalisierung	Best When
Fully frozen encoder	50-200	1-2 hours	75-85%	60-75%	Limited data, need fast iteration
Frozen + linear probe, then unfreeze last 2 layers	100-300	4-8 hours	82-90%	65-80%	Moderate data, balanced in-dist/OOD
Full fine-tuning (low LR)	300-1000	12-48 hours	88-95%	55-70%	Abundant data, maximum in-dist performance
LoRA fine-tuning (rank 4-16)	100-500	3-6 hours	84-92%	62-78%	Good in-dist with OOD preservation

Die wichtigsten Erkenntnisse aus RCSV-Evaluierungen: Vollständige Feinarierung verletzt oft die OOD-Verallgemeinerung im Vergleich zu gefrorenen Encodern, wenn die Roboterdaten begrenzt sind (<200 Demo). Der Encoder überschreitet die Trainingskamera-Sichtpunkte und Objektinstanzen und verliert das breite visuelle Verständnis, das er durch das Videovor-Training erlangt hat. Die Feinarionierung von LoRA mit Rang 4-16 bietet für die meisten praktischen Szenarien die beste Balance: Sie passt den Encoder an roboterspezifische visuelle Merkmale an, ohne die allgemeinen visuellen Darstellungen zu vergesst.

Zwei-Phase-Schulungsprotokoll: Für Teams mit mehr als 200 Demonstrationen nutzen Sie einen zweistufigen Ansatz. Phase 1: Schulen Sie den Politikleiter mit einem gefrorenen Encoder für 100 Epochen, um eine starke Aktionsvorhersage zu etablieren. Phase 2: Entfroren Sie die letzten 2-4 Encoder-Schichten und setzen Sie das Training für 50-100 Epochen mit 10x niedrigerer Lernrate fort. Das Verfahren verhindert, dass das Frühgradientgeräusch die vorgebildeten Funktionen beschädigt und gleichzeitig eine spezifische Anpassung an die Aufgaben ermöglicht.

Benchmarking Ihres Encoders: Ein praktisches Evaluierungsprotokoll

Vor der Einbindung an einen spezifischen Encoder für eine Produktionsleitung führt eine strukturierte Bewertung durch, um eine datenbasierte Entscheidung zu treffen.

1. Sammeln Sie einen Kalibrierdatensatz. 50 Demonstrationen Ihrer Ziel-Aufgabe mit 5 ausgehaltenen Objekt-Instanzen (nicht in der Ausbildung verwendet).
2. Lassen Sie drei Coder-Kandidaten* Schulen Sie identische Richtlinienarchitekturen (selbe Aktionskopf, dieselben Hyperparameter) mit drei Coder-Varianten: (a) ImageNet ResNet-50 (Baseline), (b) R3M ResNet-50, (c) DINOv2 ViT-B. Messen Sie die Erfolgsrate in der Verteilung (20 Versuche) und die OOD-Erfolgsrate auf ausgehaltenen Objekten (20 Versuche).
3. Berechnen Sie die Qualitätsmesswerte der Repräsentation. Entfernen Sie die Funktionen des Encoder für 100 Trainingsbilder und berechnen Sie (a) die Funktionsvarianz (höher = informativer), (b) die Genauigkeit der Nachbars-Aufnahme für die Objektidentität (höher = besseres Objektverständnis), (c) die Genauigkeit der linearen Sonde für Aufgabenrelevante Attribute (Objektposition, Griffzustand).
4. Messen Sie die Ableitungsschwelle. Zeit, die der Encoder mit der Batchgröße Ihrer Bereitstellungshardware (nicht Ihrer Trainings-GPU) weiterleitet. 1. Stellen Sie sicher, dass er in Ihrem Steuerungszyklusbudget mit mindestens 30% Platz für Aktionsvorhersage und Kommunikation passt.
5. Töten Sie die Entscheidung. Wenn der video-vorgebildete Encoder (R3M oder DINOv2) bei der OOD-Evaluierung nicht die ImageNet-Baseline um mindestens 5% übertrifft, kann der einfachere ImageNet-Coder für die Einfachheit der Bereitstellung bevorzugt sein.

Der neue Ansatz: Video als Weltmodell

Die zukunftsweisendste Nutzung von Video im Roboterlernen geht über das Vor-Training der Repräsentation bis hin zum Weltmodellieren hinaus. Wenn diese Modelle auf Aktionen (oder sprachliche Beschreibungen von Aktionen) abhängen, können sie voraussagen, was als nächstes passieren wird - und effektiv einen gelernten Physik-Simulator bieten.

Das hat drei konkrete Anwendungen für das Roboterlernen im Jahr 2026:

• ** Datenvergrößerung:** Verwenden Sie ein Video-Generierungsmodell, um plausible visuelle Bahnen für Objektskonfigurationen zu synthetisieren, die nicht in Ihren realen Daten vorhanden sind. Die generierten Bahnen liefern keine genauen Aktionsetiketten, können jedoch die visuelle Vielfalt Ihrer Trainingsdaten erhöhen. Frühe Experimente zeigen eine Verallgemeinerung von 5-10% bei der videogenerierten Vergrößerung.
• Planning: Verwenden Sie das Video-Vorhersage-Modell als Vorwärtsmodell in Modell-Vorhersage-Kontrolle. Erzeugen Sie vorhergesagte visuelle Zukunftszeiten für Kandidaten-Aktionssequenzen und scoren Sie sie gegen ein Zielbild oder eine Sprachebeschreibung. Dies ermöglicht die Planung ohne ein explizites Physikmodell, obwohl aktuelle Video-Vorhersage-Modelle zu langsam sind (Sekunden pro Vorhersage) für Echtzeit-MPC bei schnellen Aufgaben.
• Lernung mit Belohnungen: Nutzen Sie die Qualität der Videovorhersage als Belohnungssignal für RL. Wenn das Verhalten eines Robots Beobachtungen erzeugt, die ein Videovorhersagungsmodell hohe Wahrscheinlichkeit zugeordnet, ist das Verhalten wahrscheinlich physisch plausibel. Dies liefert ein diches Belohnungssignal, das aus der "physikalischen Intuition" abgeleitet wird, die im Videomodell eingebettet ist.

Sora- und Videogenerationsmodelle. Großformatige Video-Generationsmodelle (OpenAI Sora, Runway Gen-3, Google Veo) können physisch plausible Manipulationssequenzen aus Textbeschreibungen erzeugen. Während die erzeugten Videos nicht genau genug für die Aktionsetiketten-Extraktion sind, können sie als zusätzliche Vor-Schuldaten für visuelle Encoder dienen. Vorläufige Experimente am RCSV zeigen, dass die Feinarierung von DINOv2 auf einer Mischung aus echtem Robotervideo und Sora-generiertem Manipulationsvideo die visuelle Darstellungsqualität bei der Abwärtspolitikbewertung um 3-7% verbessert, wahrscheinlich weil die erzeugten Videos die Vielfalt an Objektauftritten und Interaktionstypen in den Vor-Training-Daten erhöhen.

Diese Ansätze sind in der Forschungsphase im Jahr 2026 und nicht in Produktion bereit. Sie repräsentieren jedoch die Richtung, in der sich das Feld bewegt, und Teams, die heute Dateninfrastruktur bauen, sollten die Kompatibilität mit video-konditionierten Modellen als zukunftsgerichtetes Designkriterium betrachten.

Nutzen Sie die beste Methode

Die [Daten-Sammlungsdienste]T9) und [Datenplattform]T10) des RCSV werden auf dem in der Forschung unterstützten Hybridansatz basiert: Video-Visuelle Encoder, kombiniert mit hochwertigen Roboterdemonstrationsdaten für das Aktionslernen. Unsere Sammel-Pipeline exportiert Daten in Formaten, die mit den führenden VLA-Architekturen kompatibel sind, einschließlich Octo-, OpenVLA- und RT-2-Stilmodellen, wobei Sprachanweisungsetiketten standardmäßig enthalten sind.

Wenn Sie ein Roboter-Lernprojekt starten und die Probeneffizienz von Anfang an maximieren möchten, können Sie unseren [Nachahmungslernen Guide] (T11) für einen Schritt-für-Schritt-Ansatz zur Kombination von Video-Vor-Training mit gezielten Daten-Sammlungen in der realen Welt durchsuchen.

Verwandte Lesungen

• [Offene X-Body: Der Roboter Datensatz, der alles verändert hat]
• [Ausbildungsschulden für Roboter: Von der Demonstration bis zur Bereitstellung]
• [Skalierungsgesetze für Roboterlernen: Was wissen wir in 2026]
• [ACT vs. Diffusion Policy: Wann welche zu verwenden]
• [Roboterpolitik: Warum Ihr Roboter bei neuen Objekten versagt]
• RCSV Datenerhebungdienste

Kombinieren Sie Videovor-Training mit hochwertigen Demonstrationen

Die Plattform des RCSV unterstützt video-vorgebildete Encoder mit hochwertigen Teleoperationsdaten für maximale Probeneffizienz.

[Lesen Sie den Lehrbuch zum Nachbilden]