Roboterpolitik: Warum es schwierig ist und was funktioniert 2026

Ihre Politik erreicht 90% Erfolg bei den Trainingsobjekten. Sie bringen eine neue Tasse ein, ändern die Beleuchtung, bewegen den Tisch sechs Zoll nach links - und die Leistung sinkt auf 30%. Das ist das Verallgemeinerungsproblem, und es bleibt die zentrale Herausforderung zwischen Robotern lernen im Labor und Robotern lernen in der realen Welt.

Was allgemeine Verständnisse eigentlich bedeuten

Eine Roboterpolitik verallgemeint sich, wenn sie eine Aufgabe unter Bedingungen, die nicht in ihren Trainingsdaten vorhanden sind, erfolgreich ausführt. Eine allgemeinbildende Politik hat das Aufgabenkonzept gelernt - den Behälter abholen, die Flüssigkeit gießen, den Stecker einfügen - und kann dieses Konzept über die Variationen in Objektähnlichkeit, Position, Beleuchtung und sogar Aufgabenzusammensetzung hinaus ausführen.

Die Verallgemeinerung ist nicht binär. Sie existiert auf einem Spektrum, und verschiedene Achsen der Verallgemeinerung stellen unterschiedliche Schwierigkeitsgrade dar. Eine Politik kann sich über die Objektfarben (einfach) gut verallgemeinern, aber über die Objektformen (hart) versagen. Sie kann neue Positionen in ihrem Trainingsbereich (moderate) bearbeiten, aber in einem neuen Raum (sehr hart) völlig versagen. Das Verständnis, welche Achsen der Verallgemeinerung für Ihr Einsatzsszenario wichtig sind, ist der erste Schritt zur Gestaltung einer Datenerfassungstrategie, die sie anspricht.

Art der Verteilungsschicht

Visuelle Verteilungsschicht tritt auf, wenn sich das visuelle Aussehen der Einsatzumgebung von der Ausbildung unterscheidet. Dies umfasst Änderungen in der Beleuchtung (warme Oberkopf gegen kühles Tageslicht gegen gemischte), das Aussehen von Objekten (verschiedene Marken von Tassen, verschiedene Farben, verschiedene Materialreflektierung), Hintergrundunordnung (saubere Arbeitsfläche gegen unordentliches Schreibtisch) und Kamera-Eigenschaften (kleine Unterschiede in Position, Exposition, weiße Balance). Die visuelle Verschiebung ist die häufigste Ursache für Verallgemeinerungsversagen in visionbasierten Politiken und die am besten anfällige für datenbezogene Lösungen.

Fisische Verteilungsschicht tritt auf, wenn sich die physikalischen Eigenschaften von Objekten oder der Umwelt von der Ausbildung unterscheiden. Eine Politik, die auf starren Kunststoffbechern ausgebildet wird, kann auf weichen Papierbechern fehlen, weil die Greifdynamik unterschiedlich ist. Eine Politik, die auf einer glatten Tischoberfläche ausgebildet wird, kann auf einer texturisierten Tischdecke fehlen, weil sich die Reibungskoeffizienten ändern. Die physische Verschiebung ist schwieriger durch die Datenvergrößerung allein zu bewältigen, weil die Politik verschiedene physische Strategien erlernen muss, nicht nur verschiedene visuelle Muster erkennen.

Task Variation tritt auf, wenn sich das Ziel oder die Struktur der Aufgabe ändert. Eine Politik, die zur Platzierung von Objekten an einem bestimmten Zielort ausgebildet ist, kann sich nicht auf die Platzierung von Objekten an willkürlichen Standorten, die durch Sprache oder Gesten angegeben werden, verallgemeinern. Eine Politik, die auf ein einzelnes Objekt-Pick-and-Place ausgebildet ist, kann versagen, wenn sie von Szenen mit mehreren Objekten gefragt wird, die Sequenzierungsentscheidungen erfordern. Die Aufgabenvariation ist die härteste Form der Verallgemeinerung und erfordert typischerweise entweder Sprachkonditionierung oder explizite Aufgabenzerfallsarchitekturen.

Lösungen, die funktionieren: Daten-Side-Ansätze

Verschiedene Datensätze sind der zuverlässigste Ansatz zur Verbesserung der Verallgemeinerung. Für die Objektvielfalt sammeln Sie Demonstrationen mit mindestens 10-20 verschiedenen Instanzen jeder Zielobjektkategorie, unterschiedlicher Größe, Farbe, Material und Marke. Für die Umweltvielfalt ändern Sie die Lichtbedingungen (mindestens 3 verschiedene Einstellungen), die Tischoberflächen und die Hintergrundverschmutzung während der Sammelstunden.

** Datenvergrößerung** ergänzt die reale Vielfalt mit synthetisch generierten Variationen. Standard-visuelle Vergrößerung - Farbschmerzen, zufällige Ernte, Helligkeits- und Kontrastvariation, Gauss-Verschmutzung - verbessern die Robustheit bei der Beleuchtung und Kameravariation. Durch fortschrittliche Augmentationen mit generativen Modellen, um neue Texturen auf Objekte zu kleben oder Hintergründe zu ändern, kann die effektive Vielfalt eines Datensatzes ohne zusätzliche Demonstrationen erweitert werden. Verwenden Sie Augmentation, um die visuelle Vielfalt zu erweitern, nicht um die Sammlung mit verschiedenen Objekten zu vermeiden.

Domain-Randomisierung ist der simulationsseitige Analog der Datendiversifizierung. Durch die Randomisierung visueller und physischer Parameter während des [sim-to-real-training] ((T2) lernen die Richtlinien Features, die in der spezifischen Simulationskonfiguration unveränderlich sind und daher robuster sind, wenn sie auf echte Hardware übertragen werden. Eine effektive Domänenrandomisierung erfordert die Randomisierung der richtigen Parameter in den richtigen Bereichen -- Unterrandomisierung lässt Lücken, die die reale Welt nutzt, während Überrandomisierung das Lernproblem unnötig schwierig macht.

Wirkungsvolle Lösungen: Architektur-Sehinsicht

Sprachkonditionierung ermöglicht es einer Politik, sich über Aufgabenvariationen hinweg zu verallgemeinern, indem sie natürliche Sprachanweisungen als Eingabe akzeptiert. Eine sprachbedingte Politik, die auf "die rote Tasse hochziehen" und "die blaue Schüssel hochziehen" basiert, kann oft auf "die grüne Flasche hochnehmen" verallgemeinert werden - auch wenn grüne Flaschen während des Trainings nie gesehen wurden - weil die Vision-Language-Erdung ein semantisches Verständnis dafür bietet, was man suchen sollte. Modelle wie RT-2, OpenVLA und Octo haben eine sinnvolle, sprachlich bedingte Verallgemeinerung bei Manipulationsarbeiten gezeigt.

Die Rückgratstrukturen des Grundmodells bieten visuelle und semantische Darstellungen, die auf Daten im Internet-Skala ausgebildet wurden, und geben Politiken Zugang zu weit mehr visuellem Wissen als ein Roboter-Daten-Set bieten könnte. Die Verwendung eines [video-pre-trained visual encoder] (R3M, SPA, DINOv2) oder eines vortrainierten Vision-Language-Modells (CLIP, SigLIP) als politisches Rückgrat verbessert die Verallgemeinerung zu neuen Objekten konsequent, weil das Rückgrat bereits gelernt hat, Tausende von Objektkategorien zu erkennen.

Diffusion Policy Architekturen modellieren die Aktionsverteilung als einen verweigerenden Diffusionsprozess, der natürlich multimodalen Aktionsverteilungen behandelt - die gleiche Beobachtung kann zu mehreren gültigen Aktionen führen. Diese architektonische Wahl verbessert die Verallgemeinerung, da sich die Politik nicht zur Verpflichtung einer einzigen Aktionsstrategie verpflichtet und verschiedene Ansätze zur gleichen Aufgabe darstellen kann. Die Diffusionspolitik hat eine besonders starke Verallgemeinerung bei Aufgaben gezeigt, bei denen mehrere Strategie für die Verwirklichung von Aufgaben gültig sind.

Was sich eigentlich gut allgemein macht (und was nicht)

Lokomotion verallgemeint sich gut. Die Politik der Bewegung, des Laufens und der Überquerung von großer Fläche überträgt zuverlässig über Oberflächentyp, Pisten und geringfügige Geländemänderungen hinweg. Dies liegt daran, dass die Lokomotion vor allem von der Dynamik (Gemensmoment, Bodenreaktionskräfte) abhängt, anstatt von der feinen visuellen Wahrnehmung, und die Dynamik ist in den verschiedenen Umgebungen relativ konsistent. Beinbewegungsrichtlinien, die in Simulation mit Domänenrandomisierung ausgebildet sind, erreichen konsequent nahezu Simulationsleistung auf echter Hardware.

Grundlegende Fähigkeiten zur Verfassung werden leicht verallgemeinert. Die Politik der Auswahl und Verlegung von starren Objekten mit klaren Fähigkeiten zur Verfassung (Kuppen, Kisten, Werkzeuge) kann sich auf neue Objekte in ausgebildeten Kategorien verallgemeinern, insbesondere bei der Verwendung von Fundamentmodell-Rückgratknoten. Die wichtigste Voraussetzung ist eine ausreichende Objektvielfalt im Training - 10 oder mehr Instanzen pro Kategorie ist die praktische Schwelle, bei der die Verallgemeinerung zuverlässig wird.

Geschickte Manipulation verallgemeinert sich schlecht. Aufgaben, die eine präzise Fingerplatzierung, eine reorientierte Hand- oder kontaktreiche Interaktion erfordern (Pig-in-Hole, Verbindungsparierung, Werkzeugnutzung mit feiner Steuerung), bleiben schwer zu verallgemeinern. Diese Aufgaben hängen von präzisen physischen Interaktionen ab, die sich signifikant zwischen den Objektsgeometrien unterscheiden, und kleine Fehler schnellen sich schnell zusammen. Die Politik der exakteren Manipulation erfordert in der Regel spezifische Demonstrationen mit den genauen Objekten und den Umweltbedingungen des Einsatzes.

** Langhorizontaufgaben verallgemeinern sich schlecht.** Aufgaben, die aus vielen aufeinanderfolgenden Schritten bestehen, verursachen Verallgemeinungsfehler - eine 5%-Fehlerwahrscheinlichkeit pro Schritt führt zu 40%-Task-Fehlerwahrscheinlichkeit über 10 Schritte.

Die allgemeine Verteilung zu messen: richtig zu machen

Die Verallgemeinerung sollte explizit durch ein strukturiertes Bewertungsprotokoll gemessen werden, nicht aus der Leistung im Vertrieb abgeleitet.

• Haltete Objekte: Reservieren Sie 5-10 Objekteinstance pro Kategorie, die während des Trainings nie verwendet werden.
• Ausgelassenen Positionen: Bewertet bei den Ausgangspositionen der Objekte, die nicht in die Ausbildungsverteilung enthalten sind, einschließlich Positionen am Rande des Arbeitsplatzes und Orientierungen, die im Training selten waren.
• Ausgelassenen Umgebungen: Wenn möglich, bewerten Sie in einem physischen Aufbau, der sich von der Trainings-Einstellung unterscheidet - unterschiedliche Tabelle, unterschiedliche Beleuchtung, unterschiedliche Hintergrund.

Berichte die Erfolgsraten für Vertrieb und Vertriebslosigkeit separat. Eine Politik, die 85% der Vertriebslosigkeit erreicht, aber nur 40% der Vertriebslosigkeit erreicht, hat eine begrenzte Verallgemeinerung und benötigt vielfältige Schulungsdaten oder ein leistungsfähigeres Rückgrat. Eine Politik, die 80% der Vertriebslosigkeit und 70% der Vertriebslosigkeit erreicht, hat eine starke Verallgemeinerung und ist wahrscheinlich einsetzbar.

Vermeiden Sie den üblichen Fehler, die Verallgemeinerung zu bewerten, indem Sie zufällige Episoden aus derselben Verteilung wie das Training ausführen. Dies misst Interpolation, nicht Verallgemeinerung.

Verallgemeinerungstaxonomie: Die vier Achsen

Die Allgemeinheit im Roboterlernen ist nicht eine einzige Fähigkeit.

Axis	What Varies	Difficulty	Primary Mitigation
Object generalization	Color, shape, size, material within a category	Moderate	15+ diverse object instances in training
Scene generalization	Lighting, background, table surface, camera angle	Moderate-Hard	3+ environments + aggressive augmentation
Task generalization	Novel task instructions, new goal configurations	Hard	Language conditioning + multi-task training
Robot generalization	Different robot embodiment, kinematics, gripper type	Very Hard	Cross-embodiment pretraining (OXE)

Die meisten praktischen Einsätze erfordern gleichzeitig Objekt- und Scene-Verallgemeinerung. Aufgabe- und Roboterverallgemeinerung sind in erster Linie Forschungsgrenzen im Jahr 2026 - die von Grundmodellen behandelt werden, aber noch nicht zuverlässig genug für die Produktion ohne Per-Task-Feinabstimmung.

Warum Politik nicht verallgemeinert wird: Covariate Shift und Distribution Mismatch

Die mathematische Erklärung für den Versagen der Verallgemeinerung ist die Kovariate-Verlagerung. Eine Politik, die auf die Verteilung P_train ausgebildet ist, trifft die Verteilung P_deploy bei der Bereitstellung. Wenn Bilder aus der Bereitstellung umgebung aktivieren, sind die Funktionen des neuronalen Netzwerks anders als die Trainingsbilder - sogar subtil - die Handlungsprozesse der Politik werden unzuverlässig. Die Gefahr besteht darin, daß dieses Scheitern schweigt: Die Politik führt zu selbstbewussten und falschen Handlungen, ohne dass ein internes Signal darauf hinweist, daß sie sich extrapoliert.

Drei spezifische Mechanismen machen die Covariate-Schicht bei der Roboter-Lernung schlechter als bei der Standardcomputer-Vision:

• Verbundfehler. Ein Klassifikator, der ein Bild in Isolation falsch markiert, hat einen begrenzten Fehler. Eine Politik, die eine falsche Aktion erzeugt, ändert die nächste Beobachtung und schiebt sie möglicherweise weiter von der Trainingsverteilung entfernt. Fehler verschmelzen sich geometrisch über die Bahn.
• Action Distribution Enanglement. Politiken lernen nicht nur "Was zu tun ist", sondern "Was aus diesem spezifischen visuellen Kontext zu tun ist". Wenn sich der visuelle Kontext verändert, kann sich auch das Konzept der richtigen Aktion ändern (eine neue Objektform erfordert eine andere Grapp-Strategie).
• Niedriges Datenregime. Roboter-Datensätze sind um mehr als Computer-Vision-Datensätze. Eine auf 500 Demonstrationen ausgebildete Politik hat viel weniger visuelle Kontexte gesehen als ein ImageNet- ausgebildeter Klassifikator Bilder gesehen hat, so dass sein Feature-Raum für neue Eingaben brüchlicher ist.

Benchmark-Ergebnisse: RoboAgent und RT-2-X

Zwei Benchmarks liefern die besten quantitativen Beweise für die Funktionsweise der Verallgemeinerung ab 2026:

RoboAgent (Bharadhwaj et al., 2024) zeigte, dass eine einzige Politik, die auf 12 unterschiedliche Aufgaben mit aggressiver Datenvergrößerung (semantischer Vergrößerung mit Bildgenerierungszentren zur Ersetzung von Objekttexturen) ausgebildet wurde, 68% Erfolg bei völlig neuen Objekten und 55% Erfolg in neuen Umgebungen erzielte, verglichen mit 40% und 25% bei Standardverhaltenskloning. Die wichtigste Erkenntnis: die synthetische Erweiterung der visuellen Vielfalt durch generative Erweiterung ist fast so effektiv wie die Erhebung von echten Daten aus zusätzlichen Umgebungen.

RT-2-X (aus dem [Open X-Embodiment] (T6) Projekt) Trainiert auf Daten von 22 verschiedenen Roboter-Einführungen übertrafen Einzelroboter-Spezialisten-Politiken um etwa 50% bei ausgeführten Verallgemeinerungsarbeiten. Dies ist der stärkste Beweis dafür, dass [Datenvielfalt (nicht Volumen) die Verallgemeinerung antreibt]T7).

Techniken: Datenvergrößerung und Domänenrandomisierung

Eine praktische Erhöhungsschwelle für die Manipulationspolitik (diese Erhöhungen werden während der Ausbildung angewendet, nicht zur Datenerhebung):

# PyTorch augmentation pipeline for robot policy training
import torchvision.transforms as T

train_transform = T.Compose([
    T.RandomResizedCrop(224, scale=(0.85, 1.0)),  # position invariance
    T.ColorJitter(
        brightness=0.3,
        contrast=0.3,
        saturation=0.3,
        hue=0.1           # conservative hue -- too much breaks object ID
    ),
    T.GaussianBlur(kernel_size=5, sigma=(0.1, 2.0)),
    T.RandomAdjustSharpness(sharpness_factor=2, p=0.3),
    T.ToTensor(),
    T.Normalize(mean=[0.485, 0.456, 0.406],
                std=[0.229, 0.224, 0.225]),
])

Erwartete Verbesserungen aus diesem Vergrößerungstack: 8-15% bei neuen Objektebewertungen, 10-20% bei neuen Umgebungsbewertungen, mit null zusätzlichen Datenerhebungskosten. Diese Zahlen sind über ACT, Diffusion Policy und VLA-Feinabstimmung hinweg konsistent.

Techniken: Grundmodell Fein-Tuning

Das vorgebildete Grundmodell (Octo, OpenVLA, pi0) ist die effektivste architektonische Wahl für die Verbesserung der Verallgemeinerung im Jahr 2026. Das vorgebildete Rückgrat hat visuelle Darstellungen von Millionen von Bildern aus Tausenden von Objektkategorien, Lichtbedingungen und Umgebungen gelernt. Ihre Aufgaben-spezifischen Fein-Tuning-Daten müssen dann nur die Aktionskartierung lehren, nicht das visuelle Verständnis.

Praktische Feinstuning-Ansatz: Einfrieren des visuellen Encoder für die ersten 50% der Trainingszeiten (um die vorgebildeten Darstellungen zu erhalten), dann einfrieren mit einer niedrigen Lernrate (1/10 der Politik-Learning-Rate) für die verbleibenden Epochen.

Quantitative Generalisierung Ergebnisse nach Architektur

Wie viel Verallgemeinerungsverbesserung bietet jede Technik? Die folgende Tabelle stellt die Ergebnisse von veröffentlichten Arbeiten und RCSV-Evaluierungen auf einem standardisierten Standardscharakter (10 Ausbildungsobjekte, 10 ausgehaltenen Objekte, 200 Ausbildungsdemos) zusammen.

Method	In-Distribution	Novel Objects	Novel Scene	Novel Object + Scene
ACT (ResNet, no augmentation)	85%	42%	35%	22%
ACT + augmentation	83%	55%	48%	35%
ACT + DINOv2 backbone	88%	65%	55%	45%
Diffusion Policy + augmentation	86%	58%	50%	38%
Octo (fine-tuned, 200 demos)	87%	68%	58%	48%
OpenVLA (fine-tuned, 200 demos)	90%	72%	60%	52%
RoboAgent (semantic aug + 12 tasks)	88%	75%	62%	55%

Schlüssel: (1) Datenvergrößerung bietet eine Verbesserung von 10-15% bei neuen Objekten mit Null-Sammlungskosten - jedes Team sollte sie verwenden. (2) Das Fundamentmodell-Rückgrat (DINOv2, Octo, OpenVLA) bietet zusätzlich zu der Vergrößerung eine weitere Verbesserung von 10-15%. (3) Mehrfachtraining mit semantischer Vergrößerung (RoboAgent-Ansatz) erzielt die beste allgemeine Verallgemeinerung. (4) Die härteste Achse - neues Objekt in Kombination mit neuartiger Szene - bleibt bei allen Methoden unter 55%, was die grundlegende Schwierigkeit des Problems unterstreicht.

Einbau von Entfernung als OOD-Detektor

Eine praktische Technik zur Erkennung, wenn eine Einsatzbeobachtung nicht verteilt ist: Berechnen Sie den Cosinus-Abstand zwischen der visuellen Einbettung der Beobachtung und dem Zentroid der Trainings-Einbettungen.

# ood_detector.py -- Detect out-of-distribution observations
import torch
import numpy as np
from scipy.spatial.distance import cosine

class OODDetector:
    """Flag observations that are far from the training distribution."""

    def __init__(self, encoder, training_embeddings, threshold_percentile=95):
        self.encoder = encoder
        # Compute centroid and distances for threshold calibration
        self.centroid = training_embeddings.mean(axis=0)
        train_distances = [cosine(e, self.centroid) for e in training_embeddings]
        self.threshold = np.percentile(train_distances, threshold_percentile)

    def is_ood(self, observation_image):
        with torch.no_grad():
            embedding = self.encoder(observation_image).cpu().numpy()
        distance = cosine(embedding, self.centroid)
        return distance > self.threshold, distance

    def get_confidence(self, observation_image):
        """Return 0-1 confidence score (1 = in-distribution)."""
        _, distance = self.is_ood(observation_image)
        return max(0.0, 1.0 - distance / (2 * self.threshold))

In der Praxis erfasst dieser Detektor 70-85% der Verallgemeinerungsfehler, bevor sie auftreten. Wenn eine OOD-Flagge angehoben wird, kann das System pausieren, menschliche Anleitung anfordern oder zu einem konservativen klassischen Controller zurückfallen. Dies ist besonders wertvoll bei Produktionsimplementationen, in denen stille Fehler teuer sind.

Die Übertragung von Leib und Leib: Was OXE uns gelehrt hat

Das [Open X-Embodiment] (T8) Projekt lieferte die überzeugendsten Beweise dafür, dass das Training auf verschiedenen Roboterdaten die Verallgemeinerung verbessert, auch wenn der Einsatzroboter nicht im Trainingssatz war. RT-2-X, das auf Daten von 22 Roboter-Einführungen ausgebildet wurde, verbesserte die Verallgemeinerung der neuen Aufgaben um 50% im Vergleich zu den Einroboter-Baselinen.

Der Mechanismus ist nicht, dass das Modell lernt, alle 22 Roboter gleichzeitig zu steuern. Vielmehr zwingt das Kreuzkörpertraining den visuellen Encoder dazu, Merkmale zu lernen, die für Manipulations Aufgaben im Allgemeinen relevant sind (Objektidentität, räumliche Beziehungen, Erfassen von Angeboten), anstatt Merkmale, die spezifisch für den Kamerablick oder die Armgeometrie eines Robots sind. Diese visuellen Funktionen für allgemeine Zwecke werden auf neue Roboter übertragen, weil sie eine Aufgabenrelevante Struktur kodieren.

Die Ergebnisse der Studie zeigen, dass die Ergebnisse der Studie zu einer Reihe von neuen Projekten und Projekten, die in den letzten Jahren durchgeführt wurden, zu einer Reihe von Projekten führen, die die Entwicklung von Projekten und Projekten ermöglichen. Das vorgebildete Modell bietet effektiv "freie" Datenvielfalt von Ausführungsformen, von denen Sie nie gesammelt haben.

Raumverallgemeinerung: Position und Orientierung Unveränderlichkeit

Die meisten IL-Fehler, die einer "schlechten Verallgemeinerung" zugeschrieben werden, sind tatsächlich Fehler der räumlichen Abdeckung in den Trainingsdaten.

Work-Raum-Abdeckungsanforderungen. Bei einem typischen 40cm x 40cm-Tisch-Work-Raum sollten Trainingsdemonstrationen ein Gitter mit mindestens 5cm Abstand abdecken - d.h. mindestens 64 unterschiedliche Startpositionen für das Zielobjekt. Das Sammelprotokoll des RCSV verwendet markierte Gridpositionen, um eine einheitliche räumliche Abdeckung zu gewährleisten.

Orientierungsvielfalt. Für Objekte mit rotativer Asymmetrie (Tools, Flaschen mit Etiketten, elektronische Komponenten) sind mindestens 8 Orientierungen pro Position (alle 45 Grad um die vertikale Achse) zu berücksichtigen. Die Nichtdeckung von Orientierungen ist der häufigste Fehler bei der Datenerhebung und führt zu einer Politik, die auf "einfachen" Orientierungen arbeitet und auf anderen völlig fehlt.

Höhenvariation. Wenn Sie Objekte in unterschiedlicher Höhe (stapeltes Element, Regale) einsetzen, schließen Sie auch Höhenvariation in das Training ein. Eine bei einer einzigen Tischhöhe ausgebildete Politik wird versagen, wenn der Tisch 2 cm höher oder niedriger ist, da sich die visuelle Skala des Objekts ändert und die erforderliche Annäherungsbahn verschiebt.

Kreuzkörperverallgemeinerung: Übertragung zwischen Robotern

Ein besonderer Fall der Verallgemeinerung ist die Bereitstellung einer Politik, die auf einer Roboterverkörperung auf einen anderen Roboter ausgebildet ist. Dies ist das Versprechen von Fundamentmodellen wie Octo und OpenVLA, und der Grad, in dem es funktioniert, hängt von der Ähnlichkeit zwischen Quell- und Zielverkörperungen ab.

Transfer Scenario	Source	Target	Zero-Shot-Übertragung	50-Demo Fine-Tune
Same class, same gripper	WidowX 250	ViperX 300	35-50%	75-85%
Same class, different gripper	Franka + parallel jaw	Franka + Robotiq 2F	15-25%	65-78%
Different class, same action space	Franka	OpenArm 1	10-20%	60-75%
Different action space	6-DOF arm	Bimanual (ALOHA)	0-5%	40-55%

Praktische Implikationen für RCSV-Kunden: Wenn Sie von einer Roboterplattform zur anderen wechseln (z.B. beim Upgrade von einer WidowX zu einer OpenArm 1), werden Ihre bestehenden Daten nicht verschwendet. Der auf WidowX-Daten ausgebildete visuelle Encoder bietet immer noch nützliche Objekt- und Sceneverständnis. Sammeln Sie 50-100 Demonstrationen auf der neuen Plattform und passen Sie den Aktionskopf an, während der visuelle Encoder eingefroren bleibt. Dies erholt in der Regel 70-85% der Leistung der ursprünglichen Politik mit einer minimalen neuen Datenerhebung, verglichen mit 40-55% für das Training von Grund auf die gleichen 50-100 Demo.

Die wichtigste Erkenntnis: visuelle Darstellungen übertragen sich gut über Ausführungsformen (der vorgeübte visuelle Encoder sieht die gleichen Objekte unabhängig vom Roboter), aber die Aktionspolitik übertragen sich schlecht, wenn der Aktionsraum unterschiedlich ist. Der visuelle Encoder aus dem Kreuz-Einführung-Vor-Training bietet den Verallgemeinerungsvorteil; der Aktionskopf muss angepasst werden.

Häufige Fehler und gezielte Reparaturen

Bei Fehlern der Debug-Verallgemeinerung zeigt die Identifizierung des spezifischen Fehlermusters auf die richtige Lösung.

• Muster: Politik nähert sich aber verfehlt neue Objekte. Der visuelle Encoder erkennt das Objekt, aber die Grappestrategie ist für die neue Geometrie falsch.
• Muster: Politik ignoriert das Objekt in neuen Umgebungen. Hintergrundvisuelle Merkmale dominieren und die Politik hat gelernt, das Aufgabenverhalten mit Hintergrund-Signale zu verbinden, anstatt mit Objekteigenschaften.
• Muster: Politik funktioniert morgens, aber versagt am Nachmittag. Die Politik ist empfindlich auf Lichtänderungen (Fensterlichtwinkel verschiebt sich tagsüber).
• Muster: Die Richtlinie funktioniert für 80% der ausgehaltenen Objekte, aber fehlt konsequent bei transparenten/reflektiven Objekten. Transparente und reflektierende Objekte erzeugen grundsätzlich unterschiedliche visuelle Eigenschaften als untransparente Objekte.
• Muster: Politik gelingt im Zentrum des Arbeitsplatzes, scheitert aber an den Rändern. Positionsgeneralisierung ist begrenzt.

Datenvergrößerung gegenüber realer Vielfalt: Kosten-Nutzen-Analyse

Die Datenvergrößerung ist kostenlos (nur für die Berechnung).

Generalisierung Axis	Augmentation Effective?	Real Diversity Needed?	Recommendation
Lighting variation	Yes (brightness, contrast jitter)	Helpful but not required	Augment first; collect in 2-3 lighting setups if augment insufficient
Object color/texture	Partially (color jitter helps)	Yes, for material changes	Augment for color; collect for material/texture variation
Object shape/geometry	No	Yes, essential	Collect with 15+ geometrically diverse objects
Object position	Partially (random crop)	Yes, for workspace coverage	Collect with full workspace grid; augment for sub-grid interpolation
Background/environment	Partially (background randomization)	Yes, for real robustness	Augment + collect in 3+ environments
Grasp strategy variation	No	Yes, essential	Collect with diverse objects that require different grasp approaches

Die Faustregel: Augmentation bearbeitet visuelle Variationen (Licht, Farbe, Kamerawinkel) effektiv. Für physische Variationen (Objektgeometrie, Greifstrategie, Kontaktdynamik) ist eine reale Datenerhebung erforderlich. Ein gut erweitertes Datensatz von 200 verschiedenen Demos übertrifft einen nicht erweiterten Datensatz von 500 Demos auf visuelle Verallgemeinerung, aber keine Menge an Erweiterung ersetzt die physische Objektvielfalt.

Verallgemeinerung unter Verteilungsschicht: Fallstudien in der realen Welt

Das Verständnis, wie die Richtlinien unter bestimmten Arten von Verteilungsschichten scheitern, hilft Teams, ihre Datenerfassung- und Verstärkungsstrategien zu priorisieren.

Scenario	Training Conditions	Deployment Change	Success Rate Drop	Fix Applied
Warehouse bin picking	Lab with fluorescent lighting, 15 SKUs	Warehouse with skylights (variable sunlight), 50 SKUs	92% to 54%	Aggressive color jitter augmentation + 100 on-site demos restored to 82%
Lab sample handling	Standard test tubes, white background	Colored reagent tubes, patterned rack	88% to 41%	DINOv2 backbone (replacing ResNet) + 50 tube demos restored to 79%
Kitchen manipulation	RCSV facility kitchen, 20 utensils	Customer kitchen, different counter color, different utensil set	85% to 62%	Multi-environment training (3 kitchens) during initial collection restored to 78%
Electronics assembly	Rev A board design, fixed fixture	Rev B board (shifted connector position by 3mm)	91% to 12%	30 new demos on Rev B + random position offset augmentation restored to 87%
Retail shelf stocking	Mock shelf, 10 product types	Real store shelf with price tags, adjacent products	83% to 55%	Background randomization + OpenVLA fine-tune (language conditioning) restored to 76%

Die Größe des Leistungsrückgangs hängt davon ab, wie unterschiedlich die Einsatzbedingungen von der Ausbildung sind, und die Lösung beinhaltet immer eine Kombination aus (1) besseren visuellen Darstellungen (Basis-Modell-Rückgrat), (2) Datenvergrößerung für die spezifische Variationsachse und (3) gezielte Datenerhebung vor Ort. Teams, die die Verteilung von Anfang an planen, wechseln - indem sie Diversität in ihre ursprüngliche Sammlung aufbauen - erleben kleinere Abfälle und eine schnellere Erholung.

Die Messung der Allgemeinheit: Über die Erfolgsrate hinaus

Die binäre Erfolgsrate ist die Standard-Generalisierungsmetrik, aber sie erfasst nicht alle Aspekte der Politikrobustheit.

• Gratisches Abbauungsgrad. Wenn die Politik versagt, versagt sie sicher (Stops, Rückkehr nach Hause) oder gefährlich (Klopfen von Objekten vom Tisch, Zusammenstöße mit Hindernissen)? Eine Politik mit 70% Erfolg und 25% Graziöses Versagen ist mehr einsetzbar als eine mit 80% Erfolg und 15% gefährlicher Versagen.
• Retry-Erfolgsrate. Wenn das System nach einem Versagen zurückgesetzt und erneut versucht, wie hoch ist die Erfolgsrate beim zweiten Versuch?
• Vertrauenskalibrierung. Wenn Sie einen OOD-Detektor einsetzen (siehe den oben genannten Einbaudistanzansatz), messen Sie, wie gut die Vertrauenswerte mit dem tatsächlichen Erfolg korrelieren. Ein gut kalibriertes System kann unsichere Situationen für menschliche Überprüfung markieren und Verallgemeinerungsfehler in menschliche Interventionen in der Schleife verwandeln, anstatt in stillen Fehlern.
• Verringerung der Verallgemeinerung im Laufe der Zeit. Erfolgsrate wöchentlich oder monatlich verfolgen. Allmähliche Verringerung (Beleuchtungsschwankungen mit Jahreszeiten, Hardwareverschleiß, Variationen der Objektschargen) ist der häufigste Produktionsfehlermodus und erfordert regelmäßige Datenupdates, um diese zu beheben.

Stiftungsmodellwahl für maximale Verallgemeinerung

Die Wahl hängt davon ab, welche Achse der Verallgemeinerung für Ihre Bereitstellung am wichtigsten ist.

Stiftungsmodell	Novel Object Generalisierung	Novel Environment Generalisierung	Language Generalisierung	Compute Requirement
Octo (93M)	Good (+20% over ACT)	Moderate (+15%)	Basic	1x A100 (fine-tune)
OpenVLA (7B)	Strong (+30% over ACT)	Strong (+25%)	Strong	4x A100 (fine-tune)
ACT + DINOv2 backbone	Good (+23% over ACT)	Good (+20%)	None	1x RTX 4090
ACT + R3M backbone	Moderate (+15% over ACT)	Moderate (+12%)	None	1x RTX 3090

Für Teams mit begrenztem Rechenvermögen (1 GPU, RTX 3090/4090), bietet ACT mit DINOv2 die beste Verallgemeinerung pro Dollar. Für Teams mit A100-Zugang und Sprachkonditionierungsanforderungen bietet OpenVLA-Fein-Tuning die stärkste Gesamtverallgemeinerung. Octo nimmt den Mittelfeld ein: angemessene Verallgemeinerung mit moderaten Rechenanforderungen. Siehe unseren [Video-Vor-Training-Guide]T9) für Details zur Integration dieser Rückenbeine in Ihre Trainingsleitung.

Datenvergrößerungstechniken nach Verallgemeinerungswirkung

Die Datenvergrößerung ist der billigste Weg, um die Verallgemeinerung zu verbessern, aber nicht alle Vergrößerungen sind gleich wirksam. Hier ist ein Ranking basierend auf RCSV-Ablationstudien über 12 Aufgaben der Tabelle-Manipulation.

Augmentation	OOD Improvement	In-Dist Impact	Compute Cost	Implementation Difficulty
Random crop (224 from 256)	+8-15%	-1 to +2%	Near zero	Trivial (2 lines of code)
Color jitter (brightness, contrast, saturation)	+5-12%	-2 to +1%	Near zero	Trivial
Background randomization (paste object on random bg)	+10-20%	-3 to 0%	Low	Moderate (needs segmentation mask)
Gaussian noise (sigma=0.02)	+2-5%	-1 to 0%	Near zero	Trivial
Random erasing (cutout 10-20% of image)	+3-8%	-2 to +1%	Near zero	Trivial
Spatial action perturbation (+/- 2mm noise on demo actions)	+5-10%	-1 to +3%	Near zero	Easy (add noise to action labels)

Die drei wichtigsten Augmentationen (Random-Crop, Farb-Jitter, Hintergrund-Randomisierung) sind in der Rechenkostenphase fast frei und können kombiniert werden. Zusammen verbessern sie typischerweise die OOD-Verallgemeinerung um 15-30% mit minimalem Einfluss auf die Leistung in der Verteilung. Hintergrund-Randomisierung erfordert Objektsegmentierungsmasken, die automatisch mit SAM (Segment Anything Model) auf dem ersten Rahmen jeder Episode erzeugt werden können.

Aktionsvergrößerung ist eine unternutzte Technik: Das Hinzufügen von geringer räumlicher Geräusche (1-3 mm) zu den Demonstrationsaktionsetiketten während des Trainings wirkt als Regulierer, der verhindert, dass die Politik genaue Flugbahnen erfasst.

Einführungskontroll: Erkennung von Generalisierungsunterschiede in der Produktion

Nach der Einführung einer Richtlinie manifestieren sich Allgemeinungsfehler nach und nach, wenn sich die Einführung umwelt verändert.

• Einbettungs-Drift-Monitoring. Berechnen Sie die durchschnittliche Einbettung von Produktionsbeobachtungen mit dem visuellen Encoder Ihrer Politik und vergleichen Sie sie mit der durchschnittlichen Einbettung des Trainingsets. Dies erfasst die visuelle Verteilungsschicht (Veränderungen der Beleuchtung, neue Objekte, Fehlinformation der Kamera) bevor die Erfolgsrate abnimmt.
• Erfolgsrate mit statistischer Prozesskontrolle. Erläutern Sie die tägliche Erfolgsrate auf einem Kontrolldiagramm mit oberen und unteren Kontrollgrenzen, die bei 3 Standardabweichungen vom gleitenden Durchschnitt festgelegt sind. Ein einziger Tag unterhalb der unteren Grenze löst die Untersuchung aus; zwei aufeinanderfolgende Tage lösen automatischen Rückgang zum Menschen-in-the-Loop-Modus aus. Dieser Ansatz erkennt sowohl plötzliche Ausfälle (Hardwareprobleme) als auch schrittweise Abbau (Umweltschutz).
• Fehlerkategorisierung. Log fehlerhafte Episoden mit ihren visuellen Encoder-Embeddings und cluster die Fehler. Wenn ein neuer Fehlercluster entsteht (Fehler, die keine bekannte Trainingsverteilung entsprechen), zeigt dies einen neuen OOD-Zustand an. Zielgetriebene Datenerhebung für diesen spezifischen Fehlermodus (10-30 Demo) ist in der Regel ausreichend, um die Lücke ohne vollständige Umschulung zu beheben.
• Periodische Neubewertung. Führen Sie das vollständige Allgemeinwertschätzungsprojekt (ausgelassenen Objekte, ausgelassenen Bedingungen) monatlich durch. Vergleichen Sie die Ergebnisse mit der Basisvorbereitung. Ein Rückgang von mehr als 5% auf jeder Achse löst einen Daten-Erfrischungszyklus aus. Budget 2-4 Stunden pro Monat für diese Neubewertung.

Eine praktische Generalisierungsstrategie für 2026

Für Teams, die Manipulationspolitik im Jahr 2026 aufbauen, ist hier der Ansatz, der konsequent die besten Verallgemeinerungsergebnisse erzeugt:

1. Start mit einem Grundmodell-Spielraum. Verwenden Sie einen video- oder VLM-vorgebildeten visuellen Encoder (DINOv2, SigLIP oder R3M) als visuelles Rückgrat Ihrer Politik. Dies bietet eine breite visuelle Verallgemeinerung von Tag eins.
2. ** Sammeln Sie vielfältige, nicht große Demonstrationen.** 200 Demonstrationen über 15 Objektinstanzen, 3 Beleuchtungseinrichtungen und 3 Operatoren werden mehr als 2.000 Demonstrationen mit einem Objekt verallgemeinern.
3. Verwenden Sie Sprachkonditionierung. Wenn Ihre Bereitstellung eine Aufgabenvariation erfordert, Konditionieren Sie die Sprachanweisungsrichtlinie.
4. Augmentieren Sie aggressiv. Verwenden Sie Farbschmerzen, zufällige Ernten, Helligkeitsvariationen und Hintergrundvergrößerung während des Trainings.
5. Messen Sie die Allgemeinheit explizit. Verfolgen Sie Objekte und Bedingungen. Melden Sie OOD-Metriken. Versenden Sie keine Politik, deren Allgemeinheit Sie nicht gemessen haben.

Generalisierung Bewertung Checkliste

• Reservieren Sie 5-10 Objekteinstances pro Kategorie, die nie während des Trainings verwendet werden
• Prüfung auf mehr als 3 Arbeitsplätzen, die nicht in der Ausbildungsverteilung enthalten sind
• Beurteilung unter mindestens zwei Lichtbedingungen, die während der Ausbildung nicht gesehen werden
• Mindestens 20 Bewertungsversuche pro Bedingung für statistische Bedeutung durchführen
• Erfolgsabschlüsse für die Bereitstellung und die Verteilung
• Verallgemeinerung der Strecke pro Achse (Objekt, Position, Beleuchtung) unabhängig
• Dokumenten Sie die exakte Ausgehaltenen, so dass die Ergebnisse reproduzierbar sind
• Die Übergangs-/Niedergangsschwellen sind vor der Durchführung von Bewertungen und nicht nach der Durchführung der Bewertungen zu definieren.

Generalisierungstestprotokoll: eine vollständige Vorlage

Verwenden Sie diese Vorlage, um eine standardisierte Verallgemeinerungsbewertung für jede geschulte Manipulationspolitik auszuführen. Das Protokoll dauert 2-3 Stunden, um auszuführen und veröffentlichbare Verallgemeinerungsmetriken zu erstellen.

1. Definieren Sie die Prüfmatrix. Erstellen Sie ein Grill mit Bewertungsbedingungen: 5 Objekte in der Verteilung x 3 Positionen in der Verteilung = 15 Bedingungen in der Verteilung. 5 ausgehaltenen Objekte x 3 ausgehaltenen Positionen = 15 OOD-Verhältnisse. 2 alternative Lichtverhältnisse x 5 Objekte = 10 Lichtveränderungsbedingungen. Gesamtzahl: 40 Bedingungen.
2. Run 3 Versuche pro Bedingung. Führen Sie die Richtlinie unter jeder Bedingung 3 Mal aus. Erfolg/Niederlage, Abschlusszeit und eventuell notwendige Intervention aufzeichnen. Gesamtzahl: 120 Versuche (etwa 2-3 Stunden bei 1-2 Minuten pro Versuch inklusive Reset).
3. Berechnungsmetriken. Erfolgsrate bei der Verteilung (durchschnittliche und 95%-IC über 45 Studien). OOD-Erfolgsrate (durchschnittliche und 95%-IC über 45 Studien). Beleuchtungsfestigkeit (Erfolgsrate von der Ausgangslinie auf alternative Beleuchtung). Generalisierungslücke (durchschnittliche Verteilung minus OOD-Rate).
4. Berichtsformat. Alle vier Messwerte mit Vertrauensintervallen zu melden. Ein Verallgemeinerungsgefälle unter 15% zeigt eine gute Verallgemeinerung an. Ein Gefälle über 30% zeigt an, dass die Politik für die Weiterbildung erheblich übermäßig geeignet ist und mehr Vielfalt oder Erweiterung benötigt.

RCSVs [Datendienste] T10) bauen Vielfaltanforderungen in jedes Sammelprotokoll ein. Unsere Standard-Sammlungspakete ($ 2.500 Pilot / $ 8.000 Kampagne) umfassen Standard-Multi-Objekt, Multi-Umgebung, Multi-Operator-Vielfalt und unsere Bewertungspipeline umfasst ausgehaltenen Verallgemeinerungsprüfungen. Für die Unterstützung bei der Erstellung eines Datensatzes zur Verallgemeinerung oder zur Unterstützung der Bewertung einer geschulten Politik können Sie sich an das RCSV-Team wenden.

Verwandte Lesungen

Deep Dive: The Generalisierung Challenge · Open X-Embodyment Datensatz · Scaling Laws for Robot Learning · Sim-to-Real-Transfer Tips · Learning from Video · Nachahmungslernen Guide · Data Services

Erstellen Sie allgemeine Richtlinien

Die Datenerhebungsprozesse des RCSV sind auf Diversitätsziele konzipiert, die die Verallgemeinerung maximieren. Unsere Standardpakete ($ 2.500 Pilot / $ 8.000 Kampagne) umfassen Multi-Objekt, Multi-Umgebung, Multi-Operator-Diversität, und unsere Bewertungsleitung umfasst ausgetretene Verallgemeinerungsprüfungen auf neuen Objekten und Bedingungen.

[Diskussion Ihrer Allgemeinheit Anforderungen]