Roboter-Daten-Sammlung Pipeline: Von der Teleoperation bis zum Training-Ready-Daten-Set

[← Lernen]

Eine schlecht gestaltete Datenleitung verschwendet 40% Ihres Sammelbudgets für nicht nutzbare Episoden.

Warum die Pipeline Design wichtig ist

Die Datenerfassung für das Lernen von Roboter ist teuer. Bei 30€/Stunde für Operatorzeit und Laborgeräte kostet ein Datensatz von 1.000 Episoden allein 5.000€/Standardkosten. Eine schlecht gestaltete Pipeline verknüpft dies: inkonsistente Aufnahmegestellungen zwingen manuelle Konvertierung; fehlende Metadaten machen Episoden unbrauchbar; kein Qualitätsfilter bedeutet 3040% der gesammelten Daten, die die Politik zum Scheitern ausbildet.

Eine gut entwickelte Pipeline zahlt sich in der ersten Woche der Nutzung aus. Dieser Artikel beschreibt jede Stufe von der Roh-Teleoperations-Aufzeichnung bis zu einem für die Ausbildung bereitgestellten Datensatz mit den Filtern und Kontrollen, die Forschungsdaten von Lärm trennen.

Stufe 1 Synchronisierte Aufnahme

Die Aufnahmestufe erfasst alle Sensorströme während der Teleoperation mit garantierter Synchronisierung.

• Was zu erfassen ist: Kamerabilder aus allen Blickwinkeln (30 Hz mindestens); Gelenkzustände Positionen, Geschwindigkeiten, Drehmomente (100 Hz); angeordneten Aktionen (gleiche Geschwindigkeit wie Gelenkzustände); Kraft/ Drehmomente, wenn sie ausgestattet sind (1001000 Hz); Griffzustand (offen/geschlossen + Strom).
• Synchronisierung: Hardware-Kamera-Auslöser für <1 ms Bildsynchronisierung. Alle Streams sind auf eine einzelne PTP-synchronisierte Uhr gestempelt. Melden Sie den Auslöserimpuls als separaten Kanal ein, um die Qualität der Synchronisation nach der Sammlung zu überprüfen.
• Metadaten pro Episode: Operator-ID, Roboternummer (für mehrere Roboter-Labore), Aufgabenname und Variante, Start-/Endzeitstempel, Umgebungsbedingungen (Beleuchtung vor festgelegt, Tabellenkonfiguration), einzigartige Episode-UUID für die Rückverfolgbarkeit.
• ** Speicherformat:** HDF5 mit zerkleinerten Datensätzen eine HDF5-Datei pro Episode, eine HDF5-Gruppe pro Sensorstrom. JPEG-Kompression für Bilder (Qualität 90); lossless float32 für numerische Streams. Nie zu überschreiben: Schreiben Sie in eine neue Datei und validieren Sie, bevor Sie alle Rohdaten löschen.

Stufe 2 Qualitätsfilterung

Die Qualitätsfilterung ist eine der am meisten belastenden Maßnahmen in einer Datenleitung. Die Entfernung der unteren 20% der Episoden verbessert oft die Politiker-Erfolgsrate durch die Hinzufügung von mehr als 50% mehr Daten.

• Automatische Erfolgsklassifizierung: Trainieren Sie eine leichte CNN auf dem letzten Kamera-Rahmen, um Erfolg/Niederlage vorherzusagen. 500 Episoden mit der Hand zu markieren, trainieren Sie in 30 Minuten, erreichen Sie eine Genauigkeit von ~92%. Laufen Sie alle neuen Episoden aus, bevor Sie dem Datensatz hinzufügen.
• Filter für die Streckengleichheit: Berechnen Sie den absoluten Durchschnittsschlag (Dritter Positionderivat) für jede gemeinsame Streckengleichheit. Episoden über der 90th-Persentilschlagschwelle enthalten wahrscheinlich Zögerungen oder Korrekturen des Betreibers Fahne für manuelle Überprüfung oder Abwerfung.
• Duration Outlier Filter: Für jede Aufgabe berechnen Sie die durchschnittliche und standardmäßige Abweichung der Episode-Dauer. Flaggeepisoden mehr als 2σ von der durchschnittlichen sind wahrscheinlich Wiederherstellungsversuche aus Fehlern (zu lange) oder unvollständigen Episoden (zu kurze).
• Kollisionsdetektionsflagge: Episoden, bei denen das Robotersicherheitssystem einen Notfallstop auslöst, sollten automatisch ausgeschlossen werden.
• Typische Ablehnungsrate: 2040% der Roh-Episoden werden durch automatisierte Filter abgelehnt.

Stufe 3 Annotation

Annotationen bereichern Episoden mit strukturierten Etiketten, die bessere Ausbildung und Analyse ermöglichen.

• Sprachenanweisung: Eine Natursprachenfolge, die die Aufgabe beschreibt. Standardisieren Sie das Vokabular über alle Operatoren hinweg: "Pick up the and place it in the ." verwendet von VLA-Modellen (Vision-Language-Action) und für die Aufgabenkonditionierung in Multitask-Politiken. Siegescore (0100): Eine kontinuierliche Qualitätsscore aus dem automatisierten Klassifikator, die das binäre Erfolgsetikett ergänzt. Nützlich für das Lehrplanlernen Beginn der Ausbildung zu Episoden mit hohem Score.
• Phasensegmentierung: Kennzeichnen Sie die semantische Phase jedes Zeitschrittes: Reichweite / Greifen / Transport / Ort / Freisetzung.
• Fehlermodus-Label (optional): Für fehlerhafte Episoden: greifen_fehler/fall / fehlerhafter_objekt/timeout. Aggregate Statistiken führen Hardware- und Aufgabenentwicklungsabwicklungen an.

Stufe 4 Formatumwandlung

Die Entwicklung der Datenformate ist eine wichtige Rolle für die Entwicklung der Daten, die sich aus der Entwicklung der Datenformate ergeben.

• Quelle der Wahrheit: HDF5. Beibehalten Sie immer die Original-Faile von HDF5.
• RLDS (TensorFlow Datasets): Erforderliches Format für Octo, RT-X und Open X-Embodiment. Konvertieren Sie mit den Tools T0. Jede Episode wird zu einer TFDS-Episode mit standardisierter Schrittstruktur.
• LeRobot (HuggingFace Parquet): Parket-basiertes Format, das mit dem HuggingFace-Daten-Sets-Ökosystem kompatibel ist.
• Zarr (Diffusion Policy native): Speicher von Speicher-Mapable-Arrays, die von der ursprünglichen Diffusion Policy-Codebase für schnellen zufälligen Zugriff während des Trainings verwendet werden.

Stufe 5 Version und Herkunft

Die Reproduzierbarkeit von Datensätzen erfordert eine strenge Versionsverarbeitung. Modelle sollten nur aus einem Datensatzversionstag ausbilden werden nicht aus "den Dateien in diesem Ordner gerade jetzt".

• Episodeunveränderlichkeit: Sobald eine Episode die Qualitätsfilterung durchläuft und dem Datensatz hinzugefügt wird, wird sie nie geändert. Korrekturen erzeugen neue Episoden; alte Episoden werden archiviert, nicht gelöscht.
• Hash-basierte Episode-IDs: Berechnen Sie SHA-256 der RAW HDF5-Datei. Die Verwendung als Episode-ID garantiert, dass die ID den Inhalt einzigartig identifiziert und jede Korruption nachweisbar ist.
• Dataset manifestiert: Eine JSON-Datei pro Datensatzversion, die alle Episode-IDs, ihre Metadaten, Split-Zuführungen (train/val/test) und Filterkriterien auflistet.
• DVC (Data Version Control): Für große Datensätze verfolgt DVC, welche Datendateien zu welchen Git-Kommitten entsprechen.

Stufe 6 Ausbildungsintegration

Die letzte Stufe führt den Datensatz effizient in die Modell-Schulungslöcke ein.

• Stratisierte Probenahme: Probenminischargen mit gleicher Darstellung von Aufgabenvarianten, Objekttypen und Operatoren. Verhindert, dass das Modell zu viel in die Mehrheitsklasse passt.
• Online-Vergrößerung: Datenvergrößerung während des Vorlaufes (nicht vorbereitet) anwenden, um die Speicheranforderungen zu verwalten: Farbschwung (±15% Helligkeit/Kontrast/Sättigung), zufälliges Ernten (±10% der Bildgröße), Gauss-Lärm auf Gelenkstationen (σ=0,001 rad).
• Episodegewichtung: Gewicht von Episoden nach Erfolgswert Hochwertige Erfolge erhalten während des Trainings ein höheres Probengewicht.

Die RCSV-Datenplattform automatisiert die Stufen 2 bis 5 dieser Pipeline und bietet eine Weboberfläche für Qualitätsüberprüfung, Anmerkung und Formatexport.

Weiter in der Schleife

Schließen Sie die Schleife von Hardware, Daten und Scoring.

Browse-Hardware → [Schulungen gemacht?