Annotation von Roboterdaten: So kennzeichnen Sie Roboterdemonstrationen für Schulungen

Was Annotation für Roboterdaten bedeutet

Im Gegensatz zur Bildklassifizierung, bei der Annotationen das Zeichnen von Kästchen oder das Anklicken von Beschriftungen bedeuten, ist die Annotation von Roboterdemonstrationen umfangreicher und strukturierter. Eine einzelne Roboterepisode – typischerweise 20–200 Sekunden Manipulation – muss auf mehreren Ebenen gekennzeichnet werden: War die Episode ein Erfolg oder Misserfolg, welche Sprache beschreibt die Aufgabe, wo beginnen und enden semantisch unterschiedliche Phasen und gibt es Frames, die aufgrund von Hardwarefehlern oder Bedienerfehlern vom Training ausgeschlossen werden sollten.

Die Kommentierung erfolgt in der Regel durch menschliche Rezensenten, die sich Videowiederholungen aufgezeichneter Episoden zusammen mit Darstellungen der Gelenkzustände und der Greiferöffnung ansehen. Gute Anmerkungstools zeigen synchronisierte Videos von mehreren Kameras gleichzeitig an und erleichtern so die Erfolgsbeurteilung aus Perspektiven, die die eigenen Kameras des Roboters möglicherweise nicht klar erfassen.

Erfolgsflaggen: Die wichtigste Anmerkung

Jede Episode in einem Robotertrainingsdatensatz muss mit einem binären Erfolgsflag gekennzeichnet sein: Hat der Roboter die Aufgabe erfolgreich abgeschlossen? Das klingt einfach, doch Erfolgskriterien müssen vor Beginn der Annotation genau definiert werden. „Stellen Sie die Tasse auf den Teller“ erfordert eine Spezifikation: Muss die Tasse aufrecht stehen, spielt die Ausrichtung des Griffs eine Rolle, wie viel Positionsfehler ist akzeptabel? Annotatoren, die unterschiedliche implizite Standards auf denselben Datensatz anwenden, erzeugen verrauschte Beschriftungen, die die Trainingsleistung beeinträchtigen.

Schreiben Sie vor Beginn der Kommentierung ein einseitiges Erfolgsspezifikationsdokument mit Beispielbildern von Erfolgs- und Misserfolgsfällen. Verwenden Sie dieses Dokument, um Annotatoren zu kalibrieren. Messen Sie die Übereinstimmung zwischen Kommentatoren für eine gemeinsame Teilmenge von Episoden. Wenn die Übereinstimmung unter 90 % liegt, müssen Ihre Erfolgskriterien geklärt werden. Die Annotationspipeline von SVRC erfordert explizite Erfolgskriteriendokumente und Überprüfungen der Vereinbarung zwischen Annotatoren, bevor ein Datensatz als bereit für das Training markiert wird.

Sprachbezeichnungen

Sprachanmerkungen fügen Episoden oder Episodensegmenten Beschreibungen in natürlicher Sprache hinzu. Diese sind für das Training sprachbedingter Richtlinien erforderlich – Richtlinien, die Anweisungen wie „den roten Block aufheben“ befolgen, anstatt die Aufgabe fest codiert zu haben. Sprachanmerkungen ermöglichen außerdem die Kompatibilität mit Vision-Language-Action (VLA)-Modellen und ermöglichen die Suche und Filterung von Datensätzen nach Aufgabenbeschreibung.

Schreiben Sie Sprachanmerkungen auf zwei Spezifitätsebenen: einem kurzen Aufgabennamen („Platzierung des Bechers“) und einer Anweisung in natürlicher Sprache („Heben Sie den weißen Becher auf und stellen Sie ihn auf den blauen Teller“). Die Anweisung sollte beschreiben, was ein menschlicher Beobachter sieht, und nicht den internen Zustand des Roboters. Wenn Ihre Aufgabe Aufgabenvarianten umfasst – unterschiedliche Objekte, unterschiedliche Zielorte – sollte jede Variante eine entsprechende Anweisung haben, die sie von den anderen unterscheidet.

Aufgabensegmentierung

Bei Aufgaben mit langem Horizont, die mehrere aufeinanderfolgende Unteraufgaben umfassen, markieren Segmentierungsbezeichnungen die Grenzen zwischen den Phasen. Eine Tischdekorationsaufgabe kann unterteilt werden in: Becher erreichen, Becher greifen, Becher transportieren, Becher platzieren, Becher freigeben. Die Segmentierung ermöglicht hierarchisches Richtlinientraining, Erfolgsmetriken auf Unteraufgabenebene und selektive Datenerweiterung. Es ermöglicht auch chirurgisches Debuggen: Wenn eine Richtlinie während des Transports fehlschlägt, beim Erfassen jedoch erfolgreich ist, können Sie mithilfe von Segmentierungsbezeichnungen die Erfolgsraten von Unteraufgaben messen und den Datenerfassungsaufwand dort einsetzen, wo er am meisten benötigt wird.

Segmentierungsanmerkungen sind teurer als Erfolgskennzeichnungen und nicht immer notwendig. Priorisieren Sie die Segmentierung für Aufgaben mit drei oder mehr semantisch unterschiedlichen Phasen oder wenn Sie planen, eine hierarchische Richtlinienarchitektur zu verwenden.

Anmerkungstools und Qualitätsstandards

Zu den gängigen Annotationstools für Roboterdaten gehören Label Studio (Open Source, unterstützt Video- und Zeitreihendaten), CVAT (Computer Vision Annotation Tool, gut für Bounding-Box-Overlays) und benutzerdefinierte Episodenbrowser, die mit Gradio oder Streamlit erstellt wurden. Die Datenplattform von SVRC umfasst eine integrierte Episodenanmerkungsschnittstelle, die über die Web-App zugänglich ist und Erfolgsmarkierungen, Sprachbezeichnungen und Ausschlussmarkierungen auf Frame-Ebene unterstützt.

Qualitätsstandards zählen mehr als Quantität. SVRC wendet ein dreistufiges Qualitätstor auf alle Datensätze an: Selbstanmerkung des Bedieners unmittelbar nach der Aufzeichnung, sekundäre Überprüfung durch einen geschulten Annotator und automatische Konsistenzprüfungen, bei denen Anmerkungen mit gemeinsamen Statusstatistiken verglichen werden (z. B. werden Episoden, die als erfolgreich markiert wurden, bei denen der Greifer nie geschlossen wurde, zur erneuten Überprüfung markiert).

Annotation Pipeline von SVRC

Wenn Sie SVRCs verwenden Datenerfassungsdienste, Anmerkung ist Teil der Lieferung. Unsere Bediener kommentieren jede Episode während der Aufnahmesitzung mit Erfolgsmarkierungen und Sprachbezeichnungen, und unser Anmerkungsteam führt vor dem Export des Datensatzes eine zweite Überprüfung durch. Sie erhalten einen Datensatz mit hochzuverlässigen Annotationen, Annotator-Übereinstimmungswerten und einem vollständigen Qualitätsbericht. Für Teams, die ihre eigenen gesammelten Daten mitbringen, bietet SVRC reine Anmerkungsdienste an und kann vorhandene Datensätze verarbeiten, die auf jeder unterstützten Hardwareplattform gesammelt wurden. Kontaktieren Sie uns um Ihre Anforderungen an die Annotation von Datensätzen zu besprechen.