Erziehe eine Politik, die das Tactile Awareness-Verhalten ausmacht

Einheit 5 von 5 · Zug und Einsatz · ~ 1,5 Stunden (+ Schulzeit)

Die letzte Einheit: Fügen Sie Tactile als Beobachtungsmodalität in ACT oder Diffusion Policy hinzu, berechnen Sie Normalisierungsstatistiken aus Ihrem Datensatz, führen Sie Training durch und bewerten Sie mit einer nur sichtbaren Basislinie.

Schritt 1 Hinzufügen der taktilen Modalität

Verlängerung der Politikkonfiguration

Die taktile Beobachtung kann entweder als die vollständige Druckkarte (Raum, 64 Werte pro Rahmen) oder das aggregierte Skalaar (Gesamt_force_n) hinzugefügt werden. Beginnen Sie mit dem Skalaar ist es einfacher zu normalisieren und für die meisten Manipulationsarbeiten ausreichend. Fügen Sie die Druckkarte hinzu, wenn Ihre Aufgabe räumliche Kontaktinformationen erfordert (z.B. Unterscheidung von Rand vs. Zentrumkontakt).

# lerobot/configs/policy/act_paxini.yaml policy: Name: act dataset: repo_id: local/paxini-grasp-place observation_features: - observation.state # joint positions (7,) - observation.images.wrist # wrist camera (H, W, 3) - observation.tactile.total_force_n # scalar force (1,) - observation.tactile.contact_area_mm2 # scalar area (1,) # Optional: volldruckkarte → - observation.tactile.pressure_map # (8, 8) Positionen abflachen auf (64,) \action_features: - action # joint observation (7,)

Schritt 2 Berechnen Sie die Normalisationsstatistiken

Normalisierungsstatistiken aus Ihrem Datensatz

Berechnen Sie immer Normungsstatistiken aus Ihrem spezifischen Datensatz verwenden Sie keine fest kodierten Werte.

# Berechnen Sie Statistiken aus Ihrem aufgezeichneten Datensatz aus paxini.Data Import Compute_datensatz_stats stats = compute_datensatz_stats"./tactile_datensatz/") print(stats.to_yaml()) # Erwartete Ausgabe (Beispielwerte): # Beobachtung.tactile.total_force_n: # Mittel: 2.84 # std: 1.93 # min: 0.0 # max: 14.2 # Beobachtung.tactile.contact_area_mm2: # Mittel: 22.4 # std: 18.6 \ Speichern Sie zur Konfiguration von Statistiken.save"./act\paxini_stats.yaml")

Warum die Normalisierung für das taktile Signal wichtig ist Die Kraftwerte (020 N) sind auf einem völlig anderen Maßstab als die gemeinsamen Positionen (typischerweise ±π-Radiane) und die Pixelwerte (0255).

Schritt 3 Ausbildung

Ausbildungskommando

Start ACT-Training mit der taktilen Konfiguration.

# Installieren Sie LeRobot, wenn nicht bereits installiert ist pip Installieren Sie lerobot # Zug ACT mit taktiler Modalität python lerobot/scripts/train.py \ --config-name act_paxini \ --dataset-path ./tactile_dataset/ \ --stats-path ./act_paxini_stats.yaml \ --output-dir ./checkpoints/act_tactile/ \ --num-epochs 300 \ --batch-size 8 \ --seed 42 # Monitorverlust (in einem separaten Terminal) Tensorboard --logdir ./checkpoints/act_tactile/logs/

Die Ausbildungszeit ist abgeschlossen, wenn die Validierung Verlust Plateaus. Für 50 Episoden bei 100 Hz, erwarten Sie Konvergenz um die Epoche 200250.

Schritt 4 Bewertung gegenüber nur sichtbarer Basiswert

Die Verbesserung über die Sehkraft allein zu bewerten

Erstellen Sie eine zweite Strategie mit nur Vision + proprioception (keine taktilen Kanäle) auf demselben Datensatz.

# Trainieren Sie die nur für Sicht ausführende Basislinie (gleiche Konfiguration, minus taktile Schlüssel) Python lerobot/scripts/train.py \ --config-name act_vision_only \ --dataset-path ./tactile_dataset/ \ --output-dir ./checkpoints/act_baseline/ # Bewertet beide Richtlinien 20 Einführung jedes Python lerobot/scripts/evall.py \ --checkpoint ./checkpoints/act_tactile/best.ck \ --number-episodes 20 \ --number-name "tactile" python lerobot/scripts/evall.py --checkpoint ./checkpoints/act_baseline/best.ispt \ --number-episodes 20 \ --evall-line "

Die Verbesserung der Grip Stability Metrics insbesondere der Erfolgsrate bei Schlitzgängigen Objekten und der durchschnittlichen Aufbewahrungsdauer während der Platzierungsebene.

Was tun, wenn das Berührungsprogramm die Leistung nicht verbessert Zunächst überprüfen Sie, ob die Kontaktveranstaltungen Ihres Datensatzes mit dem Video übereinstimmen (Qualitätsprüfung der Einheit 4). Zweitens, bestätigen Sie, dass die Normalisierungsstatistiken korrekt berechnet wurden Unrichtige Normalisierung ist der häufigste Ausfallmodus für neue Modalitäten. Drittens, versuchen Sie, die Druckkarte als Beobachtung hinzuzufügen, anstatt nur die skalare sie bietet einen reicheren räumlichen Kontext.

Was kommt als Nächstes?

Nähere Richtungen

• Ich weiß .

Mehr-Sensor-Fusion

Die Handschrift Dexterous Hands umfasst mehrere Sensor-Politikarchitekturen.

](T0)

Kraftkontrolle Loops

Verwenden Sie den Echtzeitstrom des Gen3 als Feedback-Signal für die Impedanzkontrolle Anpassung der Griffkraft dynamisch auf Basis der erkannten Rutschereignisse.

Die Auszahlung von Prämien

Verwenden Sie die Fähigkeit, das Touch-Grip als Online-Belohnungssignal für das Verstärken des Lernens zu verwenden.

Der Weg ist vollständig

Sie haben von der ersten Sensorlesung zu einer geschulten, taktilbewussten Manipulationspolitik übergegangen. Sie haben jetzt eine komplette Pipeline Hardware, Daten und Richtlinien , die Sie für jede kontaktreiche Aufgabe anwenden können.

Einheit 5 ist fertig, wenn...

Die Ausbildungszeit ist ohne Fehler abgeschlossen und führt zu einem Checkpoint. Der Verlust an taktilen Validierungen nimmt ab und während des Trainings steigt der Ausbildungsstandort. Sie haben 20 Auswertungen sowohl für die taktile Politik als auch für die nur für das Bild basierende Basislinie durchgeführt und die Erfolgsraten für den Vergleich aufgezeichnet.