Beurteilen Sie Ihre Politik
Einheit 5 des LeRobot-Lernpfads: Beurteilen Sie Ihre ACT-Richtlinie in der Simulation oder auf Ihrem echten Roboter, messen Sie die Erfolgsrate, diagnostizieren Sie Fehlermodi und bestimmen Sie, ob Sie es verbessern oder einsetzen müssen. ~ 1 Stunde.
Einheit 5 von 6 · Bewertet · ~ 1 Stunde
Führen Sie Ihren ausgebildeten Checkpoint in Simulationen oder auf Ihrem echten Roboter aus, messen Sie die Erfolgsrate mit einem strukturierten 20-Prozess-Protokoll und identifizieren Sie den besten Versagenmodus, der Ihre Punktzahl abnimmt.
Simulationsbewertung
Die Sim-Evaluierung ist schnell, sicher und gibt Ihnen eine reproduzierbare Basisnummer, mit der Sie nach dem Umschulung vergleichen können.
Quelle ~/lerobot-env/bin/activate # Beurteilen Sie Ihren besten Checkpoint (ersetzen Sie Schritt_050000 mit Ihrem Checkpoint-Schritt) python -m lerobot.scripts.eval \ --pre-trained-policy-name-or-path \ ~/lerobot-policy/pick-place-v1/checkpoints/step_050000 \ --env.name gym_pusht/PushT-v0 -- \eval.n-episodes 20 \eval --.use-async-envs false # Ausgänge: Erfolg_rate, mean_reward, episode_videos/
** Was man erwartet:** Eine gut ausgebildete Politik für 50 Sim-Demonstrationen sollte in MuJoCo 60
Echte Robotersicherheits-Checkliste
Wenn Sie einen echten Roboter bewerten, lesen Sie diese Checkliste vor Ihrem ersten Einsatz durch.
- Die Politik, die in einem bestimmten visuellen Kontext zu handeln lernt, kann unerwartetes Objekt zu unregelmäßigem Verhalten führen.
- Bleiben Sie am Notstand (E-Stop) oder drücken Sie für die gesamte Bewertungssitzung Ctrl+C. Verlassen Sie nicht die Laufrichtlinie.
- Beginnen Sie mit einer Geschwindigkeit von maximal 50%, reduzieren Sie sie auf 30%, wenn die erste Studie schrumpf oder unpräzise aussieht.
- Die Position der Objekte entspricht genau der Einstellung des Trainingsbereichs. Verwenden Sie denselben Kamerawinkel, dieselbe Beleuchtung, dieselben Objektsfarben. Verteilungsschicht ist die häufigste Ursache für eine Null-Erfolgsrate in der realen Welt.
- Überprüfen Sie die Roboterverbindungen vor dem ersten Lauf.
Echtes Roboternwertungsprotokoll
Führen Sie genau 20 Tests durch. Damit erhalten Sie genügend Proben für eine zuverlässige Erfolgsquote (±10% bei der 95%-Vertrauensquote).
# Laufen Sie die Politik auf Ihrem echten Roboter Python -m lerobot.scripts.control_robot \ --robot-Pfad lerobot/configs/robot/so100.yaml \ --control-mode eval \ --pre-trained-policy-name-or-path \ ~/lerobot-policy/pick-place-v1/checkpoints/step_050000 \ --eval.n-episodes 20 \ --record-video 1
Nach jedem Versuch wird man manuell: 1 für den vollständigen Erfolg der Aufgabe, 0 für jeden Fehler (Teilgreifen, Tröpfungen, Versäumnisse).
Diagnose der Fehlmodus
Sieh dir deine Videoaufnahmen an und kategorisiere Fehler.
Datenqualität
Unkonforme Ansatzbahn der Arm verpflichtet sich nie vollständig an den Griff
Die Politik ist die Durchschnittsverteilung über mehrere Grapp-Strategien in Ihren Trainingsdaten. Dies geschieht, wenn einige Demonstrationen von links und andere von rechts ankommen oder wenn die Schließzeit des Griffes nicht konsistent ist.
Modellkapazität
Die Bahn sieht vernünftig aus, aber die Präzision ist immer noch um 1 2 cm ab.
Das Modell lernt das richtige Verhalten, aber es fehlt die Fähigkeit, präzise zu sein. Dies geschieht, wenn die Chunkgröße zu kurz ist (nicht genug Planungshorizont) oder wenn die Dimm-Feedforward zu klein ist.
Verteilungsschicht
Funktioniert perfekt in einigen Positionen, versagt völlig in anderen
Die Positionen der Objekte während der Bewertung sind außerhalb der Verteilung Ihrer Trainingsdaten. Die Politik hat diese Positionen nicht zuvor gesehen.
Einheit 5 ist fertig, wenn...
Sie haben 20 Bewertungsversuche durchgeführt (in Sim oder auf Ihrem echten Roboter) und eine Erfolgsrate gemessen. Sie haben alle Videos im Fehlermodus angesehen und festgestellt, ob der primäre Fehler die Datenqualität, die Modellkapazität oder die Verteilungsschicht ist. Sie haben diese Diagnose aufgeschrieben
[← Zurück zu Wegübersicht]