Kontrollrichtlinien-Rollout
Ein Kontrollrichtlinien-Rollout ist eine einzelne Episode der Ausführung einer trainierten Kontrollrichtlinie auf dem Roboter (oder in Simulation) von einem Anfangszustand bis zur Aufgabenvollendung oder Timeout. Rollouts werden verwendet, um die Leistung der Kontrollrichtlinie zu bewerten, neue Daten für weiteres Training zu sammeln (wie in DAgger oder RL-Feinabstimmung) und Fehlermodi zu debuggen. Die Anzahl der Rollouts, die für eine zuverlässige Leistungsschätzung erforderlich sind, hängt von der Aufgabenvariabilität ab — hochvariable Aufgaben können 50+ Rollouts erfordern, um eine stabile Erfolgsquote-Schätzung zu erhalten. In der Forschung werden Rollouts oft nach Anfangsbedingung kategorisiert (in-Verteilung vs. außerhalb-Verteilung Objekte/Szenen), um die Verallgemeinerung zu charakterisieren. Siehe dies in der Praxis: unsere realen Evaluierungen →