Belohnungsfunktion
Die Belohnungsfunktion definiert das Lernziel für einen Reinforcement-Learning-Agenten: Sie weist jedem (Zustand, Aktion, Folgezustand)-Übergang ein skalares Belohnungssignal r(s, a, s') zu und teilt dem Agenten mit, wie gut oder schlecht seine Aktionen sind. Die Gestaltung der Belohnungsfunktion ist einer der schwierigsten Teile bei der Anwendung von RL auf Robotik: Spärliche Belohnungen (1 bei Erfolg, 0 sonst) sind sauber, führen aber zu langsamem Lernen; dichte Belohnungen (z. B. negative Distanz zum Ziel) lenken das Lernen, können aber auf unerwartete Weise ausgenutzt werden (Reward Hacking). Alternativen sind Belohnungslernen aus Demonstrationen (IRL, RLHF), aufgabenspezifische Simulationsmetriken und gelernte Präferenzmodelle. Imitationslernen umgeht das Belohnungsdesign-Problem vollständig, indem es direkt aus Demonstrationen lernt. Siehe dies in der Praxis: unsere realen Evaluierungen →