Verhaltensklonen (BC)
Verhaltensklonen ist die einfachste Form des Imitationslernens: ein überwachtes Regressionsproblem, bei dem die Kontrollrichtlinie trainiert wird, um Expertendemonstrationen nachzuahmen, indem der Vorhersagefehler zwischen der Ausgabe der Kontrollrichtlinie und der Aktion des Experten bei jedem beobachteten Zustand minimiert wird. BC ist einfach zu implementieren und skaliert gut mit Daten, leidet aber unter Verteilungsversatz — da es niemals korrigierende Rückmeldungen erhält, führen kleine Fehler dazu, dass der Roboter Zustände besucht, die nicht in den Trainingsdaten vorhanden sind, was zu Aufgabenmisserfolg führen kann. Techniken wie DAgger (Dataset Aggregation) und GAIL wurden speziell entwickelt, um Verhaltensklonens Fehlerakkumulationsproblem zu adressieren. Siehe dies in der Praxis: unser Datenerfassungsservice →