Zurück zu Glossary
Kosinus-Annealing
Ein Lernraten-Zeitplan, der die Lernrate nach einer Kosinuskurve von einem Anfangswert gegen Null über den Trainingszeitraum verringert. Kosinus-Annealing mit Warm Restarts (SGDR) setzt die Lernrate periodisch zurück, was helfen kann, lokale Minima zu vermeiden. Es ist der Standard-Zeitplan für das Training von Vision Transformers und vielen Roboter-Lernmodellen.