Zurück zu Glossary
Lernrate
Die Schrittweite, die vom Gradientenabstieg verwendet wird, um Modellparameter zu aktualisieren. Zu hoch führt zu Divergenz; zu niedrig führt zu langsamer Konvergenz. Lernrate-Planung (Aufwärmphase + Abfall) ist entscheidend für stabiles Training. Typische anfängliche Lernraten: 1e-4 zum Feinabstimmen vortrainierter Modelle, 3e-4 zum Training von Grund auf mit Adam. Die Lernrate ist oft der wichtigste Hyperparameter zum Abstimmen.