Glossaryに戻る
学習率
勾配降下法でモデルパラメータを更新するときに使用されるステップサイズ。高すぎると発散し、低すぎると収束が遅くなります。学習率スケジューリング（ウォームアップ+減衰）は安定した訓練に重要です。典型的な初期学習率：事前訓練済みモデルの微調整で1e-4、ゼロから訓練する場合はAdamで3e-4。学習率はしばしば最も重要なハイパーパラメータです。
勾配降下法でモデルパラメータを更新するときに使用されるステップサイズ。高すぎると発散し、低すぎると収束が遅くなります。学習率スケジューリング（ウォームアップ+減衰）は安定した訓練に重要です。典型的な初期学習率：事前訓練済みモデルの微調整で1e-4、ゼロから訓練する場合はAdamで3e-4。学習率はしばしば最も重要なハイパーパラメータです。