Zurück zu Glossary
Gewichtsinitialisierung
Die Strategie zum Setzen von Anfangswerten von neuronalen Netzwerkparametern vor dem Training. Ordnungsgemäße Initialisierung (Xavier/Glorot, Kaiming/He) stellt sicher, dass Aktivierungen und Gradienten zu Beginn des Trainings angemessene Größenordnung über Schichten hinweg beibehalten. Schlechte Initialisierung kann zu verschwindenden oder explodierenden Gradienten führen. Vortrainierte Initialisierung (aus Stiftungsmodellen) ist eine Form des Transferlernens.