Zurück zu Glossary
Gemischte Präzision beim Training
Training von neuronalen Netzen mit einer Mischung aus 16-Bit (FP16 oder BF16) und 32-Bit (FP32) Gleitkomma-Arithmetik, um Speichernutzung zu reduzieren und Durchsatz zu erhöhen, während die Trainingsstabilität erhalten bleibt. Gemischte Präzision ist Standard beim Training großer Roboter-Lern-Modelle auf GPUs — sie halbiert ungefähr den Speicherverbrauch und verdoppelt den Durchsatz im Vergleich zu vollständigem FP32-Training.