混合精度訓練
16ビット(FP16またはBF16)と32ビット(FP32)浮動小数点演算の混合を使用してニューラルネットワークを訓練し、メモリ使用量を削減し、訓練安定性を維持しながらスループットを増加させます。混合精度はGPU上でロボット学習の大規模モデルを訓練する際の標準であり、完全なFP32訓練と比較してメモリ消費をほぼ半減し、スループットを2倍にします。
16ビット(FP16またはBF16)と32ビット(FP32)浮動小数点演算の混合を使用してニューラルネットワークを訓練し、メモリ使用量を削減し、訓練安定性を維持しながらスループットを増加させます。混合精度はGPU上でロボット学習の大規模モデルを訓練する際の標準であり、完全なFP32訓練と比較してメモリ消費をほぼ半減し、スループットを2倍にします。