मिश्रित परिशुद्धता प्रशिक्षण

तंत्रिका नेटवर्क को 16-बिट (FP16 या BF16) और 32-बिट (FP32) फ्लोटिंग-पॉइंट अंकगणित के मिश्रण का उपयोग करके प्रशिक्षित करना ताकि मेमोरी उपयोग को कम किया जा सके और प्रशिक्षण स्थिरता बनाए रखते हुए थ्रूपुट बढ़ाया जा सके। मिश्रित परिशुद्धता GPUs पर बड़े रोबोट सीखने वाले मॉडलों को प्रशिक्षित करने के लिए मानक है — यह पूर्ण FP32 प्रशिक्षण की तुलना में मेमोरी खपत को लगभग आधा करता है और थ्रूपुट को दोगुना करता है।

Related terms