ग्रेडिएंट क्लिपिंग

प्रशिक्षण के दौरान ग्रेडिएंट के परिमाण को सीमित करना ताकि विस्फोटक ग्रेडिएंट को रोका जा सके जो अनुकूलन को अस्थिर कर सकते हैं। ग्रेडिएंट मानदंड को एक अधिकतम मान तक क्लिप किया जाता है (आमतौर पर 1.0–10.0)। ग्रेडिएंट क्लिपिंग Transformer, RNN, और RL नीतियों को प्रशिक्षित करने के लिए मानक अभ्यास है जहाँ पुरस्कार विचरण बड़ी ग्रेडिएंट स्पाइक्स का कारण बन सकता है।

Related terms