कोसाइन अनीलिंग

एक सीखने की दर अनुसूची जो प्रशिक्षण अवधि में एक प्रारंभिक मान से कोसाइन वक्र के अनुसार सीखने की दर को लगभग शून्य तक घटाती है। गर्म पुनरारंभ के साथ कोसाइन अनीलिंग (SGDR) आवधिक रूप से सीखने की दर को रीसेट करता है, जो स्थानीय न्यूनतम से बचने में मदद कर सकता है। यह दृष्टि Transformer और कई रोबोट सीखने वाले मॉडलों को प्रशिक्षित करने के लिए डिफ़ॉल्ट अनुसूची है।

Related terms