LoRA

Low-Rank Adaptation — एक पैरामीटर-कुशल फाइन-ट्यूनिंग विधि जो पूर्व-प्रशिक्षित मॉडल वजन को फ्रीज करती है और प्रत्येक परत में प्रशिक्षणयोग्य निम्न-रैंक मैट्रिक्स को इंजेक्ट करती है। LoRA प्रशिक्षणयोग्य पैरामीटर की संख्या को नाटकीय रूप से कम करता है (अक्सर पूर्ण फाइन-ट्यूनिंग का 1-10%) जबकि तुलनीय प्रदर्शन प्राप्त करता है। इसका उपयोग बड़े VLA मॉडल को विशिष्ट रोबोट अवतार या कार्यों के लिए अनुकूलित करने के लिए तेजी से बढ़ रहा है।

Related terms