भाषा-अनुबंधित नीति

एक भाषा-अनुबंधित नीति एक प्राकृतिक भाषा निर्देश (जैसे, "लाल कप उठाओ और इसे ट्रे पर रखो") को दृश्य अवलोकनों के साथ एक अतिरिक्त इनपुट के रूप में लेती है, जिससे एक एकल नीति नेटवर्क को पुनः प्रशिक्षण के बिना रनटाइम पर चयनित कई कार्यों को निष्पादित करने में सक्षम बनाया जाता है। भाषा अनुबंधन आमतौर पर एक पूर्व-प्रशिक्षित भाषा मॉडल (CLIP, T5, PaLM) के साथ निर्देशों को एन्कोड करके और परिणामी एम्बेडिंग को छवि विशेषताओं के साथ फ्यूज करके लागू किया जाता है। RT-2, OpenVLA, और pi0 जैसे VLA मॉडल डिज़ाइन के अनुसार भाषा-अनुबंधित हैं। यह दृष्टिकोण प्रति कार्य अलग नीतियों को प्रशिक्षित करने की आवश्यकता को कम करता है और उपन्यास निर्देश वाक्यांशों के लिए शून्य-शॉट सामान्यीकरण का समर्थन करता है। व्यवहार में देखें: हमारे वास्तविक-विश्व मूल्यांकन →

Related terms