Transformer आर्किटेक्चर

स्व-ध्यान तंत्र पर आधारित एक तंत्रिका नेटवर्क आर्किटेक्चर, मूल रूप से NLP के लिए डिज़ाइन किया गया लेकिन अब सभी मोडेलिटी में प्रमुख है। Transformer टोकन के अनुक्रमों को समानांतर में संसाधित करते हैं, सभी जोड़ियों के बीच ध्यान की गणना करते हैं। रोबोटिक्स में, Transformer का उपयोग किया जाता है: नीति नेटवर्क (Decision Transformer, ACT), दृश्य एनकोडर (ViT), और VLA मॉडल जो दृष्टि, भाषा और क्रिया को एकीकृत करते हैं।

Related terms