टोकनीकरण

Transformer मॉडल द्वारा प्रसंस्करण के लिए निरंतर या संरचित डेटा को असतत टोकन में परिवर्तित करना। VLAs में, टोकनीकरण लागू होता है: पाठ (BPE टोकनीकरण को subword टोकन में), छवियां (patch टोकनीकरण को visual टोकन में), और actions (action bins में discretization या action टोकन में clustering)। टोकनीकरण योजना मॉडल क्षमता और inference गति को महत्वपूर्ण रूप से प्रभावित करती है।

Related terms