חזרה לGlossary
טוקניזציה
המרת נתונים רציפים או מובנים לאסימונים בדידים לעיבוד על ידי מודלי Transformer. ב-VLAs, טוקניזציה חלה על: טקסט (טוקניזציה BPE לאסימונים תת-מילוניים), תמונות (טוקניזציה תיקייה לאסימונים ויזואליים), ופעולות (דיסקרטיזציה לתאי פעולה או קיבוץ לאסימונים של פעולה). סכימת הטוקניזציה משפיעה משמעותית על קיבולת המודל ומהירות ההסקה.