Volver a Glossary
Tokenización
Conversión de datos continuos o estructurados en tokens discretos para procesamiento por modelos Transformer. En VLAs, la tokenización se aplica a: texto (tokenización BPE en tokens de subpalabra), imágenes (tokenización de parches en tokens visuales) y acciones (discretización en contenedores de acción o agrupamiento en tokens de acción). El esquema de tokenización impacta significativamente la capacidad del modelo y la velocidad de inferencia.