Назад к Glossary
Токенизация
Преобразование непрерывных или структурированных данных в дискретные токены для обработки моделями Transformer. В VLA токенизация применяется к: тексту (BPE токенизация в подсловные токены), изображениям (токенизация патчей в визуальные токены) и действиям (дискретизация в бины действий или кластеризация в токены действий). Схема токенизации значительно влияет на ёмкость модели и скорость вывода.