返回Glossary

分词

MLTransformer

将连续或结构化数据转换为离散令牌以供 Transformer 模型处理。在 VLA 中,分词适用于:文本(BPE 分词为子词令牌)、图像(补丁分词为视觉令牌)和动作(离散化为动作箱或聚类为动作令牌)。分词方案显著影响模型容量和推理速度。

Related terms