Glossaryに戻る
トークン化
Transformerモデルで処理するために、連続的または構造化されたデータを離散トークンに変換すること。VLAではトークン化は以下に適用されます：テキスト（BPEトークン化による部分語トークン）、画像（パッチトークン化による視覚トークン）、アクション（アクションビンへの離散化またはアクショントークンへのクラスタリング）。トークン化スキームはモデル容量と推論速度に大きな影響を与えます。
Transformerモデルで処理するために、連続的または構造化されたデータを離散トークンに変換すること。VLAではトークン化は以下に適用されます：テキスト（BPEトークン化による部分語トークン）、画像（パッチトークン化による視覚トークン）、アクション（アクションビンへの離散化またはアクショントークンへのクラスタリング）。トークン化スキームはモデル容量と推論速度に大きな影響を与えます。