Glossary(으)로 돌아가기

토큰화

MLTransformer

Transformer 모델에서 처리하기 위해 연속 또는 구조화된 데이터를 이산 토큰으로 변환합니다. VLA에서 토큰화는 다음에 적용됩니다: 텍스트(부분 단어 토큰으로의 BPE 토큰화), 이미지(시각 토큰으로의 패치 토큰화), 액션(액션 빈으로의 이산화 또는 액션 토큰으로의 클러스터링). 토큰화 방식은 모델 용량과 추론 속도에 크게 영향을 미칩니다.

Related terms