토큰화
Transformer 모델에서 처리하기 위해 연속 또는 구조화된 데이터를 이산 토큰으로 변환합니다. VLA에서 토큰화는 다음에 적용됩니다: 텍스트(부분 단어 토큰으로의 BPE 토큰화), 이미지(시각 토큰으로의 패치 토큰화), 액션(액션 빈으로의 이산화 또는 액션 토큰으로의 클러스터링). 토큰화 방식은 모델 용량과 추론 속도에 크게 영향을 미칩니다.
Transformer 모델에서 처리하기 위해 연속 또는 구조화된 데이터를 이산 토큰으로 변환합니다. VLA에서 토큰화는 다음에 적용됩니다: 텍스트(부분 단어 토큰으로의 BPE 토큰화), 이미지(시각 토큰으로의 패치 토큰화), 액션(액션 빈으로의 이산화 또는 액션 토큰으로의 클러스터링). 토큰화 방식은 모델 용량과 추론 속도에 크게 영향을 미칩니다.