Glossaryに戻る
Transformer アーキテクチャ
自己注意メカニズムに基づくニューラルネットワークアーキテクチャで、元々NLPのために設計されましたが、現在はモダリティ全体で支配的です。Transformerはトークンのシーケンスを並列に処理し、すべてのペア間の注意を計算します。ロボティクスでは、Transformerは以下に使用されます：制御ポリシーネットワーク（Decision Transformer、ACT）、ビジュアルエンコーダ（ViT）、およびビジョン、言語、アクションを統合するVLAモデル。