Glossaryに戻る
マルチヘッドアテンション
複数のアテンションメカニズムを並列に実行し、それぞれ異なる学習済み投影を使用してから出力を連結するアテンション機構。マルチヘッドアテンションにより、モデルは異なるタイプの情報（位置、色、形状）に同時に注意を向けることができます。これはVLAおよびポリシートランスフォーマーで使用されるトランスフォーマーアーキテクチャの中核となる計算プリミティブです。
複数のアテンションメカニズムを並列に実行し、それぞれ異なる学習済み投影を使用してから出力を連結するアテンション機構。マルチヘッドアテンションにより、モデルは異なるタイプの情報（位置、色、形状）に同時に注意を向けることができます。これはVLAおよびポリシートランスフォーマーで使用されるトランスフォーマーアーキテクチャの中核となる計算プリミティブです。