Glossaryに戻る
注意機構
クエリベクトルとキーベクトル間の互換性に基づいて値ベクトルの重み付き組み合わせを計算するニューラルネットワークコンポーネント。自己注意（Transformerで使用）はシーケンス内の各位置が他のすべての位置に注意を払うことを可能にし、長距離依存性をキャプチャします。クロス注意により、1つのシーケンスが別のシーケンスに注意を払うことができます（例：言語トークンが視覚特徴に注意を払う）。
クエリベクトルとキーベクトル間の互換性に基づいて値ベクトルの重み付き組み合わせを計算するニューラルネットワークコンポーネント。自己注意（Transformerで使用）はシーケンス内の各位置が他のすべての位置に注意を払うことを可能にし、長距離依存性をキャプチャします。クロス注意により、1つのシーケンスが別のシーケンスに注意を払うことができます（例：言語トークンが視覚特徴に注意を払う）。