返回Glossary
注意力机制
一种神经网络组件，根据查询向量和键向量之间的兼容性计算值向量的加权组合。自注意力（用于 Transformer）允许序列中的每个位置关注所有其他位置，捕捉长距离依赖关系。交叉注意力使一个序列能够关注另一个序列（例如语言标记关注视觉特征）。
一种神经网络组件，根据查询向量和键向量之间的兼容性计算值向量的加权组合。自注意力（用于 Transformer）允许序列中的每个位置关注所有其他位置，捕捉长距离依赖关系。交叉注意力使一个序列能够关注另一个序列（例如语言标记关注视觉特征）。