返回Glossary
多头注意力
一种注意力机制，并行运行多个注意力操作，每个都有不同的学习投影，然后连接它们的输出。多头注意力允许模型同时关注不同类型的信息（位置、颜色、形状）。它是 Transformer 架构的核心计算原语，用于 VLA 和策略 Transformer。
一种注意力机制，并行运行多个注意力操作，每个都有不同的学习投影，然后连接它们的输出。多头注意力允许模型同时关注不同类型的信息（位置、颜色、形状）。它是 Transformer 架构的核心计算原语，用于 VLA 和策略 Transformer。