Назад к Glossary
Механизм внимания
Компонент нейронной сети, который вычисляет взвешенные комбинации векторов значений на основе совместимости между векторами запроса и ключа. Самовнимание (используемое в Transformer) позволяет каждой позиции в последовательности обращать внимание на все остальные позиции, захватывая дальнодействующие зависимости. Кросс-внимание позволяет одной последовательности обращать внимание на другую (например, токены языка обращают внимание на визуальные признаки).