Назад к Glossary
Маскированный автокодировщик
Подход самоконтролируемого предварительного обучения, при котором случайные патчи изображения маскируются, а кодировщик-декодировщик ViT учится восстанавливать пропущенные патчи. Предварительное обучение MAE изучает сильные визуальные представления, которые хорошо переносятся на последующие задачи. В робототехнике визуальные кодировщики, предварительно обученные на MAE, обеспечивают надёжные признаки для управляющих политик манипуляции, особенно при ограниченных размеченных данных робота.