Назад к Glossary

LoRA

MLTraining

Low-Rank Adaptation — метод эффективной по параметрам тонкой настройки, который замораживает веса предварительно обученной модели и внедряет обучаемые матрицы низкого ранга в каждый слой. LoRA резко снижает количество обучаемых параметров (часто 1–10% от полной тонкой настройки) при достижении сравнимой производительности. Всё чаще используется для адаптации больших моделей VLA к конкретным воплощениям или задачам робота.

Related terms