LoRA

Low-Rank Adaptation — um método de ajuste fino eficiente em parâmetros que congela os pesos do modelo pré-treinado e injeta matrizes treináveis de baixo posto em cada camada. LoRA reduz drasticamente o número de parâmetros treináveis (frequentemente 1-10% do ajuste fino completo) enquanto alcança desempenho comparável. É cada vez mais usado para adaptar grandes modelos VLA a encarnações ou tarefas específicas de robôs.

Related terms