Retour à Glossary

LoRA

MLTraining

Low-Rank Adaptation — une méthode d'ajustement fin efficace en paramètres qui gèle les poids du modèle pré-entraîné et injecte des matrices de faible rang entraînables dans chaque couche. LoRA réduit considérablement le nombre de paramètres entraînables (souvent 1-10 % de l'ajustement fin complet) tout en obtenant des performances comparables. Elle est de plus en plus utilisée pour adapter les grands modèles VLA à des incarnations ou des tâches de robot spécifiques.

Related terms