Назад к Glossary
Дистилляция знаний
Обучение меньшей модели-ученика соответствовать выходам (мягким логитам) большей модели-учителя. Ученик изучает сжатую версию знаний учителя. В робототехнике дистилляция используется для: сжатия больших моделей VLA для вывода в реальном времени, передачи учителей с привилегированной информацией ученикам, работающим только с видением, и создания эффективных моделей восприятия, развёртываемых на граничных устройствах.