Кросс-энтропийная потеря
Функция потерь, измеряющая разницу между предсказанными распределениями вероятностей и истинными метками. Для классификации это отрицательное логарифмическое правдоподобие правильного класса. В обучении роботов кросс-энтропия используется для предсказания дискретных действий, генерации токенов в моделях VLA и обучении политик, управляемых языком, где пространство действий дискретизировано.







