Политика, обусловленная естественным языком
Политика, обусловленная языком, принимает инструкцию на естественном языке (например, «возьми красную чашку и положи её на поднос») в качестве дополнительного входа наряду с визуальными наблюдениями, позволяя единой сети политики выполнять несколько задач, выбираемых во время выполнения без переобучения. Обусловленность языком обычно реализуется путём кодирования инструкций с помощью предварительно обученной языковой модели (CLIP, T5, PaLM) и объединения полученного вложения с признаками изображения. VLA модели, такие как RT-2, OpenVLA и pi0, обусловлены языком по конструкции. Этот подход снижает необходимость обучения отдельных политик для каждой задачи и поддерживает нулевую обобщаемость на новые формулировки инструкций. Смотрите это в действии: наши оценки в реальном мире →