返回Glossary

预训练

Foundation ModelTrainingTransfer Learning

预训练是模型开发的阶段,在这个阶段神经网络在大规模、多样化的数据集上进行训练,然后再进行任务特定的微调。对于机器人基础模型,预训练可能在互联网规模的视觉-语言数据(图像、视频、文本)、跨体现机器人数据集(Open X-Embodiment)、合成仿真数据或其组合上进行。预训练的模型学习到关于物体、动作和概念的丰富通用表示,这些表示可以迁移到下游机器人任务,所需的演示数据远少于从零开始训练。预训练是VLA模型(如RT-2)成功的机制,这些模型受益于机器人和互联网规模的预训练。 在实践中查看:我们的真实世界评估 →

Related terms