定义
基于 Transformer 的策略将注意力机制应用于机器人控制。 它们可以通过统一的序列模型处理异构输入——图像、本体感觉、语言指令和动作历史。 关键架构包括 RT-1（具有 EfficientNet 视觉的标记化动作）、RT-2（VLM 主干）、ACT（用于双手控制的动作分块变压器）和 Octo（可扩展跨实施例变压器）。 Transformer 自然地处理可变长度上下文和多任务调节。 他们在机器人技术方面的主要挑战是推理延迟 - 10-50 Hz 的实时控制需要高效的模型设计或动作分块来分摊计算。
为什么它对机器人团队很重要
了解变压器策略对于构建现实世界机器人系统的团队至关重要。 无论您是收集演示数据、在模拟中训练策略，还是在生产中部署，此概念都会直接影响您的工作流程和系统设计。