返回Glossary
Transformer 策略
定义
基于 Transformer 的策略将注意力机制应用于机器人控制。它们可以通过统一的序列模型处理异构输入 — 图像、本体感觉、语言指令和动作历史。关键架构包括 RT-1（具有 EfficientNet 视觉的标记化动作）、RT-2（VLM 主干）、ACT（用于双手控制的动作分块 Transformer）和 Octo（可扩展跨体现 Transformer）。Transformer 自然地处理可变长度上下文和多任务调节。它们在机器人学方面的主要挑战是推理延迟 — 10-50 Hz 的实时控制需要高效的模型设计或动作分块来分摊计算。
为什么它对机器人团队很重要
了解 Transformer 策略对于构建现实世界机器人系统的团队至关重要。无论您是收集演示数据、在模拟中训练策略，还是在生产中部署，此概念都会直接影响您的工作流程和系统设计。