欢迎来到"身体平衡时代"
在软件中, evals 成为瓶<unk>,Mercor和 Fireworks 正在竞争建造它们.在物理世界中,这个层还没有存在.为什么现实世界 evals (RL2) 是物理人工智能的沟.
←研究 /RL2系列
在软件中,评估成为瓶
在软件中,已经扭转了瓶
两支人工智能最聪明的团队正在竞争为软件代理建立评估基础设施. 他们是对的.
几乎没有人说: 在物理世界中,这个层还没有存在.
模型是商品的.循环不是. 物理人工智能中的价值是谁最快最便宜地关闭现实世界的学习循环.
身体的原因是不同的
- 机器人环境是一个真实的细胞,真实的动力,闪光,磨损,单元到单元的差异.
- "机器人是否正确地放置了盒子?"没有单元测试.
- 在软件中,这是一条真实地线.在物理世界中,这是一条机器人,在下午4点上过热,
机器人模型也会满足任何基准. 让机器人在整个经济中工作的障碍不是一个更大的模型.
实践中加强学习
这就是为什么我们围绕一个循环建立了机器人中心: **部署 →捕获失败 →根据实际接受标准评估 →收集目标数据 →重新部署.**真正的硬件,真正的失败,持续学习.
** 接受标准是机器人新型PRD
**循环,而不是模型,是复合.**手动调试每个部署失败是一个永远不会结束的变量成本.
我们实际上在哪里
诚实说:今天没有人拥有软件级的,完全自动化物理评估.它是自动化回归门和运营商在循环判断的混合物,而完全自动化是一个多年的构建.这就是为什么它值得构建的原因.
只有软件的公司无法达到这个层次.模型实验室不想做物理污染的工作.这让一个宽
在软件中,痕迹是基础真理.在物理世界中,工作细胞是.
如果您正在培训实验室工作的政策,但不是工作细胞,那就是我们工作的墙壁.
读到评估是一件事 证明实用硬件的政策是另一件事.