再访Dyna Robotics：被部署教训了300天后，找到机器人Scaling Law

“全球最乏味的机器人。”《纽约邮报》最近以此为题报道了一家名为Dyna Robotics的公司，而其联合创始人却认为，这堪称“对机器人企业的最佳褒奖”。

在见识了大量机器人跳舞、搏击、翻越钢水等令人惊叹的画面后，Dyna确实显得平淡无奇：早前发布的Dyna-1专注于折叠毛巾与衣物。如今Dyna-2问世后，新款机器人Taku走进洗衣房，默默将脏衣物放入洗衣机、启动机器，再取出衣物送进烘干机，最后取出、叠好并放置到架子上。

联合创始人Jason Ma表示：机器人若真正投入工作，本就该是“乏味”的。在这份“乏味”背后，实际部署才是衡量机器人的“唯一标准”。在Jason看来，机器人无法落地，并非因为缺少腿或手，而是由于模型与整体系统还不够完善。

为了让机器人更高效地工作，Dyna重新选择了模型路径：从VLA（视觉-语言-动作模型）转向WAM（世界动作模型），并将预训练数据扩展至100万小时的第一人称人类视频。他们发现，随着人类视频数据的增加，模型对预训练中未曾见过的机器人动作，预测效果也越来越好。

这些探索是否意味着机器人正接近自身的“GPT时刻”？这一期视频播客，时隔一年半，我们再次探访Dyna Robotics。我们将从技术与部署的视角，聊聊Dyna过去两年经历的挫折、教训、反思与优化。也希望通过Jason，理解这一轮硅谷具身智能正在发生的变化与趋势。

以下是我们与Jason的对话。

机器人会有GPT时刻吗?

陈茜： Jason你好，欢迎来到《硅谷101》。

Jason：你好，很高兴参加你们的播客。

陈茜：这次采访我们还邀请了在机器人行业工作的君武，作为特邀联合主持人，希望能就一些专业问题展开更深入的讨论。

张君武：你好，我现在在Blue River Technology担任机器人工程师。

陈茜：Dyna最近有一系列发布，硅谷机器人行业也很热闹，很多公司都在发布新模型、新演示。你认为机器人行业进入了一个新的里程碑吗？为什么最近有如此集中的发布？

Jason：我觉得要把通用机器人做下去，至少还需要一两个突破。很多公司的大致路线相似，首先要扩大数据规模，也想做出模型的一些能力。也可能暑假是发布的好时机，所以大家都把成果展示出来了。

整个机器人领域现在正逐步从演示走向真正的商业落地，我们公司在这方面也做了很多工作。所以我觉得这是做机器人非常激动人心的时刻。

陈茜：从你的角度看，现在机器人行业进入了什么阶段？如果和LLM（大语言模型）相比，有人说是不是快到GPT-3的时刻了，可以这样对比吗？

Jason：我觉得可能还在GPT-2与GPT-3之间。单从数据规模看，机器人拥有的数据量，相对于GPT-3阶段的语言模型还是要小一些。

但机器人和语言模型也不一样。你可以有很强的机器人模型，完成指令下的某些特定场景任务；语言模型如果不能和你流利地聊天，其实没有什么能力能真正用上。所以从产品形态来说，机器人有没有“GPT时刻”，可能没那么重要。

张君武：现在也有一种说法，机器人行业不一定会有“GPT时刻”，因为机器人的形态、处理的具体任务都不太一样。你觉得会有这样的时刻吗，还是要看情况？

Jason：我觉得要看情况。在具身智能之前，我们可以看自动驾驶。自动驾驶就没有人提过“GPT时刻”这个概念。Waymo、特斯拉在10多年前已经能做好一个演示，但从演示到真正落地，能在旧金山打到一辆Waymo的车，中间的距离还是很长。

在真实世界里迭代，这个过程比较长。虽然现在相比无人车刚开始的时候，已经有很多更好的技术，但这个过程仍然必须经历。它肯定不能像语言模型一样，大家已经有手机、电脑，只要能上ChatGPT的网站，就能用到这种智能。在具身领域，如何把智能用起来，本身就是一个很难的问题。

Dyna为何同时做模型与硬件?

陈茜：你刚才说，数据和模型都有进展，是这两个方面的进展让机器人又能往前迈一步了吗？

Jason：这两点非常重要，但还有一个特别重要的东西，就是硬件。没有硬件，模型再厉害，你也感受不到。如果硬件只是一个只有5个自由度的小机器人，它也只能做一些很简单的抓取。

在具身领域，模型、数据和硬件必须一起进步，才能最终做成一个让不同的人、千家万户都能用上的产品。

陈茜：硬件主要指本体、供应链，还是运控？

Jason：首先指本体。供应链对于扩大本体规模也有很大作用。现在有很多不同的机器人，但在设计过程中，要把机器学习、人工智能中的一些概念，以及模型训练、部署的心得，放进硬件迭代的过程。最后能形成闭环，是一个很大的壁垒。

陈茜：你们的联合创始人York之前把行业分成三派：一类是模型优先，只做大脑，比如Physical Intelligence，也就是π；一类是硬件优先，只做本体；还有一类是一体化集成，全部都做。Dyna属于第三类，大脑和本体同时做，为什么选择这个路线？

Jason：因为最终部署机器人智能时，客户付费的并不只是模型，模型只是整个技术栈的一部分。 我们跟客户聊，他们根本不在乎我们用VLA（视觉-语言-动作模型）还是世界模型，也不知道这些是什么。他们最后在乎的是，在自己的场景里，机器人能不能完成复杂、多样的任务。

从这个角度出发，我觉得必须把大脑和本体放在一起做，才能达到最好的效果。从技术层面来说，也很难把两者分开，做出一个非常通用的东西。在真实世界里，物理智能是大脑和本体连在一起，才能达到很好的效果。就像人一样，我们的大脑也适配了自己的身体。

陈茜：我觉得Dyna是一家偏务实的公司，从演示和本体设计上都能看出你们非常克制，没有追求很炫酷的演示或动作，而是从叠毛巾、叠衣服这些很具体的商业化场景来设计路线。这是为什么？

Jason：从纯学术角度来说，机器人领域能做的事情太多了，任何一个话题都可以花好几年做研究。但我觉得，机器人学习技术已经到了有可能商业化的阶段，现在非常需要从产品出发，思考哪些问题必须解决，哪些问题现在解决与否还不是特别重要。

这样可以帮助整个团队排好优先级，确保我们在技术研发、公司这两年的成长过程中，每个节点都能做出更正确的技术判断和选择。

从过去的演示中可能也能感受到，我们做的能力，都是我们认为真正落地必需的能力，而不是为了拍一个炫酷的视频。这个领域现在很火，很多人的做法可能更以演示为导向，但我觉得那样可能本末倒置了。

我们是从最终要开发、生产、派出几万个机器人的目标出发，思考哪些技术问题必须从今天开始解决，以此决定整个团队的技术路线。

张君武：我想追问一下硬件的协同设计，以及你们在客户现场获得的经验。我之前也做过物流、挑拣，客户的要求很高。你们是一开始就想自己做硬件，还是到了客户现场，有了某些经验教训之后，才觉得一定要自己做？

Jason：两个都有。从第一性原理出发，要做通用机器人，必须先想数据从哪里来、用什么数据训练，再以此引导硬件设计。

我们现在已经发布了Dyna-2，预训练用了大量人的第一视角数据。如果预训练要向人学习，那么部署时，机器人的形态越像人，迁移就会越好。

但做人形机器人，要权衡是否做腿、是否做手。我们从中间选了一个很好的权衡点：半人形加底盘。这个形态可以从今天开始部署，也能获得从人的数据中训练的很大好处。这就是我们从第一性原理出发设计硬件的思路。

陈茜：你们没有做全人形，没有双足，也没有灵巧手，但觉得现在的形态已经能落地做很多事情了？

Jason：对，现在的形态已经能做很多事情。如果现在不能落地，不是因为没有腿或者没有手。

我们内部也做很多灵巧手研究，但目前是纯粹的基础研究，还没有把灵巧手落地的打算。因为现在灵巧手硬件的成熟度，还没到能直接落地的状态。

陈茜：刚才看你们的演示，动作挺顺畅，但有些灵巧手的演示反而会让动作变慢，这也是你们的考量吗？

Jason：现在用灵巧手做操作或遥操作，比夹爪难很多，要把遥操作速度提上去也很难。所以灵巧手的演示通常会慢一些。

陈茜：你刚才说，不能落地不是因为手或脚，是因为模型不够好吗？

Jason：我觉得是整个系统不够好。我们在部署的博文里也讲过，一套系统能不能落地，不仅要求模型百分之百做好，还必须有很多Observability（可观测性）。

你要知道这一天模型做了什么、机器人做了什么，机器人上的电脑有没有资源争用等问题，这些对部署都很重要。所以每次更新机器、更新模型，我们都会把这些工作做好，才能在真实的客户现场具备Observability（可观测性）。

张君武：你讲到了机器人的形态对Cross-embodiment transfer（跨本体迁移）的影响，也谈到了“GPT时刻”和互联网规模的数据量，我们后面会继续讨论。

AlphaGo与研究起点

陈茜：我也很感兴趣，你们在部署中学到了什么。先从最开始复盘一下，你在研究中的品味和选择，可能也奠定了Dyna的技术路线。你是什么时候开始对机器人感兴趣的？

Jason：从博士一年级开始。我的导师做机器人和强化学习，宾大也有GRASP Laboratory，是一个很大的机器人研究中心。我刚读博士时，本来想学强化学习。

陈茜：因为你大学时就在做强化学习？

Jason：大学时我没有做很多研究，当时在探索不同的方向，但觉得强化学习非常合乎逻辑，就想继续读博研究。

更早的时候，我在国内长大，小时候下了很多围棋。AlphaGo刚出来时，我正好在美国读高三。我觉得这个东西很神奇，能把这么难的游戏都解决了，就想上大学一定要研究一下。后来觉得很有趣，就继续读了博士。

陈茜：AlphaGo打败李世石是在你高中时，那场比赛对你意味着什么？

Jason：他们不只下了一场，而是五场。我很惊讶，AlphaGo可能是4比1打败了李世石。我很小的时候就看李世石、古力下围棋，所以看到李世石被打败，觉得不可思议。

陈茜：“神之一手”，也就是第37步，有惊讶到你吗？

Jason：肯定有。我觉得第37步，以及强化学习找到的其他方案，都非常神奇。其实这和最近语言模型解决一些很难的数学问题，是同一个概念：在固定场景里，如果奖励函数比较确定，人工智能肯定能找到比人能想到的更好的方案。我觉得10年过去，这个原则没有变。

张君武：你当时对人工智能的大脑如何决策感兴趣。机器人、自动驾驶也是强化学习中比较主流的应用，对吗？

Jason：对，但在机器人领域，强化学习必须用得更谨慎。

陈茜：因为它是实体的？

Jason：对。或者说，强化学习能奏效，一个很大的原因是这个领域必须有很好的模拟器。比如游戏，游戏本身就是模拟器；做语言模型时，语言模型自身可以模拟语言的演进过程。

但在机器人很多应用场景上，做一个很好的模拟器非常难。现在教机器人跑步、跳舞，都是在模拟器里通过强化学习做出来的。但抓取、Contact-rich manipulation（密集接触操作）这些任务，现在的仿真还有一些距离。

我不太鼓励在真机上跑强化学习，因为我曾经做过。真机的并行程度太低，远不如模拟器可以4000个环境一起跑。

张君武：这是不是也是你们选择毛巾的原因？力度不准确，毛巾也不会被捏碎，不像我们之前包装维生素瓶子，力气一大，整个瓶子就被压碎了。

Jason：对。所以公司一开始，希望商业化和技术同时往前走，就先从叠毛巾、叠衣服出发，因为很难叠坏。

机器人会出错，但不是致命的错误。

陈茜：对，最差就是把毛巾或者衣服撕坏。

Jason：目前好像还没有发生。

陈茜：游戏很适合强化学习，DeepMind也训练了很多游戏，后来往大语言模型走了。但你没有选择大模型，反而选择了机器人方面的强化学习，是因为导师，还是自己的兴趣？

Jason：读博士时，主要是自己的兴趣。一开始在机器人里做强化学习，我觉得前几篇论文做得还不错。导师也建议我继续在一个路线上做最顶尖的工作，比起做很多不同的工作，但在每个领域都马马虎虎，回报会更高。

Meta、谷歌、英伟达

陈茜：你怎么找自己感兴趣的论文选题？从论文题目和选题看，你似乎喜欢挑战现有认知的方向。

Jason：博士后面几年，我确实是这样想的。如果要写一篇论文，这个问题必须很新颖，没有现成的基线方法。机器人现在还没有被解决，一个很大的原因是，大家对问题定义还没有完全形成共识。在这种情况下，如果只是沿用一个已经设定好的问题，去超过某个基线方法，我觉得意义不是很大。

机器人学习的探索空间很大。博士后面几年，我从第一性原理去想：要让强化学习在机器人上真正奏效，有哪些瓶颈？很容易就会发现，最大的瓶颈是奖励函数没办法设定。

玩游戏、下围棋时，游戏规则、围棋规则就是奖励函数，告诉你拿几分。但机器人学走路、跑步、跳舞，或者抓东西、切菜，没有人给你奖励函数。你没办法编一个程序，完全用数学方法把怎么切菜写出来。我当时觉得，这个问题必须解决，否则没办法做强化学习。

张君武：生活中完成一件事，比如拿杯子，没有一个标准答案。你可以从左边去拿，也可以从右边去拿。这时候该怎么设计奖励函数？

Jason：很多操作任务没有最优解。所以我有一篇论文叫VIP，就是从人的视频里学习一个Prior（先验），学习一个很大的奖励模型，看人是怎么做的，再用人的做法指导这个奖励模型。

陈茜：这是2022年你在Meta做的论文？

Meta内部一直有研究机器人的团队？我知道他们现在也在做机器人。

Jason：对，Meta一直有机器人研究。之前更偏学术，我当时在FAIR。2022年的FAIR可以做很多基础研究。

陈茜：可能是FAIR最好的时光。

Jason：对，现在很不一样了。

陈茜：VIP（价值隐式预训练）解决的问题，是从人类视频的时间顺序里学习价值函数？

Jason：对。比如抓一个东西，从第一张图到最后一张图是一个过程，把这个过程、这个顺序理好，就可以帮助判断：机器人做同一个任务时，在这一张图完成了百分之多少，下一张图又完成了百分之多少。这是一种可规模化地学习奖励函数模型的方法。

2022年的机器人数据很少，现在我觉得也少，当时就更不用说了，所以当时觉得这个方法很合理。

陈茜：你说的是遥操作数据？

Jason：不管是不是遥操作，机器人视频都没有那么多，所以必须有一种方法，不依靠机器人数据学习奖励函数。机器人最终还是要解决人在物理世界里想解决的任务，因此从人的视频出发是合理的。

陈茜：当时能用什么人类视频？也是UMI？

Jason：当时还没有UMI（通用操作接口）。2021年，FAIR有一篇论文叫Ego4D，可能是第一篇大规模、以人为中心的第一视角视频数据工作。当时的数据有3000小时。

陈茜：是戴着头盔采集的吗？

Jason：这个细节我可能不知道。当时觉得3000小时很大，但和现在的规模比，就太小了。

张君武：从你当时的研究到现在，好像有一个连续性。Dyna-2也在讲，怎么利用更现成的互联网视频，以及相对更好采集的视频数据。

Jason：其实没有特意想沿用之前的论文。做机器人必须实际一点，我之前的一些论文有时可能过于超前，比如后面可以聊到的Eurek这些技术当时可以做研究，但想拿来做产品，还不是特别合适。

所以Dyna刚创立时，我很少用之前的方法，而是先把一些我觉得肯定能奏效的方式扩大规模。

陈茜：你觉得2023年在英伟达做的Eureka太早了吗？

Jason：当时做出来的效果已经很惊艳。不只是大家可能看过的转笔演示，而是用人工智能自动生成奖励函数。

陈茜：我做功课时才发现，你那时已经让GPT-4写奖励函数代码了。

Jason：对，和现在Astra写很多东西相似。

陈茜：但区别是，当时GPT-4写的是奖励函数代码，不直接输出策略，也不直接驱动机器人。

Jason：对。当时先用GPT-4写奖励函数代码，再在仿真里跑强化学习，得到一个策略。看这个策略的表现，再给GPT-4反馈。这样基本上就是RSI（递归自我改进），不断改进奖励函数代码。

陈茜：很早的RSI（递归自我改进）。

Jason：现在大家都叫RSI（递归自我改进），当时的名字没这么炫酷。

陈茜：你们当时用的是英国Shadow的灵巧手，让它学会转笔？

Jason：对，是在模拟器里学的。真机上按理说也应该可以，但工程量会很大。

当时灵巧手市场没有现在这么多选择，可能只有Shadow Hand可以做，而且很贵。

陈茜：几万美元一只。

Jason：对，我们当时也没有这个资源，就先在仿真里做了。做研究，一开始先在模拟器里验证一个想法，是很好的方法。

之后我们发了一篇论文，叫DrEureka，教机器狗在瑜伽球上保持平衡、行走。这是把Eureka放到真实世界的后续研究。

陈茜：最近很多人在讨论GPT-6 Astra对机器人领域的影响。它现在带来的影响，和你当时用GPT-4写奖励函数代码，有什么根本区别？

Jason：用GPT-6，你直接说想要什么，它就能一口气做很多事情，帮你完成。我们当时用GPT-4，Eureka也开源了代码，可以看到我们如何让GPT-4自己写代码，再把代码融入仿真环境。现在GPT-6可以自己安装仿真环境，把这些都处理好。

陈茜：GPT-6可以自行安装？

Jason：对，而且能力也更强。以前GPT-4主要是语言模型，对视觉、空间的理解不是很好。现在GPT-6的空间理解很好，可以直接完成一些对空间推理要求很高的机器人任务，这是一个本质区别。

张君武：未来哪些领域会更多用到GPT-6这样的智能体驱动的机器人技术，哪些领域又会更多受益于人工智能、智能体对训练的帮助？

Jason：在我看来，两者没有很大的本质区别。最重要的是给模型、给智能体系统一个奖励函数。

比如训练模型，有training loss（训练损失），你可以跟GPT-6说，一直改参数，直到Training loss（训练损失）达到2.3左右。让它做智能体驱动的机器人技术