焦点速读:机器人在做决策时,到底该走哪条路
2026-11-16 22:34:23 来源: 科技行者

2015 年前后,强化学习圈子里有个说法流传很广:价值函数是万能的。

你给它状态,它给你一个数字,告诉你这个状态有多好。听起来简单粗暴,但正是靠着这套机制,强化学习在围棋、Atari 游戏上打出了惊人的战绩。可当研究者们把这套方法搬到长时间跨度的机器人任务上时,事情开始变得不对劲。


(资料图片)

**问题不在于算法不够聪明,而在于它天生就"看不远"**。

传统的强化学习靠一种叫时序差分学习的机制来估计价值。

时序差分学习:一种让智能体通过"这一步的奖励加上对下一步的猜测"来逐步修正自己判断的方法,它只往前看一步,然后把这一步的信息和已有的估计拼接起来

这就像你问一个刚入职的新人:"这个项目做得怎么样?"他只会告诉你"今天这一小时干得不错",而完全说不出这个项目三个月后会不会成功。信息要一步步往前传递,传递得越远,衰减得越厉害,到最后真正重要的长期信号早就淡得几乎看不见了。

于是另一条路线站出来了,叫轨迹优化。

轨迹优化:不满足于只看一步,而是直接对一整段未来的动作序列做优化,试图找到让整段轨迹收益最大的方案

这条路听起来更有道理,毕竟谁会只看眼前一步就做决定呢?但轨迹优化有个致命伤:每走一步都要重新解一次高维度的优化问题,这个问题通常是非凸的,意味着到处是坑,很容易陷进局部最优解里出不来。而且在线决策场景下,你用的环境动力学模型本身是学出来的,不是真实的物理规律,预测误差会随着规划步数的增加越滚越大,优化器甚至会"聪明"地钻这些误差的空子,制造出看起来很美但实际上根本不可行的方案。

这就是哈佛大学团队在这篇论文里想解决的根本矛盾:**要长远眼光,就得花大代价去算;想算得快,就只能看一步。两头都占的方法,一直没有出现**。

生成式轨迹规划:换一种出牌方式

论文提出的方法叫 GTP,全称 Generative Trajectory Planning(生成式轨迹规划)。

它的核心思路说起来并不复杂:既然每次都从零优化一整条动作序列太贵,那能不能先学一个"提案生成器",让它直接给出一批看起来就不错的候选方案,然后再对这批候选方案做局部打磨?

这就引出了论文里最关键的一个组件:扩散模型。

扩散模型:一种生成模型,训练时先把真实数据逐步加噪变成纯噪声,再训练一个网络学会把噪声一步步还原成数据,生成时就从纯噪声开始反复"去噪"得到新样本

拿这个思路用在动作序列生成上,就相当于让扩散模型学会"什么样的一整段未来动作听起来是合理的",而不是只学"下一步该干什么"。这个区别其实很大,因为好的长期行为往往不是单步动作简单拼接出来的,中间有连贯性,有节奏感,有先后呼应。

打个比方。你让一个新手规划一次三天两夜的旅行,如果他是"走一步想一步"的思路,可能第一天玩得很开心,但第二天才发现订的酒店离第三天要去的地方隔了四百公里。而一个有经验的旅行规划者,脑子里早就有若干套"完整的三天行程模板",他是从这些模板里挑一个最合适的,再微调细节,而不是从零开始一步步拼。扩散先验在 GTP 里扮演的正是这种"行程模板库"的角色。如果没有这个先验,直接用高斯噪声去瞎猜一整段动作序列,论文里的对照实验(CEM-MPC,用传统的交叉熵方法去采样)在同样的机器人任务上表现差了一大截,有些任务上的成功率甚至不到十分之一。

怎么把候选方案打磨成好方案:波束搜索加扩散细化

光有候选方案还不够,GTP 还设计了一套迭代打磨的流程,叫波束搜索加扩散细化。

波束搜索:一种搜索策略,每一步只保留若干个最有希望的候选,淘汰其他的,然后在这些幸存者基础上继续往下探索

具体做法是这样的:先从扩散先验里采样一批候选动作序列,用模型打分,留下最好的一批。然后把这批候选的"未来部分"重新加噪再去噪,相当于让它们在原有基础上做局部变化,同时保留已经确定的"过去部分"不变。打分、淘汰、细化,这个过程循环往复,一步一步把候选方案往高分区域推。

这个过程打分靠的是三个学出来的模型:动力学模型负责预测"做了这个动作之后世界会变成什么样",奖励模型负责预测"这一步能拿多少分",价值函数负责估计"从这里往后,长远来看大概能拿多少分"。三者配合,才能给一条候选轨迹算出一个靠谱的总分。

这里有个细节值得多说一句。GTP 没有用单一的动力学模型,而是用了一个由 5 个独立训练的网络组成的集成。

集成模型:同时训练多个结构相同但初始化不同的模型,用它们预测结果的一致程度衡量不确定性,分歧越大说明越不确定

这个设计其实解决了一个很实际的问题:在线学习的过程中,模型是边收集数据边训练出来的,前期数据少,模型对很多状态根本没见过,预测自然不靠谱。如果只有一个模型,它会"自信满满"地给出一个预测,但你根本不知道这个预测该不该信。而五个模型各自独立学习,如果它们对同一条轨迹的预测高度一致,说明这片区域已经被充分探索过,可以信;如果五个模型吵得不可开交,说明这是个陌生地带,充满了不确定性。

这就像五个经验丰富的医生分别给同一个病人看病。如果五个人的诊断结论高度一致,你会比较放心;如果五个人给出了五种截然不同的意见,这往往意味着病情本身比较复杂或罕见,这时候谨慎行事,或者进一步做检查,才是合理的选择,而不是随便挑一个最乐观的诊断就上手术台。GTP 在训练时用保守的中位数聚合来算价值目标,避免被某个过于乐观的模型带偏;但在决策执行时反而主动采用乐观的最大值聚合,鼓励探索那些至少有一个模型认为"有搞头"的区域。这种训练保守、探索乐观的分裂策略,正是为了在"别被误导"和"别错过机会"之间找平衡。

防止生成器变懒:兰之万增强

如果你让一个生成模型不断地根据自己采样出来的"精英方案"去训练自己,会出现一个很隐蔽的问题,叫模式坍塌。

模式坍塌:生成模型逐渐只会生成某一种或几种固定模式的输出,失去了多样性,原因是训练信号本身就来自模型自己产生的样本,一旦收窄就很难再打开

这个问题挺像近亲繁殖。如果一个种群只在内部交配,基因池会越来越窄,适应环境变化的能力也越来越差。扩散先验如果只拿自己采样出来的精英样本训练自己,一旦某一轮采样恰好偏向了某个局部区域,之后的训练只会让它更加确信"这就是唯一正确答案",慢慢地整个分布就会坍缩成一个点,再也探索不出新花样,如果不做任何干预,论文的消融实验显示这种情况下模型的最终表现会直接从五千多分跌到一千六百多分,近乎腰斩再腰斩。

GTP 的应对办法是引入兰之万动力学做增强。

兰之万动力学:一种在目标函数的梯度方向上做小步前进、同时叠加随机噪声的采样方法,常用于从一个复杂分布里采样

简单说,就是在精英样本的基础上,沿着"打分变高"的方向主动走几步,再加点随机扰动,制造出一些精英样本"原本不会生成,但确实更优"的新样本,混进训练集里。这就像给那个近亲繁殖的种群,偶尔引入一些外来基因,方向明确(朝着更适应环境的方向),又带着随机性(不是机械地复制粘贴)。论文的消融实验显示,去掉这个机制后性能大幅下滑,换成普通的高斯噪声扰动也能挽回一部分损失,但始终比不过兰之万增强的效果。

它在实际任务里表现如何

说了这么多设计理念,最终还是要看跑分。

论文在两大类任务上做了测试:一类是经典的 MuJoCo 连续控制任务(像 Hopper 单腿跳、Walker2d 双足行走、HalfCheetah 猎豹跑、人形机器人 Humanoid 等),另一类是更复杂的长时间跨度机器人操作任务(像 Fetch 系列的推、拿、滑,以及一个基于视觉输入的 PushT 任务)。

在 MuJoCo 这类任务上,GTP 在五个环境里全部跑赢了一众强力对手,包括经典的 SAC、TD3,基于扩散策略的 QSM、DPMD,还有当前最强的模型基线 DreamerV3 和 TD-MPC2。规划步数从 1 步拉长到 4 步之后,性能提升特别明显,比如 HalfCheetah 的分数从一万出头涨到接近一万四千分,Humanoid 从四千多分涨到六千六百多分。这组数据直接证明了"看得远"这件事本身是有价值的,只要能把"看得远"和"算得快"同时做到。

而在长时间跨度的机器人操作任务上,差距拉得更夸张。像 SAC、TD3 这类传统强化学习方法在 FetchPush、FetchPickAndPlace 这些任务上成功率几乎是个位数,GTP 却能做到 100% 和 98%。最震撼的要数那个基于视觉输入的 PushT 任务:所有传统强化学习方法的成功率都是 0%,哪怕把训练数据量翻三倍到三百万步也依然是 0%,而 GTP 在一百万步的训练量下就拿到了 99% 的成功率。

这组对比值得多琢磨一下。为什么增加三倍的数据对那些失败的方法毫无帮助?论文给出的解释是,这些方法失败的原因不是"学得不够",而是结构性的,它们靠单步价值目标更新策略,根本发现不了那种需要连续多步配合才能完成的推块轨迹。你给再多的练习机会,一个只会"走一步看一步"的人也很难无意中走出一整套需要提前规划的连续动作。只有 TD-MPC2 最终在三百万步后追了上来,但它用的时间比 GTP 多了两倍以上。

探索方式也不一样:轨迹级的好奇心

论文还做了一个挺有意思的可视化分析,专门看机器人在训练过程中"探索"的方式有什么不同。

他们在 PushT 任务里记录了机器人末端执行器在训练各个阶段的位置分布,画成热力图。结果显示,SAC 和 DPMD 这类方法几乎不去碰那个需要推动的物体,它们的探索轨迹散得到处都是,但很少真正和任务目标发生有效互动。TD-MPC2 虽然用了模型规划,探索范围确实更广,但显得杂乱无章,这说明仅仅"用模型做规划"不足以产生有条理的探索,如果规划时对动作做的是独立的高斯扰动,时间上的连贯性照样会丢失。

GTP 则表现出一种渐进收敛的探索模式:训练早期就能发现一些有价值的交互行为,随着训练推进,探索逐渐聚拢到物体的轮廓和关键接触区域附近。

这种差异背后的原因,正是因为 GTP 的扰动机制作用在整条轨迹上,而不是逐个动作独立加噪。独立加噪的探索方式就像一群喝醉的人在广场上随机游走,看起来确实走遍了广场的每个角落,但没有一个人能走出一条有意义的路线去完成某个具体任务。GTP 的探索更像是一个有经验的侦察兵,带着明确的任务目标在陌生地带搜索,走的每一步都在为完成任务积累有用信息。

消融实验告诉我们什么是真正重要的

论文做了相当细致的拆解实验,一个个把设计拿掉看影响有多大。

去掉兰之万增强,换成什么都不做,性能从五千多分掉到一千六百多分;换成普通高斯噪声扰动,能回升到四千六百分左右,但依然比不过完整版本。把轨迹级别的价值目标换成单步时序差分目标,也会导致性能下降,印证了开篇提到的"信息传递太慢"问题确实存在。去掉波束搜索这个迭代打磨流程,只用一次性的"从一批样本里挑最好的"做法替代,性能同样大幅下滑,说明光靠采样筛选不足以替代反复细化的过程。

集成动力学模型的影响最为剧烈:如果把五个模型压缩成一个,性能直接崩掉,从五千多分跌到不到两千分。这组数字很直白地说明了一件事:**整个规划系统赖以运转的不确定性信号,一旦消失,后面所有的聚合策略、探索机制全都失去了意义**。

规划步数这个超参数也值得一提。论文在 HalfCheetah 和 FetchSlide 上分别测试了从 1 步到 16 步的不同配置。两个任务都在步数提高到 4 步时获得明显收益,但再往后分化了:HalfCheetah 这种接触密集的运动任务,步数继续增加反而性能下降,大概是因为动力学模型在长步数预测里积累的误差开始主导决策;FetchSlide 这类操作任务则表现出性能趋于平稳而不是下降,哪怕规划到 16 步依然训练得很稳。这说明限制长步数规划的瓶颈,往往不是算法本身不稳定,而是你那个"预测世界会怎样变化"的模型到底有多准。

理论上站得住脚吗

论文还给出了一个理论收敛性证明,核心结论是:**在理想条件下,这种反复用规划结果去训练生成器的过程,会单调地提升期望收益,并且最终让生成器把几乎所有概率质量都集中在接近最优的轨迹上**。

这个证明建立在几个理想化假设之上,比如采样数量足够多、扩散模型拟合足够精确。现实中这些条件当然不完全满足,论文也坦诚地指出了这一点,证明不能直接覆盖有限预算的波束搜索、不完美的函数逼近,或者动力学和价值模型联合训练带来的额外复杂度。但这个理论框架至少解释了为什么论文里设计的几个关键机制(波束搜索提供改进方向、自适应温度控制更新幅度、兰之万增强防止支撑集坍缩)各自对应着理论假设里的哪个环节,不是拍脑袋想出来的拼凑方案。

Q&A

Q1:GTP是什么,它解决了什么问题?

A:GTP全称Generative Trajectory Planning(生成式轨迹规划),是哈佛大学团队提出的一种模型基础的在线决策框架。它用扩散模型学习一个动作序列的提案分布,让机器人不用每次都从零优化整段轨迹,就能兼顾长远规划和计算效率,解决了传统强化学习只看一步和轨迹优化计算太贵之间的矛盾。

Q2:GTP在实际机器人任务上表现怎么样?

A:在MuJoCo连续控制任务上GTP全面超过SAC、TD3、DreamerV3、TD-MPC2等基线方法。在更难的长时间跨度操作任务上差距更大,比如基于视觉的PushT任务,传统强化学习方法训练三百万步成功率仍是0%,而GTP只用一百万步就达到99%的成功率。

Q3:为什么GTP要用五个动力学模型而不是一个?

A:用五个独立训练的集成模型是为了衡量不确定性。如果五个模型预测一致说明该区域已被充分探索可以信任,如果分歧很大说明是陌生地带需要谨慎或鼓励探索。论文实验显示去掉集成只用单一模型,性能会从五千多分直接跌到不到两千分。

责任编辑:zN_1633