问题与感知

机器人学习研究一个具身智能体如何在环境中持续感知、采取动作并完成目标。一个任务可以用状态 sts_t、动作 ata_t、奖励 rtr_t 和目标 gg 描述：智能体根据当前观测或状态选择动作，环境发生变化并给出新的状态与奖励。倒立摆中，状态包含杆的角度、角速度、小车位置和水平速度，动作是施加的水平力，保持直立可得到奖励；Atari 游戏以屏幕像素为状态、按键为动作、分数为奖励。围绕这一抽象，行走、围棋、文本生成和衣物折叠都可以被表述为序列决策问题，只是状态、动作空间和反馈形式不同。

现实机器人并不直接接收一个完美的状态向量。它面对的是开放、非结构化且持续变化的世界：物体和场景可能未被完整识别，传感器会受遮挡、噪声和光照影响，动作执行存在误差，其他智能体和物体动力学也会改变结果。视觉、触觉等传感器提供的只是部分观测，控制器必须在有限信息下决定接下来做什么。

这使机器人具有三个基本特征。它是具身的，动作受真实机体、关节范围、接触和动力学约束；它是主动的，可以通过移动、抓取或调整视角获取更有用的信息；它又是情境化的，同一动作在不同物体、位置和环境中可能产生不同后果。感知与行动因此形成闭环：观察影响动作，动作又改变下一次观察。将视觉模型单独放在离线图像上评估，无法完全反映其在闭环控制中的价值。

感知与行动闭环

强化学习

强化学习通过与环境反复交互来学习使奖励尽量高的策略。与监督学习中固定数据集、输入、标签和损失的关系相比，强化学习的样本由当前策略自己收集，动作会改变以后能看到的状态和奖励。课件指出了由此带来的四个困难：环境与动作通常具有随机性；奖励可能在很久以后才出现，导致信用分配困难；真实世界的状态转移往往不可微，不能直接穿过环境反向传播；策略更新后，采样分布随之变化，训练目标是非平稳的。

策略 π(a∣s)\pi(a\mid s) 不能只最大化眼前奖励：为了接住稍后掉下来的物体，机器人可能先执行一个当下没有收益的准备动作。目标因而写成最大化折扣回报

J(π)=Eπ[∑t=0∞γtrt],J(\pi)=\mathbb{E}_{\pi}\left[ \sum_{t=0}^{\infty}\gamma^t r_t \right],

其中 γ∈[0,1)\gamma\in[0,1) 控制远期奖励的权重，也让无限求和在有界奖励下保持有限。动作价值函数满足 Bellman 关系

Qπ(st,at)=E[rt+γQπ(st+1,at+1)],Q^\pi(s_t,a_t)= \mathbb{E}\left[r_t+\gamma Q^\pi(s_{t+1},a_{t+1})\right],

它把一条难以整体估计的长期回报递归地拆成“眼前得到什么”和“下一步还值多少”。训练因此可以用一次转移构造监督信号，而不必等整段任务结束；代价是目标中含有模型自己的下一状态估计，自举误差可能互相放大。

DQN 是从原始像素学习控制的代表案例。课件中的 Atari 网络将最近四帧 RGB 画面转成灰度、下采样并裁剪为 4×84×844\times84\times84 的输入，再依次经过卷积层、全连接层，输出每个离散动作的 Q(s,a)Q(s,a)。连续的四帧提供了单帧图像中缺失的运动信息，例如球的速度方向；卷积从像素抽取局部视觉模式；输出层比较不同按键在当前状态的价值。这个例子展示了深度网络可以连接感知与动作，却没有消除大量交互样本的需求。

DQN 用目标网络构造 TD 目标，并最小化

L(θ)=E(s,a,r,s′)∼D[(r+γmax⁡a′Qθˉ(s′,a′)−Qθ(s,a))2].\mathcal{L}(\theta)= \mathbb{E}_{(s,a,r,s')\sim\mathcal{D}} \left[ \left(r+\gamma\max_{a'}Q_{\bar\theta}(s',a') -Q_\theta(s,a)\right)^2 \right].

括号前半部分 r+γmax⁡a′Qθˉ(s′,a′)r+\gamma\max_{a'}Q_{\bar\theta}(s',a') 是 Bellman 关系给出的“一步后应有价值”，后半部分是当前网络的估计，两者之差就是 TD 误差。若用刚更新的同一网络同时生成目标和追赶目标，每次参数变化都会立刻移动标尺；较慢更新的 θˉ\bar\theta 暂时固定标尺，经验回放池 D\mathcal D 又把相邻帧打散，避免一个小批量几乎全是同一局面。这两项提高稳定性，却会引入陈旧数据和滞后的目标估计。

游戏中的进展进一步说明了搜索、先验和模型可以互补。AlphaGo 将模仿学习、树搜索和强化学习结合，击败李世石；AlphaGo Zero 去除了人类棋谱的模仿阶段；AlphaZero 将同一思路推广到国际象棋和将棋；MuZero 则在学习到的游戏模型中规划。AlphaStar 和 OpenAI Five 又把决策扩展到更复杂的多人、实时游戏。机器人领域的地形行走、灵巧手内操作和复杂接触任务更加接近真实物理世界，也更凸显模型自由强化学习的代价：试错需要大量交互，危险动作可能损坏设备或环境，学到的策略难以解释，且失败后的后果不能像游戏一样轻易重置。

世界模型与规划

人类通常会先预想动作后果，再决定是否执行。模型学习将这种能力写成状态转移模型：

p(st+1∣st,at).p(s_{t+1}\mid s_t,a_t).

模型自由方法把所有经验压进策略或价值，执行很快，却难以在新目标下显式比较未尝试的动作；基于模型的方法先学习“当前状态和动作会产生什么”，再在模型内部低成本试演候选序列。一个典型的模型预测控制过程是：从当前状态采样或优化若干未来动作，用模型展开并评价每条轨迹，只执行最优序列的第一个动作，得到真实新观测后重新规划。之所以不一次执行完整计划，是因为模型越向远期滚动，误差越容易累积；每走一步便用真实反馈重置预测起点，可让错误不至于长期失控。代价是每个控制周期都要重新预测和搜索，模型与优化器必须足够快。

在长度为 HH 的规划窗口内，动作序列可写成

at:t+H−1∗=arg⁡max⁡at:t+H−1Epθ[∑k=0H−1γkrt+k].a^*_{t:t+H-1}=\arg\max_{a_{t:t+H-1}} \mathbb{E}_{p_\theta} \left[\sum_{k=0}^{H-1}\gamma^k r_{t+k}\right].

式中的期望表示同一动作在随机动力学下可能产生多种后果，规划器比较的是它们的平均回报；若安全失败代价极高，只看平均值仍可能掩盖低概率碰撞，还需加入不确定性惩罚、硬约束或风险敏感目标。MPC 每次只执行 at∗a_t^*，随后用真实反馈更新起点并重新求解，从而以短时闭环换取对模型误差的耐受。

基于世界模型的规划

关键问题随即变成“状态如何表示”。Deep Visual Foresight 直接学习图像和动作到下一张图像的预测，使机器人能以目标像素、目标图像或图像分类器指定任务；训练数据可由机器人自主与大量物体交互获得，不要求人工给每一步奖励。像素模型保留了丰富观测，却要预测高维图像中的无关细节。Keypoint Dynamics 从自监督对应中提取稳定的关键点，再预测关键点随动作的演化，将规划放到更紧凑的几何轨迹上。Particle Dynamics 则以粒子描述物体，适合液体、布料等连续材料；RoboCook 的例子展示了在不同工具作用下处理复杂可变形材料的需求。

这三种表示形成明显权衡。像素预测最通用但计算重，关键点压缩了状态却可能遗漏形变，粒子更适合材料和接触建模却需要可靠的物体表示。世界模型的准确度决定规划上限；长时间滚动时，微小预测偏差也会累积。因此模型学习常与频繁重规划、短时预测或其他策略学习方法结合。

模仿学习

机器人不必总从随机试错开始。行为克隆把专家演示数据集视为监督数据，直接学习策略

πθ(at∣ot),\pi_\theta(a_t\mid o_t),

使给定观测 oto_t 时的动作分布接近专家动作。它把难写的奖励和危险探索换成了更直接的动作示范：只要专家告诉机器人在观测下该怎么做，就能用成熟的监督学习训练。问题也来自这种静态监督。训练数据只覆盖专家几乎不犯错时会到达的状态；部署中的微小偏差会让机器人进入未见区域，下一步动作更不可靠，误差便沿时间累积。这种训练与测试状态分布不一致称为 covariate shift。让当前策略先执行、再由专家标注它实际访问的偏离状态，可以把“如何恢复”也加入数据，而不只示范理想轨迹。

对演示数据 D={(o,a,g)}\mathcal{D}=\{(o,a,g)\}，常用的最大似然目标为

LBC=−E(o,a,g)∼Dlog⁡πθ(a∣o,g).\mathcal{L}_{\mathrm{BC}} =-\mathbb{E}_{(o,a,g)\sim\mathcal{D}} \log\pi_\theta(a\mid o,g).

上述让学习者执行、再请专家标注其访问状态的流程称为 DAgger。它直接收集部署策略会遇到的偏离状态，能够缓解 covariate shift，但需要专家反复在线介入，真实机器人上的标注成本依然很高。

逆强化学习把方向倒过来：强化学习从奖励得到行为，逆强化学习从专家行为推断可能的奖励，再据此求策略。它适用于“动作容易观察、奖励难以写出”的任务，但奖励函数本身可能有多种解释，推断结果依赖假设和数据覆盖。

普通行为克隆经常显式输出一个动作或动作分布。Implicit Behavioral Cloning 用能量函数 Eθ(o,a)E_\theta(o,a) 对观测—动作对评分，将策略写为

πθ(o)=arg⁡min⁡aEθ(o,a).\pi_\theta(o)=\arg\min_a E_\theta(o,a).

若面对障碍物既可从左绕也可从右绕，直接用均方误差回归动作可能取两种方案的平均，反而撞向中间。能量函数无需先把可行动作压成某个简单参数分布，只要给两个有效区域都分配低能量、给无效区域高能量，便能保留多峰和不连续动作集合；代价是网络输出不再直接等于动作，推理必须在动作空间中搜索最低能量点。

从概率角度，它对应于

pθ(a∣o,g)∝exp⁡[−Eθ(o,g,a)],p_\theta(a\mid o,g) \propto\exp\bigl[-E_\theta(o,g,a)\bigr],

归一化常数需要遍历动作空间，连续控制中难以精确计算，因此训练和推理通常依赖负样本或迭代采样。

Diffusion Policy 也面向复杂、多峰的动作分布。它把一段合法动作轨迹看成数据样本，训练时逐步加噪，再让网络在当前观测条件下学会把噪声拉回专家轨迹分布；去噪过程可以分别落入“从左绕”和“从右绕”等不同模式，不必经过两者的危险平均。一次生成动作序列而非单步动作，还能显式建模相邻控制量的协调关系。执行时只采用序列前部，获得新观测后重新生成，借此兼顾轨迹一致性和闭环纠错；多步网络调用也会占用控制周期，采样步数、动作块长度和机器人频率需要共同设计。

Diffusion Policy 的动作生成

机器人基础策略

机器人基础模型通常不显式维护状态转移函数，而是学习从 (observation/state,goal)(\text{observation/state},\text{goal}) 到动作的策略。目标可以是自然语言指令、图像目标或任务上下文；观测可以包括多相机图像、机器人本体状态和历史动作。RT-1、RT-2、RT-X、OpenVLA、π0\pi_0 等工作体现了视觉、语言与动作模型逐渐统一的过程。视觉语言动作模型（VLA）把互联网规模的语义先验与机器人轨迹结合，使“找杯子”“把物体放入容器”等语言概念可与低层控制关联。

完整数据流可概括为“图像、语言和本体感觉编码—跨模态融合—离散动作 token 或连续动作头—行为克隆或动作生成损失—在线闭环执行”。把不同机器人的数据放在一起，可以让“抓取杯子”之类高层语义和视觉模式共享统计强度；实际动作却分别以关节角、末端位姿或速度表示。若不统一相机视角、坐标系、自由度、控制频率和归一化，同一个数值在两台机器人上可能代表完全不同的运动。规模扩大能共享可迁移部分，不会自动解决物理接口差异。

机器人基础策略的演进

课件以 π0\pi_0 为例说明跨本体策略的训练路线。第一阶段在互联网规模数据和开放的跨本体机器人数据上预训练，视觉语言模型提供语义表示，动作专家学习机器人动作；第二阶段使用更高质量的后训练数据，使模型适应具体平台、动作空间和复杂操作。预训练后的策略可先处理简单、分布内或零样本任务；对更复杂的任务，以少量高质量数据进行高效后训练。π0\pi_0 采用建立在预训练 VLM 上的 flow matching 动作生成架构，输出连续控制动作，覆盖单臂、双臂和移动操作等不同平台。这样的数据与模型扩展有助于共享技能，但“合理的轨迹”不一定就是最优、稳定或安全的轨迹，部署前仍要在目标硬件和任务上验证。

π0 的视觉语言动作架构

评估与挑战

真实世界评估昂贵、噪声大且难以重复。训练损失通常按每一步平均，而任务成功常要求整条长轨迹都不出错；即使单步错误率很小，经过许多步也可能累积成失败，所以动作预测误差下降不必然带来成功率同步提高。仿真提供快速、大量、可控的试验环境，却只有在传感器、摩擦、接触、物体形变等决定策略的因素足够接近现实时才有预测价值。资产和物理模型的偏差会形成 sim-to-real gap，使策略利用仿真中特有的规律而在真实机器人上失效。

课件将世界模型视为机器人基础策略的重要补充：从真实机器人交互数据学习由动作条件化的未来预测，可在执行前比较可能后果。要让这类模型支持可靠规划，仍需处理三维几何、结构先验、学习模型与物理规律的结合，以及真实数据中的相关性与因果性问题。

现有语言和视觉基础模型也尚未为具身任务量身构建。它们可能在涉及空间、几何、物理和连续控制的问题上失败。来自真实交互的强化学习反馈、人类偏好、适应新场景的机制以及持续自我改进，都是下一步需要解决的问题。完整系统还必须考虑感知、推理、规划和控制模块之间的延迟、算力分配和误差传递；这些工程约束决定模型能力能否真正转化为稳定行为。