← 返回栏目
MODELS / 具身智能 · VLA · LLM · 世界模型

从会做动作到理解世界:为什么具身智能需要世界模型

LLM 和 VLA 已经能够看、说、规划和执行动作,但可靠的具身智能还需要什么?本文从逻辑、经验和反思三个层次,讨论世界模型为什么不是机器人的豪华配件,而可能是它真正理解环境的基础。

2026年10月21日15 minJj

一个机器人把鸡蛋煎熟了,但没有及时关火

真实机器人在实验室中执行抓取任务

图:真实机器人执行抓取任务。图片来源:SenseNova GPT-6-Astra 具身智能评测页面。

最近一篇关于 GPT-6-Astra 具身能力的评测文章,给出了一个很有意思的反差。

在传统具身评测里,这个模型的成绩相当漂亮:LIBERO-Long++ 达到 100%,LIBERO-Pro 达到 99.3%,SIMPLE 达到 98.8%,LIBERO-Ultra-Long 也有 98.9%。

看起来,机器人已经开始从“会聊天”进化成“会干活”了。

但到了更接近现实的家庭任务里,画风突然变得很生活化:

  • 把笔放进笔筒,人类几秒钟能做完,机器人耗时 4 个多小时,花费约 55 美元。
  • 插头插入任务在多个真实机器人平台上测试 11 次,一次都没有成功。
  • 鸡蛋已经判断为煎好,模型也决定关火,但大约 90 秒后才真正关掉炉火,鸡蛋已经烧焦。
  • 牛奶放进冰箱后,模型转身去处理水果,冰箱门就这样敞开了好几分钟。
  • 面对陌生水龙头,机器人反复推动一个本来应该旋转的把手,最后把水槽弄到溢水。

这不是一个“模型完全不会做事”的故事。

恰恰相反,它会观察,会规划,会调用工具,也会在失败后继续尝试。问题在于,它有时像一个非常聪明、非常勤奋、但还没有真正住进这个世界里的实习生。

它知道任务应该怎么说,却不总是知道现实已经发生了什么。

这也是本文想讨论的问题:

LLM 和 VLA 已经能够让机器人看见、理解并执行动作,为什么具身智能还需要世界模型?

我的判断是,问题不只是动作模型不够大,也不只是机器人硬件不够精密。更深一层的问题是:当前系统往往能生成动作,却还没有形成一个足够稳定、可实践、可修正的世界。

先把三个模型分清楚

从模型架构来看,三者分别在回答三个不同的问题。

LLM 主要回答:

这句话后面应该接什么?

VLA 主要回答:

看到这个场景,听到这个指令,下一步应该做什么?

世界模型主要回答:

如果我这样做,世界接下来会变成什么样?

LLM:生活在 token 里的大脑

LLM 的核心架构是文本 token、Transformer 和语言模型头。

它根据前面的 token,预测后面的 token。经过大规模训练以后,它可以把人类语言中的概念、关系、经验和表达方式压缩到参数里。

所以它很擅长:

  • 理解语言
  • 生成文字
  • 分解任务
  • 解释规则
  • 组织计划
  • 根据已有描述进行推理

但 LLM 的基本经验仍然主要来自语言。

它可以知道“鸡蛋煎好后要关火”,也可以写出一份非常像样的早餐流程。但这不等于它真的维护着一个炉火、鸡蛋、锅具和时间变化组成的持续状态。

在文字里,“关火”是一个动作词。

在厨房里,“关火”还意味着:找到正确的旋钮,确认旋钮确实转到关闭位置,确认火焰已经熄灭,确认余热不会继续把鸡蛋烧焦。

语言可以把这些事情都说得很清楚,现实却不会因为描述清楚就自动配合。

VLA:给模型接上眼睛和手

VLA,也就是视觉—语言—动作模型,通常由视觉编码器、多模态 Transformer 和动作输出模块组成。

它把摄像头画面、语言指令、机器人状态放到同一个系统里,然后输出:

  • 抓取动作
  • 机械臂轨迹
  • 末端执行器位置
  • 夹爪开合
  • 导航指令
  • 一连串动作 token

VLA 解决了一个很重要的问题:模型不再只说“应该把杯子拿起来”,而是可以尝试真的把杯子拿起来。

但“能输出动作”和“理解动作后果”仍然是两件事。

VLA 很可能学到的是一种条件映射:

看到类似的场景,接收到类似的指令,就生成类似的动作。

这当然可以非常强大,尤其是在训练数据覆盖充分、任务边界清晰的环境中。

问题是,现实世界很喜欢给模型换题目。

杯子换了材质,插头换了角度,物体被遮住了,摄像头看不到目标,机械臂刚刚碰倒了一个东西,或者任务前半段已经完成但后来又被破坏了——这时,系统需要的就不只是动作模仿,而是对世界状态的持续理解。

世界模型:给机器人一个可以反复推演的世界

世界模型的核心不是生成一段更漂亮的视频,而是建立一个可用于行动的内部状态。

它需要尽可能回答:

  • 物体现在在哪里?
  • 哪些任务条件已经满足?
  • 哪些条件后来又被破坏?
  • 这个动作会带来什么后果?
  • 哪些错误可以重试,哪些错误不可逆?
  • 如果不采取这个动作,未来会怎样?
  • 当前信息不够时,应该先观察什么?

世界模型不一定要把世界逐像素重建出来。它更重要的任务,是保留那些对预测、规划和行动有用的状态。

它像是机器人脑子里的“可实践世界”,而不是一张静态地图。

第一层局限:LLM 的语言经验不等于世界经验

LLM 可以从语言里学到大量关于世界的描述。

它知道:

  • 杯子通常放在桌子上。
  • 杯子摔下来可能会碎。
  • 插头需要插进插座。
  • 冰箱门打开太久会浪费能源。
  • 做饭时需要注意火候。

但这些句子之间的关联,并不自动构成身体经验。

真正操作时,系统还要理解:

  • 杯子有没有真的被夹住,而不是看起来被夹住。
  • 插头是不是进入了插座,而不是停在插座前面。
  • 冰箱门是完全关闭、半开,还是被某个物体挡住。
  • 鸡蛋是刚刚达到目标熟度,还是已经在余热中继续变焦。
  • 机器人碰到桌面后,原来的物体关系是否已经改变。

这就是语言世界和经验世界之间的断裂。

语言把复杂经验压缩成了容易传播的符号。压缩带来了效率,也丢掉了一部分现场条件。

从语言中知道“插头要插进去”,和在一个有摩擦、有遮挡、有角度误差的真实插座前完成插入,不是同一件事。

前者需要知识。

后者需要经验。

第二层局限:VLA 能做动作,不一定知道动作是否成功

原文中有两个案例,非常适合说明 VLA 或通用大模型的边界。

第一个案例是把杯子挂到挂钩上。

模型通过一个摄像头观察,发现杯柄似乎和挂钩重合,于是判断任务已经完成。但换一个摄像头视角后才发现,杯子实际上没有挂住,而是掉在了桌面上。

模型后续还尝试重新抓取,却把机械夹爪闭合误认为已经接触到了杯子,导致错误继续向后传播。

第二个案例是拼图。

模型判断四块拼图已经组成目标形状,但实际上仍有部分没有对齐。它没有准确定位问题所在,继续调整之后,反而把原本接近完成的部分弄乱了。

这两个案例的共同点是:

模型并非完全没有目标,也不是完全不会规划。

它的问题是没有可靠地判断世界状态。

“看起来重合”不等于“形成稳定接触”。

“看起来对齐”不等于“已经完成拼接”。

“动作执行了”也不等于“任务条件已经满足”。

在软件里,一个函数返回成功,通常可以通过返回值、日志或测试确认。

在物理世界里,物体之间是否真的接触、支撑、固定或对齐,往往需要多个视角、连续观察和进一步动作来验证。

机器人真正需要判断的不是“我有没有发出动作”,而是“这个动作有没有把世界变成我想要的状态”。

第三层局限:多试几次,不等于学会了经验

原文中有一个结果很值得注意。

在 RoboDojo 基准上,GPT-6-Astra 在标准动作预算下的成功率是 27.6%。当允许使用最多 10 倍的动作步数后,成功率提高到 81.9%。

这说明更多的观察、尝试和调整确实可以带来明显收益。

但这里有一个容易被忽略的问题:

成功率提高,究竟是因为模型理解了失败原因,还是因为它获得了更多的抽奖机会?

这两者的外部表现可能很像,内部能力却完全不同。

如果机器人第一次抓取失败后,能够判断是接近角度不对,下一次主动改变接近方向,这接近经验学习。

如果机器人只是换几个位置继续试,直到碰巧抓住,这更像是扩大了搜索预算。

真正的经验学习应该包含至少四步:

  1. 记录动作前的世界状态;
  2. 记录动作和执行结果;
  3. 找到预测与现实之间的差异;
  4. 把差异转化为下一次可迁移的判断。

否则,系统可能在同一个任务上试得越来越久,却没有真正知道自己为什么成功或失败。

它只是把“不会”变成了“多试几次也许会”。

从满分到不足三成:评测到底在测什么

原文的价值,不仅在于展示了几个漂亮分数,也在于把不同评测之间的反差放到了同一张图里。

封闭评测:测模型能不能完成规定任务

LIBERO、SIMPLE、RoboDojo 等基准,能够测量:

  • 任务完成率
  • 动作规划能力
  • 视觉到动作的映射
  • 长程动作组合
  • 一定程度的失败恢复能力

这些测试非常有价值,因为没有标准化评测,大家最后只能靠视频集锦互相鼓掌。

但封闭环境也有自己的边界。

它通常会提前定义任务目标,提供明确的成功条件,并在一定程度上限制环境变化。模型知道自己要完成什么,研究人员也知道什么算成功。

现实生活则经常不是这样。

用户说“帮我准备早餐”,并没有指定必须先拿鸡蛋还是先拿面包,也没有说可以把冰箱门开着,更没有允许机器人为了完成早餐把桌面撞成灾后现场。

真实机器人:测物理世界会不会给模型添堵

真实机器人会带来仿真环境中不容易完整呈现的问题:

  • 摩擦和接触误差
  • 视角遮挡
  • 机械臂负载
  • 关节限制
  • 硬件保护停机
  • 设备温度
  • 推理等待时间
  • 人工安全监护成本

原文里,刚性物体抓取相对容易,但精细接触和长程任务明显更难。

插头插入 11 次全部失败,就是一个很典型的例子。人类觉得“把插头插进去”简单,是因为人类会连续利用触觉、视觉、阻力和微小调整。机器人如果只依赖一次视觉判断和粗粒度动作,现实马上会告诉它什么叫机械公差。

家庭任务:测系统会不会把生活搞得更糟

具身智能家庭环境评测流程

图:从家庭环境构建、物理绑定、任务设计到最终评测的完整流程。图片来源:SenseNova GPT-6-Astra 具身智能评测页面。

准备早餐、整理桌面、收纳物品,这类任务真正引入了生活中的隐含目标:

  • 要在合理时间内完成。
  • 要遵守安全要求。
  • 不能烧焦食物。
  • 不能让水槽溢出。
  • 不能忘记关冰箱门。
  • 不能为了完成最后一步破坏前面已经完成的部分。

这时,单纯的“任务成功率”就不够了。

还应该评价:

  • 完成时间
  • 推理成本
  • 设备占用成本
  • 失败是否可逆
  • 是否产生副作用
  • 是否符合用户真正想要的结果

一个花两小时、消耗几百万 token、最后还把鸡蛋烧焦的系统,很难称为真正好用的早餐助手。

它可能在 benchmark 上赢得漂亮,在厨房里却输给了计时器。

为什么世界模型是必要的

世界模型的价值,不只是让机器人“看懂三维空间”。它至少提供五种关键能力。

一,维护连续的世界状态

机器人不能只看当前一帧图像。

它需要维护:

  • 我现在在哪里。
  • 物体原来在哪里,现在在哪里。
  • 哪些动作已经执行。
  • 哪些条件已经满足。
  • 哪些已经完成的条件后来被破坏。
  • 当前观察哪些是确定的,哪些只是猜测。

长任务失败,往往不是某一步完全不会,而是系统忘了前面发生过什么。

二,预测动作的后果

在执行动作之前,系统应该先问:

  • 会不会碰倒旁边的物体?
  • 会不会让液体洒出来?
  • 会不会让物品落到无法触及的位置?
  • 会不会破坏已经完成的任务状态?
  • 这个动作失败后还能不能恢复?

这和 VLA 直接输出下一步动作不同。

VLA 更像“动作提议者”。

世界模型则像“后果审查员”。

当然,审查员也可能判断错,但至少系统有了一个可以显式比较未来的地方。

三,在虚拟环境中进行实践

现实世界的试错很贵。

打翻一杯水,可能只是擦桌子;烧焦一锅饭,可能浪费食材;撞坏一个零件,可能停机维修;让灵巧手持续超负荷工作,甚至可能损坏硬件。

虚拟环境可以让系统先尝试多个方案:

  • 先移动哪个物体。
  • 从哪个角度接近插座。
  • 是否需要先调整摄像头。
  • 哪种抓取方式最不容易滑落。
  • 哪一条路线对已经完成的状态影响最小。

这就是“虚拟实践”。

世界模型不是只在脑子里背答案,而是在内部世界里先做几次低成本尝试。

四,进行反事实推演

真正的行动推理,不只是知道“做 A 会发生 B”。

还要能够比较:

  • 如果不做 A,会发生什么?
  • 如果改成 C,结果是否更好?
  • 如果当前判断是错的,下一步会不会造成不可逆损失?
  • 如果摄像头看不清,应该先做什么来获得信息?

插花任务就是一个很好的例子。

单臂机器人因为腕部摄像头看不到花瓶口,直接操作失败。换成双臂机器人后,模型主动移动另一只机械臂,让另一个摄像头逐渐靠近花瓶口,获得新的视角,然后完成插花。

这不是简单地“会移动另一只手”。

它体现了一个更重要的循环:

观察不充分,先改变观察条件;获得新信息,再更新状态;更新状态之后,重新决定动作。

这已经接近一个真正的世界模型闭环。

五,从失败中修正自己的判断

一个系统失败之后,最重要的不是立刻再试一次,而是先问:

  • 我的预测错在哪里?
  • 我遗漏了哪个变量?
  • 是视角不对,还是接触状态不对?
  • 是动作太大,还是目标本身判断错了?
  • 这次经验能不能迁移到其他物体或机器人?

如果失败记录只是被丢进日志里,系统不会因此自动变聪明。

经验必须被组织成某种可调用的内部结构,才能在下一次行动中发挥作用。

Harness 和 RSI:它们已经走到世界模型门口

原文后半部分介绍了 Harness 和 SenseNova-RoboRSI。

Harness 负责把模型、机器人控制工具、环境观察和执行反馈连接起来。它决定:

  • 模型什么时候被调用。
  • 模型接收哪些信息。
  • 动作采用什么接口表达。
  • 失败后如何继续处理。
  • 哪些经验应该被保存。

RoboRSI 则进一步尝试从失败轨迹中改进执行系统,而不必每次都重新训练基础模型。

这条路线很重要,因为具身智能不可能只靠一个“万能大脑”解决所有问题。真正的系统还需要调度、记忆、工具、反馈、权限、安全和评测。

但也要区分两件事。

Harness 解决的是:如何把模型、工具和反馈组织起来。

世界模型解决的是:如何把这些反馈组织成关于世界状态、动作后果和可能未来的统一表示。

前者像一套高效的执行管理系统,后者像一个持续更新的内部世界。

两者应该结合,但不能把一个执行框架直接叫成世界模型。

不然最后会出现一种很熟悉的情况:系统的架构图越来越复杂,机器人还是不知道冰箱门关没关。

从逻辑、经验到反思:智能能力的三层结构

如果只看“能不能完成任务”,很容易把不同层次的能力混在一起。

更清楚的方式,是把具身智能拆成三个层次。

逻辑:知道事情应该怎样连接

逻辑能力包括:

  • 动作的先后关系。
  • 任务条件和约束。
  • 哪些状态互相矛盾。
  • 哪些动作会破坏目标。
  • 哪些动作必须在另一个动作之前完成。

例如,想把牛奶放进冰箱,至少要先打开冰箱门;放好牛奶之后,还应该把门关上。

这听起来很简单,但长任务中的真正难点是:每个动作都必须和持续变化的世界状态对齐。

经验:知道现实会怎样回应

经验能力来自观察、行动和反馈。

系统需要知道:

  • 某种物体在什么角度下容易滑落。
  • 某种插头需要怎样调整方向。
  • 某种水龙头是旋转还是推动。
  • 某个摄像头视角无法确认接触状态。
  • 某种动作失败后还可以恢复,某种失败会让任务无法挽回。

经验不是把失败案例存成一段文字,而是把失败转化为下一次行动可以使用的约束和预测。

反思:知道自己为什么错

反思能力要求系统能够回头检查自己的判断:

  • 我为什么把杯子误判为挂好了?
  • 我为什么认为拼图已经对齐?
  • 我为什么没有把关火作为紧急动作处理?
  • 我为什么在看不清花瓶口时仍然继续操作?
  • 我当前的世界模型遗漏了什么?

逻辑让系统能够推导。

经验让系统能够接触世界。

反思让系统能够修改自己。

世界模型的意义,就是把这三种能力放到同一条行动链上,而不是让语言模型、动作模型和日志系统各自忙各自的。

从 Agent 到 Subject:世界模型不是意识,但可能是主体性的基础

当前很多 agent 的工作方式是:

输入任务,规划动作,调用工具,返回结果,然后等待下一次输入。

这是一种很有用的工具型智能。

但如果要让系统成为能够持续行动的主体,它还需要:

  • 持续维护自身状态。
  • 主动寻找缺失信息。
  • 主动探索环境。
  • 形成新的子目标。
  • 评估自己的不确定性。
  • 根据结果修改内部模型。
  • 在没有新指令时继续执行必要的维护动作。

世界模型本身不等于意识,也不会因为加上一个预测模块就突然产生主体性。

但没有持续状态、行动后果、记忆、反事实模拟和失败修正,系统很难从“被输入触发的 agent”走向“能够在世界中持续实践的 subject”。

这也是为什么世界模型的重要性,不应只被理解成“机器人需要更好的 3D 感知”。

它更接近一个行动主体与世界之间的中间层。

这是不是意味着 VLA 没用了

当然不是。

VLA 仍然是具身智能的重要组成部分。

一个更合理的系统,可能会让不同模块负责不同问题:

  • LLM 负责高层语言理解和任务分解。
  • VLA 负责把视觉和语言转换成候选动作。
  • 世界模型负责预测候选动作的后果。
  • 规划器负责比较不同未来。
  • Harness 负责安排模型、工具、记忆和反馈。
  • 底层控制器负责把高层动作变成稳定的机器人运动。
  • 安全模块负责阻止危险或不可逆的操作。

换句话说,未来不一定是“世界模型取代 VLA”。

更可能的情况是:VLA 负责提出动作,世界模型负责让系统知道这个动作可能把世界带到哪里。

一个负责“出主意”,一个负责“想清楚后果”。

这比让一个大模型从语言直接一路控制到关节角度,更像一个能落地的工程系统。

最后:具身智能真正缺的不是一双手,而是一套可实践的世界

LLM 让机器能够描述世界。

VLA 让机器能够看见世界,并尝试在世界中行动。

但可靠的具身智能还需要知道:

  • 当前世界究竟处于什么状态。
  • 自己的动作会带来什么后果。
  • 哪些错误可以重试,哪些错误无法恢复。
  • 如何通过行动获得新的信息。
  • 如何从失败中修正自己的判断。
  • 如何把一次经验迁移到下一个相似但不完全相同的任务。

所以,世界模型的价值不只是让机器人理解空间。

它真正要解决的是:

从相关性预测走向因果预测;

从动作模仿走向虚拟实践;

从单次纠错走向经验积累;

从被动执行走向反思性行动。

具身智能的下一道门槛,可能不是让模型再多背一点数据,也不是让机器人再多长两根手指。

而是让它在行动之前能够想一想,在行动之后能够看一看,在失败之后能够真的改一改。

不然,机器人最先进的能力,可能仍然只是把“我知道应该关火”说得越来越像样,却还是等到鸡蛋烧焦了才开始思考。


资料来源

  1. 微信公众号原文:《从满分到不足三成,GPT-6-Astra 的具身能力上限在哪?》 https://mp.weixin.qq.com/s/55cbbtumbRhSGM92xWwALg
  2. 技术报告:Has GPT-6-Astra Achieved Embodied Intelligence? https://www.sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence
  3. SenseNova-RoboRSI 项目: https://github.com/OpenSenseNova/SenseNova-RoboRSI
  4. 图片来源:SenseNova,GPT-6-Astra 具身智能评测页面 https://www.sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence

事实边界

本文对 GPT-6-Astra 的评测数字和失败案例,依据上述微信公众号文章及其引用的技术报告进行整理。

文中关于“世界模型可能是具身智能主体性的基础”等内容,属于基于模型架构和具身实践的分析判断,不等于已经被实验完全证明的意识理论。

← 全部文章