一个机器人把鸡蛋煎熟了,但没有及时关火

图:真实机器人执行抓取任务。图片来源:SenseNova GPT-6-Astra 具身智能评测页面。
最近一篇关于 GPT-6-Astra 具身能力的评测文章,给出了一个很有意思的反差。
在传统具身评测里,这个模型的成绩相当漂亮:LIBERO-Long++ 达到 100%,LIBERO-Pro 达到 99.3%,SIMPLE 达到 98.8%,LIBERO-Ultra-Long 也有 98.9%。
看起来,机器人已经开始从“会聊天”进化成“会干活”了。
但到了更接近现实的家庭任务里,画风突然变得很生活化:
- 把笔放进笔筒,人类几秒钟能做完,机器人耗时 4 个多小时,花费约 55 美元。
- 插头插入任务在多个真实机器人平台上测试 11 次,一次都没有成功。
- 鸡蛋已经判断为煎好,模型也决定关火,但大约 90 秒后才真正关掉炉火,鸡蛋已经烧焦。
- 牛奶放进冰箱后,模型转身去处理水果,冰箱门就这样敞开了好几分钟。
- 面对陌生水龙头,机器人反复推动一个本来应该旋转的把手,最后把水槽弄到溢水。
这不是一个“模型完全不会做事”的故事。
恰恰相反,它会观察,会规划,会调用工具,也会在失败后继续尝试。问题在于,它有时像一个非常聪明、非常勤奋、但还没有真正住进这个世界里的实习生。
它知道任务应该怎么说,却不总是知道现实已经发生了什么。
这也是本文想讨论的问题:
LLM 和 VLA 已经能够让机器人看见、理解并执行动作,为什么具身智能还需要世界模型?
我的判断是,问题不只是动作模型不够大,也不只是机器人硬件不够精密。更深一层的问题是:当前系统往往能生成动作,却还没有形成一个足够稳定、可实践、可修正的世界。
先把三个模型分清楚
从模型架构来看,三者分别在回答三个不同的问题。
LLM 主要回答:
这句话后面应该接什么?
VLA 主要回答:
看到这个场景,听到这个指令,下一步应该做什么?
世界模型主要回答:
如果我这样做,世界接下来会变成什么样?
LLM:生活在 token 里的大脑
LLM 的核心架构是文本 token、Transformer 和语言模型头。
它根据前面的 token,预测后面的 token。经过大规模训练以后,它可以把人类语言中的概念、关系、经验和表达方式压缩到参数里。
所以它很擅长:
- 理解语言
- 生成文字
- 分解任务
- 解释规则
- 组织计划
- 根据已有描述进行推理
但 LLM 的基本经验仍然主要来自语言。
它可以知道“鸡蛋煎好后要关火”,也可以写出一份非常像样的早餐流程。但这不等于它真的维护着一个炉火、鸡蛋、锅具和时间变化组成的持续状态。
在文字里,“关火”是一个动作词。
在厨房里,“关火”还意味着:找到正确的旋钮,确认旋钮确实转到关闭位置,确认火焰已经熄灭,确认余热不会继续把鸡蛋烧焦。
语言可以把这些事情都说得很清楚,现实却不会因为描述清楚就自动配合。
VLA:给模型接上眼睛和手
VLA,也就是视觉—语言—动作模型,通常由视觉编码器、多模态 Transformer 和动作输出模块组成。
它把摄像头画面、语言指令、机器人状态放到同一个系统里,然后输出:
- 抓取动作
- 机械臂轨迹
- 末端执行器位置
- 夹爪开合
- 导航指令
- 一连串动作 token
VLA 解决了一个很重要的问题:模型不再只说“应该把杯子拿起来”,而是可以尝试真的把杯子拿起来。
但“能输出动作”和“理解动作后果”仍然是两件事。
VLA 很可能学到的是一种条件映射:
看到类似的场景,接收到类似的指令,就生成类似的动作。
这当然可以非常强大,尤其是在训练数据覆盖充分、任务边界清晰的环境中。
问题是,现实世界很喜欢给模型换题目。
杯子换了材质,插头换了角度,物体被遮住了,摄像头看不到目标,机械臂刚刚碰倒了一个东西,或者任务前半段已经完成但后来又被破坏了——这时,系统需要的就不只是动作模仿,而是对世界状态的持续理解。
世界模型:给机器人一个可以反复推演的世界
世界模型的核心不是生成一段更漂亮的视频,而是建立一个可用于行动的内部状态。
它需要尽可能回答:
- 物体现在在哪里?
- 哪些任务条件已经满足?
- 哪些条件后来又被破坏?
- 这个动作会带来什么后果?
- 哪些错误可以重试,哪些错误不可逆?
- 如果不采取这个动作,未来会怎样?
- 当前信息不够时,应该先观察什么?
世界模型不一定要把世界逐像素重建出来。它更重要的任务,是保留那些对预测、规划和行动有用的状态。
它像是机器人脑子里的“可实践世界”,而不是一张静态地图。
第一层局限:LLM 的语言经验不等于世界经验
LLM 可以从语言里学到大量关于世界的描述。
它知道:
- 杯子通常放在桌子上。
- 杯子摔下来可能会碎。
- 插头需要插进插座。
- 冰箱门打开太久会浪费能源。
- 做饭时需要注意火候。
但这些句子之间的关联,并不自动构成身体经验。
真正操作时,系统还要理解:
- 杯子有没有真的被夹住,而不是看起来被夹住。
- 插头是不是进入了插座,而不是停在插座前面。
- 冰箱门是完全关闭、半开,还是被某个物体挡住。
- 鸡蛋是刚刚达到目标熟度,还是已经在余热中继续变焦。
- 机器人碰到桌面后,原来的物体关系是否已经改变。
这就是语言世界和经验世界之间的断裂。
语言把复杂经验压缩成了容易传播的符号。压缩带来了效率,也丢掉了一部分现场条件。
从语言中知道“插头要插进去”,和在一个有摩擦、有遮挡、有角度误差的真实插座前完成插入,不是同一件事。
前者需要知识。
后者需要经验。
第二层局限:VLA 能做动作,不一定知道动作是否成功
原文中有两个案例,非常适合说明 VLA 或通用大模型的边界。
第一个案例是把杯子挂到挂钩上。
模型通过一个摄像头观察,发现杯柄似乎和挂钩重合,于是判断任务已经完成。但换一个摄像头视角后才发现,杯子实际上没有挂住,而是掉在了桌面上。
模型后续还尝试重新抓取,却把机械夹爪闭合误认为已经接触到了杯子,导致错误继续向后传播。
第二个案例是拼图。
模型判断四块拼图已经组成目标形状,但实际上仍有部分没有对齐。它没有准确定位问题所在,继续调整之后,反而把原本接近完成的部分弄乱了。
这两个案例的共同点是:
模型并非完全没有目标,也不是完全不会规划。
它的问题是没有可靠地判断世界状态。
“看起来重合”不等于“形成稳定接触”。
“看起来对齐”不等于“已经完成拼接”。
“动作执行了”也不等于“任务条件已经满足”。
在软件里,一个函数返回成功,通常可以通过返回值、日志或测试确认。
在物理世界里,物体之间是否真的接触、支撑、固定或对齐,往往需要多个视角、连续观察和进一步动作来验证。
机器人真正需要判断的不是“我有没有发出动作”,而是“这个动作有没有把世界变成我想要的状态”。
第三层局限:多试几次,不等于学会了经验
原文中有一个结果很值得注意。
在 RoboDojo 基准上,GPT-6-Astra 在标准动作预算下的成功率是 27.6%。当允许使用最多 10 倍的动作步数后,成功率提高到 81.9%。
这说明更多的观察、尝试和调整确实可以带来明显收益。
但这里有一个容易被忽略的问题:
成功率提高,究竟是因为模型理解了失败原因,还是因为它获得了更多的抽奖机会?
这两者的外部表现可能很像,内部能力却完全不同。
如果机器人第一次抓取失败后,能够判断是接近角度不对,下一次主动改变接近方向,这接近经验学习。
如果机器人只是换几个位置继续试,直到碰巧抓住,这更像是扩大了搜索预算。
真正的经验学习应该包含至少四步:
- 记录动作前的世界状态;
- 记录动作和执行结果;
- 找到预测与现实之间的差异;
- 把差异转化为下一次可迁移的判断。
否则,系统可能在同一个任务上试得越来越久,却没有真正知道自己为什么成功或失败。
它只是把“不会”变成了“多试几次也许会”。
从满分到不足三成:评测到底在测什么
原文的价值,不仅在于展示了几个漂亮分数,也在于把不同评测之间的反差放到了同一张图里。
封闭评测:测模型能不能完成规定任务
LIBERO、SIMPLE、RoboDojo 等基准,能够测量:
- 任务完成率
- 动作规划能力
- 视觉到动作的映射
- 长程动作组合
- 一定程度的失败恢复能力
这些测试非常有价值,因为没有标准化评测,大家最后只能靠视频集锦互相鼓掌。
但封闭环境也有自己的边界。
它通常会提前定义任务目标,提供明确的成功条件,并在一定程度上限制环境变化。模型知道自己要完成什么,研究人员也知道什么算成功。
现实生活则经常不是这样。
用户说“帮我准备早餐”,并没有指定必须先拿鸡蛋还是先拿面包,也没有说可以把冰箱门开着,更没有允许机器人为了完成早餐把桌面撞成灾后现场。
真实机器人:测物理世界会不会给模型添堵
真实机器人会带来仿真环境中不容易完整呈现的问题:
- 摩擦和接触误差
- 视角遮挡
- 机械臂负载
- 关节限制
- 硬件保护停机
- 设备温度
- 推理等待时间
- 人工安全监护成本
原文里,刚性物体抓取相对容易,但精细接触和长程任务明显更难。
插头插入 11 次全部失败,就是一个很典型的例子。人类觉得“把插头插进去”简单,是因为人类会连续利用触觉、视觉、阻力和微小调整。机器人如果只依赖一次视觉判断和粗粒度动作,现实马上会告诉它什么叫机械公差。
家庭任务:测系统会不会把生活搞得更糟

图:从家庭环境构建、物理绑定、任务设计到最终评测的完整流程。图片来源:SenseNova GPT-6-Astra 具身智能评测页面。
准备早餐、整理桌面、收纳物品,这类任务真正引入了生活中的隐含目标:
- 要在合理时间内完成。
- 要遵守安全要求。
- 不能烧焦食物。
- 不能让水槽溢出。
- 不能忘记关冰箱门。
- 不能为了完成最后一步破坏前面已经完成的部分。
这时,单纯的“任务成功率”就不够了。
还应该评价:
- 完成时间
- 推理成本
- 设备占用成本
- 失败是否可逆
- 是否产生副作用
- 是否符合用户真正想要的结果
一个花两小时、消耗几百万 token、最后还把鸡蛋烧焦的系统,很难称为真正好用的早餐助手。
它可能在 benchmark 上赢得漂亮,在厨房里却输给了计时器。
为什么世界模型是必要的
世界模型的价值,不只是让机器人“看懂三维空间”。它至少提供五种关键能力。
一,维护连续的世界状态
机器人不能只看当前一帧图像。
它需要维护:
- 我现在在哪里。
- 物体原来在哪里,现在在哪里。
- 哪些动作已经执行。
- 哪些条件已经满足。
- 哪些已经完成的条件后来被破坏。
- 当前观察哪些是确定的,哪些只是猜测。
长任务失败,往往不是某一步完全不会,而是系统忘了前面发生过什么。
二,预测动作的后果
在执行动作之前,系统应该先问:
- 会不会碰倒旁边的物体?
- 会不会让液体洒出来?
- 会不会让物品落到无法触及的位置?
- 会不会破坏已经完成的任务状态?
- 这个动作失败后还能不能恢复?
这和 VLA 直接输出下一步动作不同。
VLA 更像“动作提议者”。
世界模型则像“后果审查员”。
当然,审查员也可能判断错,但至少系统有了一个可以显式比较未来的地方。
三,在虚拟环境中进行实践
现实世界的试错很贵。
打翻一杯水,可能只是擦桌子;烧焦一锅饭,可能浪费食材;撞坏一个零件,可能停机维修;让灵巧手持续超负荷工作,甚至可能损坏硬件。
虚拟环境可以让系统先尝试多个方案:
- 先移动哪个物体。
- 从哪个角度接近插座。
- 是否需要先调整摄像头。
- 哪种抓取方式最不容易滑落。
- 哪一条路线对已经完成的状态影响最小。
这就是“虚拟实践”。
世界模型不是只在脑子里背答案,而是在内部世界里先做几次低成本尝试。
四,进行反事实推演
真正的行动推理,不只是知道“做 A 会发生 B”。
还要能够比较:
- 如果不做 A,会发生什么?
- 如果改成 C,结果是否更好?
- 如果当前判断是错的,下一步会不会造成不可逆损失?
- 如果摄像头看不清,应该先做什么来获得信息?
插花任务就是一个很好的例子。
单臂机器人因为腕部摄像头看不到花瓶口,直接操作失败。换成双臂机器人后,模型主动移动另一只机械臂,让另一个摄像头逐渐靠近花瓶口,获得新的视角,然后完成插花。
这不是简单地“会移动另一只手”。
它体现了一个更重要的循环:
观察不充分,先改变观察条件;获得新信息,再更新状态;更新状态之后,重新决定动作。
这已经接近一个真正的世界模型闭环。
五,从失败中修正自己的判断
一个系统失败之后,最重要的不是立刻再试一次,而是先问:
- 我的预测错在哪里?
- 我遗漏了哪个变量?
- 是视角不对,还是接触状态不对?
- 是动作太大,还是目标本身判断错了?
- 这次经验能不能迁移到其他物体或机器人?
如果失败记录只是被丢进日志里,系统不会因此自动变聪明。
经验必须被组织成某种可调用的内部结构,才能在下一次行动中发挥作用。
Harness 和 RSI:它们已经走到世界模型门口
原文后半部分介绍了 Harness 和 SenseNova-RoboRSI。
Harness 负责把模型、机器人控制工具、环境观察和执行反馈连接起来。它决定:
- 模型什么时候被调用。
- 模型接收哪些信息。
- 动作采用什么接口表达。
- 失败后如何继续处理。
- 哪些经验应该被保存。
RoboRSI 则进一步尝试从失败轨迹中改进执行系统,而不必每次都重新训练基础模型。
这条路线很重要,因为具身智能不可能只靠一个“万能大脑”解决所有问题。真正的系统还需要调度、记忆、工具、反馈、权限、安全和评测。
但也要区分两件事。
Harness 解决的是:如何把模型、工具和反馈组织起来。
世界模型解决的是:如何把这些反馈组织成关于世界状态、动作后果和可能未来的统一表示。
前者像一套高效的执行管理系统,后者像一个持续更新的内部世界。
两者应该结合,但不能把一个执行框架直接叫成世界模型。
不然最后会出现一种很熟悉的情况:系统的架构图越来越复杂,机器人还是不知道冰箱门关没关。
从逻辑、经验到反思:智能能力的三层结构
如果只看“能不能完成任务”,很容易把不同层次的能力混在一起。
更清楚的方式,是把具身智能拆成三个层次。
逻辑:知道事情应该怎样连接
逻辑能力包括:
- 动作的先后关系。
- 任务条件和约束。
- 哪些状态互相矛盾。
- 哪些动作会破坏目标。
- 哪些动作必须在另一个动作之前完成。
例如,想把牛奶放进冰箱,至少要先打开冰箱门;放好牛奶之后,还应该把门关上。
这听起来很简单,但长任务中的真正难点是:每个动作都必须和持续变化的世界状态对齐。
经验:知道现实会怎样回应
经验能力来自观察、行动和反馈。
系统需要知道:
- 某种物体在什么角度下容易滑落。
- 某种插头需要怎样调整方向。
- 某种水龙头是旋转还是推动。
- 某个摄像头视角无法确认接触状态。
- 某种动作失败后还可以恢复,某种失败会让任务无法挽回。
经验不是把失败案例存成一段文字,而是把失败转化为下一次行动可以使用的约束和预测。
反思:知道自己为什么错
反思能力要求系统能够回头检查自己的判断:
- 我为什么把杯子误判为挂好了?
- 我为什么认为拼图已经对齐?
- 我为什么没有把关火作为紧急动作处理?
- 我为什么在看不清花瓶口时仍然继续操作?
- 我当前的世界模型遗漏了什么?
逻辑让系统能够推导。
经验让系统能够接触世界。
反思让系统能够修改自己。
世界模型的意义,就是把这三种能力放到同一条行动链上,而不是让语言模型、动作模型和日志系统各自忙各自的。
从 Agent 到 Subject:世界模型不是意识,但可能是主体性的基础
当前很多 agent 的工作方式是:
输入任务,规划动作,调用工具,返回结果,然后等待下一次输入。
这是一种很有用的工具型智能。
但如果要让系统成为能够持续行动的主体,它还需要:
- 持续维护自身状态。
- 主动寻找缺失信息。
- 主动探索环境。
- 形成新的子目标。
- 评估自己的不确定性。
- 根据结果修改内部模型。
- 在没有新指令时继续执行必要的维护动作。
世界模型本身不等于意识,也不会因为加上一个预测模块就突然产生主体性。
但没有持续状态、行动后果、记忆、反事实模拟和失败修正,系统很难从“被输入触发的 agent”走向“能够在世界中持续实践的 subject”。
这也是为什么世界模型的重要性,不应只被理解成“机器人需要更好的 3D 感知”。
它更接近一个行动主体与世界之间的中间层。
这是不是意味着 VLA 没用了
当然不是。
VLA 仍然是具身智能的重要组成部分。
一个更合理的系统,可能会让不同模块负责不同问题:
- LLM 负责高层语言理解和任务分解。
- VLA 负责把视觉和语言转换成候选动作。
- 世界模型负责预测候选动作的后果。
- 规划器负责比较不同未来。
- Harness 负责安排模型、工具、记忆和反馈。
- 底层控制器负责把高层动作变成稳定的机器人运动。
- 安全模块负责阻止危险或不可逆的操作。
换句话说,未来不一定是“世界模型取代 VLA”。
更可能的情况是:VLA 负责提出动作,世界模型负责让系统知道这个动作可能把世界带到哪里。
一个负责“出主意”,一个负责“想清楚后果”。
这比让一个大模型从语言直接一路控制到关节角度,更像一个能落地的工程系统。
最后:具身智能真正缺的不是一双手,而是一套可实践的世界
LLM 让机器能够描述世界。
VLA 让机器能够看见世界,并尝试在世界中行动。
但可靠的具身智能还需要知道:
- 当前世界究竟处于什么状态。
- 自己的动作会带来什么后果。
- 哪些错误可以重试,哪些错误无法恢复。
- 如何通过行动获得新的信息。
- 如何从失败中修正自己的判断。
- 如何把一次经验迁移到下一个相似但不完全相同的任务。
所以,世界模型的价值不只是让机器人理解空间。
它真正要解决的是:
从相关性预测走向因果预测;
从动作模仿走向虚拟实践;
从单次纠错走向经验积累;
从被动执行走向反思性行动。
具身智能的下一道门槛,可能不是让模型再多背一点数据,也不是让机器人再多长两根手指。
而是让它在行动之前能够想一想,在行动之后能够看一看,在失败之后能够真的改一改。
不然,机器人最先进的能力,可能仍然只是把“我知道应该关火”说得越来越像样,却还是等到鸡蛋烧焦了才开始思考。
资料来源
- 微信公众号原文:《从满分到不足三成,GPT-6-Astra 的具身能力上限在哪?》 https://mp.weixin.qq.com/s/55cbbtumbRhSGM92xWwALg
- 技术报告:Has GPT-6-Astra Achieved Embodied Intelligence? https://www.sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence
- SenseNova-RoboRSI 项目: https://github.com/OpenSenseNova/SenseNova-RoboRSI
- 图片来源:SenseNova,GPT-6-Astra 具身智能评测页面 https://www.sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence
事实边界
本文对 GPT-6-Astra 的评测数字和失败案例,依据上述微信公众号文章及其引用的技术报告进行整理。
文中关于“世界模型可能是具身智能主体性的基础”等内容,属于基于模型架构和具身实践的分析判断,不等于已经被实验完全证明的意识理论。