上月 GPT-6-Astra 发布时,OpenAI 称其为「全球最智能且最贴近人类意图的模型」。具身社区则惊讶地发现,VLA 与 WAM 的路线之争,被通用大模型通过文本模态实现了「降维打击」,人们不禁发问:
「GPT-6-Astra 的具身能力究竟能到何种程度?具身社区接下来最应聚焦什么?」

近日,商汤携手大晓机器人、Ropedia、新加坡南洋理工大学和东京大学的研究团队,在《Has GPT-6-Astra Achieved Embodied Intelligence?》中,给出了涵盖 12 项仿真评测与 8 个真实机器人平台的系统性分析。
他们还探讨了 GPT-6-Astra 与底层机器人控制系统协同的方式,并构建了一套更贴近真实家庭需求的具身评测原型。

技术报告链接:https://www.sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence
有趣的是,同一个 GPT-6-Astra,在简单解除限制后,于多项传统具身评测中取得了满分或接近满分的成绩:在长程组合操作评测基准 LIBERO-Long++ 上达 100%,在操作鲁棒性和泛化能力评测 LIBERO-Pro 上为 99.3%,人形机器人基准 SIMPLE 上达 98.8%,RoboDojo 上也获 81.9%。然而,当该模型指挥真实机器人执行任务时,一些日常小事仍让它陷入困境。
「将笔放入笔筒——这个对人类而言几秒内可完成的操作,总耗时超过 4 小时,花费 55 美元。」
「明明判断鸡蛋已煎好,却未能及时关火,最终导致鸡蛋烧焦;打开冰箱放入牛奶后,又转身去搬水果,让冰箱门敞开了数分钟。」
「插头插入操作,在多款真机上交叉验证 11 次,均未成功。」
高分与失误的鲜明对比,暴露出一个核心问题:具备规划、观察与纠正能力的大模型,距离可靠地执行物理任务,还有多远?
报告给出的结论是:GPT-6-Astra 已基本跨越具身能力的门槛,但距离可实际部署的具身智能仍有显著差距。实验中暴露的成本与耗时问题,以及那些意外失误,恰好指明了接下来最需攻克的关键领域。
值得注意的是,去年 GPT-5 发布后,同一团队也曾发布一篇针对其空间智能的评测文章《Has GPT-5 Achieved Spatial Intelligence》,随后推出了 SenseNova-SI 系列模型。由此看来,本次评测更像是一次「提前预告」。
从满分到不足三成 成功率差异何在?
当前,机器人操作领域广泛采用经专门训练的控制策略,以及视觉-语言-动作模型(VLA)等技术路线。这类模型通常利用真实或仿真机器人操作数据进行训练,使机器人能根据视觉信息和任务指令,执行抓取、移动、放置等动作。
GPT-6-Astra 的出现,为具身智能提供了另一条路径。通用大模型可结合视觉信息、机器人状态与任务要求,直接生成操作指令,以供后续执行与调整。它能完成的任务,也开始跨越不同的机器人形态。
为系统研究这一能力,商汤 SenseNova 及其联合研究团队选取了 12 项代表性评测,覆盖桌面操作、灵巧操作、人形机器人移动操作、家庭长程任务和视觉语言导航等五类场景。评测中,GPT-6-Astra 采用统一评测思路,在不同环境中读取观察信息、生成机器人动作,并根据执行结果持续决策。
成绩确实十分突出。除前述 LIBERO-Long++、LIBERO-Pro 和 SIMPLE 外,在超长程机器人操作基准 LIBERO-Ultra-Long 上达 98.9%。对于更复杂的灵巧操作,GPT-6-Astra 在 DexJoCo 上取得 87.3% 成功率,在 RoboDojo 上达 81.9%。这表明,GPT-6-Astra 在多数评测中达到或超越了当时已公开方法的最佳成绩。

图 1:报告中 12 项评测与当时公开结果的对比。
这些高分成绩的背后,研究团队设计了两个关键条件:
第一个是上下文学习(ICL):评测前,GPT-6-Astra 可查看训练集中允许使用的成功示范,从中提取任务说明、动作轨迹、视觉参考、辅助代码和失败恢复方法,形成知识包。知识包在正式测试前冻结,模型参数保持不变,测试任务间也不交换新经验。
这相当于让模型先研究已有操作资料,再进入考场。机器人遇到当前场景时,可检索相近的示范动作,并结合眼前物体的位置进行调整。它利用了任务经验,但未通过重新训练模型权重来学习这些动作。

图 2:ICL 训练范式。
第二个条件是增加执行步数。传统具身评测通常限制机器人的最大动作步数,一旦达到上限,即使任务仅差最后几步,也会被判失败。
研究团队在标准执行预算(1×)基础上,允许模型最多使用 10 倍的动作步数。当机器人抓取失败、物体偏移或操作未达预期时,可继续观察环境,调整操作方案并重新尝试。
这一调整效果立竿见影。以 RoboDojo 基准为例,成功率从标准预算下的 27.6% 提升至 10× 预算下的 81.9%。Bench2Dex 也从 25.6% 提升至 61.5%。在这类需反复调整抓取位置、双手配合和接触精度的任务中,GPT-6-Astra 展现出一定的失败恢复能力。

图 4:GPT-6-Astra 的任务成功率随允许操作步数增加而变化。
然而,这种提升并未在所有基准上出现。在家庭长程基准 BEHAVIOR 中,成功率仅为 37.0%。在长程导航基准 LHPR-VLN 中,即使扩展执行预算,成功率也只有 28.9%。可见,对于需持续管理多个子任务的复杂场景,增加操作次数带来的帮助相对有限。
即使能纠错,仍可能越做越糟
商汤 SenseNova 及其联合研究团队整理的失败案例中,有一个场景颇具代表性:机器人需将杯子挂在挂钩上。GPT-6-Astra 通过头部摄像头观察,发现杯柄似乎已与挂钩重合,于是判断操作成功。但从另一摄像头视角看,杯子实际未挂上,反而落在桌面。模型随后尝试重新抓取,却又将机械夹爪闭合误判为已接触杯子,导致后续操作持续出错。
拼图任务也出现类似情况。GPT-6-Astra 判断四块拼图已组成目标形状,但实际仍有部分未对齐。由于无法识别问题所在,它不断调整拼图位置,却将原本接近完成的部分重新打乱。
这两个案例表明,即使模型能理解任务目标,也可能无法准确判断物理操作是否真正成功。在语言或软件任务中,许多结果可通过文本、程序输出或测试反馈验证。但在机器人操作中,物体看似放在正确位置,并不代表其稳定接触、支撑、对齐或固定到位。机器人需判断物体间真实的接触和位置关系,但这对 GPT-6-Astra 而言存在困难。更棘手的是,物理世界中的一些错误发生后难以补救。
在 RoboDojo 的倒液体任务中,GPT-6-Astra 操作时碰倒杯子,液体洒在桌面。模型随后扶正杯子,尝试继续倒液体,但洒出的部分无法通过简单重试恢复。在 DexJoCo 的装配任务中,一个零件从机械手中滑落到地面。GPT-6-Astra 判断零件超出可操作范围,停止了后续动作。
这解释了为何增加执行步数不一定能解决所有问题。如果机器人仅抓取位置略有偏差,可重新观察并调整夹爪。但如果物体已损坏、液体已洒出,或零件落到无法触及的位置,更多操作尝试也未必有效。

图 6:(a)、(b) 和 (c) 分别对应物理成功条件误判、后果难以撤销的动作,以及长任务中已完成状态遭破坏。
长任务又多出一层麻烦。收纳笔记本电脑和耳机时,GPT-6-Astra 已将笔记本放好,耳机也挂上支架。但它随后返回调整耳机位置时,又将耳机碰落。直到最后,耳机也未重新挂好。这类失败容易被忽略。机器人完成一个步骤后,环境不会永远保持原样。一旦此前完成的条件被破坏,后续任务就可能受影响。这意味着,随着模型越来越擅长规划和纠错,物理执行过程中的验证与恢复成为新难点。
装上更强大脑 执行成本是一大难题
有些评测虽几乎被解决,但时间和 Token 开销惊人。LIBERO-Long++ 在标准预算下的成功率已达 97.5%,但每个测试回合平均仍需消耗约 100 万 Token,推理和工具使用耗时接近一小时。在任务更长的 LIBERO-Ultra-Long 上,平均 Token 消耗约 900 万,耗时接近两小时。在 RoboDojo 的扩展预算测试中,单个回合平均耗时甚至超过三小时。
这些时间并非都花在机器人运动上,大量时间用于模型推理、检查执行结果和调用工具。任务难度越大,反复思考和尝试带来的开销越不可忽视。

图 5:(a) 平均每任务 token 用量,(b) 平均每任务耗时。
既然增加尝试次数带来高昂的时间和 Token 开销,商汤 SenseNova 及其联合研究团队开始探索减少不必要的模型调用,使每次推理和纠错更高效。为此,他们将注意力转向 Harness,即连接模型、环境观察和机器人控制接口的执行系统。
在 RoboDojo 基准上,让 GPT-6-Astra 充当负责推理和动作审查的 System 2,让经过该评测任务微调的 π0.5 VLA 充当提出动作的 System 1,并比较不同协作方式。
开环协作中,GPT-6-Astra 给出子目标,VLA 生成并执行动作,成功率仅 5.83%。闭环协作则将 VLA 提出的候选动作转换为末端执行器运动,让 GPT-6-Astra 在执行前决定接受、修改或拒绝。每次审核 4 个候选动作时,成功率升至 25.83%。再结合 ICL,在每次审核 2 个候选动作的配置下,闭环协作达到 54.17% 的成功率,但 Token 消耗约 1933.5 万,是未结合 ICL、每次审核 4 个动作的闭环配置的约 6.9 倍。

图 7:RoboDojo 基准上,不同 System 1/System 2 协作策略及动作接口的 Token 成本与成功率对比。
除模型与 VLA 的协作外,Harness 还需解决一个问题:如何将大模型的决策转化为机器人能准确执行的动作。
研究团队在 GPT-6-Astra 直接控制机器人的实验中发现,让模型直接指定机械臂各关节角度,成功率仅 9.72%;改为指定机械臂末端位置和姿态,成功率提升至 15.83%;进一步采用相对方向和移动距离描述动作,成功率达 18.06%。「让大模型负责判断机械臂往哪里移动,具体关节运动交给底层控制器处理,效果更好。」
另一个影响成功率和成本的因素是模型的调用频率。每执行一步都重新调用模型,虽便于及时调整,但开销较高。连续执行固定的多步动作,又可能错过环境变化。他们让模型根据情况选择一次执行 1 至 4 步,成功率从 15.83% 提升至 20.00%,Token 消耗则从 256 万降至 114.6 万。
这些实验都指向 Harness 设计中的一个重要取舍:大模型在必要时参与判断和纠错,同时尽可能减少不必要的调用。执行系统如何安排这两者,将直接影响机器人的成功率和 Token 开销。
八个真机平台 能抓能走,精细操作碰壁
仿真评测成绩再高,机器人仍需进入真实物理环境。为验证 GPT-6-Astra 的实际能力,商汤 SenseNova 及其联合研究团队将其部署到 8 个真实机器人平台,覆盖五类不同形态,包括 Franka 3、Franka Panda 等单臂机械臂、双臂 Piper 机器人、搭载灵巧手的天机 M6S、轮式移动操作机器人,以及宇树 G1 人形机器人。
与前述仿真实验不同,这组真机实验未向 GPT-6-Astra 提供成功任务示范,也未针对机器人进行额外训练。模型获得的是人类编写的结构化信息,包括机器人接口、关节限制、摄像头位置、安全约束,以及部分平台上的操作提示。执行时按真实时间计量,通常限时 60 分钟,并由现场操作人员负责安全监护。
结果显示,在这些条件下,同一个 GPT-6-Astra 确实能控制不同形态的机器人完成一系列操作:在刚性物体抓取与放置任务中,18 次测试成功 17 次。在宇树 G1 上,GPT-6-Astra 通过底层控制接口,完成了 3 次机械臂操作中的 2 次,以及全部 3 次转身、行走和停止任务。
不过,一旦涉及精细接触和长程任务,成功率就会明显下降。在 Franka 3 的布料折叠任务中,4 次尝试成功 2 次。在三个机器人平台上的插头插入任务中,累计 11 次尝试全部失败。在 AgileX Tracer 的长程导航与搜索任务中,23 次测试仅成功 9 次。

图 8:零样本真实机器人控制:从简单到复杂的不同机器人形态。
这些结果表明,机器人能完成刚性物体抓取,并不意味着它能应对柔性物体操作、精密接触和长程自主任务。但真机实验中也出现了一个令人意外的现象。
在插花任务中,机器人需抓住花茎,将花插入花瓶。单臂 Franka 3 尝试执行时,腕部摄像头只能看到被夹爪抓住的花茎,看不到下方花瓶口。由于缺少关键视角,