清华团队构建HandsOn灵巧操作基准，66项任务全方位评测机器人双手能力

机器人操作的评估体系，需为灵巧手重新设计。以往的机器人操作基准大多聚焦于夹爪。随着第一人称人类操作数据持续积累，人手抓握、使用工具和完成精细接触的方式正被大规模记录。灵巧手结构与人手相近，有望借助这些数据实现更大规模的学习，成为机器人操作的关键方向。

但灵巧手不断进化，评估体系却未同步跟上。灵巧手拥有大量主动关节，任务充满接触，常需双手协作，并在长动作序列中保持前序成果；成功与否难以判断，失败环节也难以定位。夹爪时代的基准无法直接应对这些挑战，而针对灵巧手的系统、可靠评测体系目前仍缺失。

数据和模型在前进，却缺少衡量进展的标尺。近日，清华大学丁宁团队联合北京邮电大学、北京大学及自然意志Nature Will的研究员，共同构建了一个面向跨本体灵巧操作的可组合仿真平台与评测基准HandsOn，旨在弥补这一空白。

HandsOn包含66项人工验证任务和18,000条人类仿真遥操作示范，围绕工具使用、精细接触、双手协作和任务迁移进行评估。平台支持5种机械臂、6种灵巧手，以及约200种刚体、关节物体和可变形物体资产，并可在随机化场景中组合。

HandsOn包含18,000条精选仿真遥操作示范，任务分为Core-50与Transfer-16。这份基准给出的成绩单并不轻松：团队评估了扩散策略、视觉语言动作模型、世界动作模型等不同路线。结果显示，在提供训练示范的Core-50任务中，表现最好的受训多任务策略成功率为29.1%。面对没有目标任务训练示范的Transfer-16，8种受训多任务策略的任务平均成功率均低于1%。

此外，GPT-6未经基准数据微调，通过move_eef接口控制手掌与手指，在660次测试中，Core-50和Transfer-16的成功率分别为5.2%和1.9%。团队还进一步追踪了抓取、接触、双手协调和目标状态保持等环节，发现机器人常能完成动作前半段，却在关键时刻失误。

相关论文、代码与数据资源已公布。论文arXiv：https://arxiv.org/abs/2610.26765，代码GitHub：https://github.com/TsinghuaC3I/HandsOn，数据Hugging Face：https://huggingface.co/datasets/Cyan666/HandsOn-Datasets。

为什么灵巧手需要一套新的评测基准？

灵巧手的难点不仅在于比夹爪多几根手指，还在于需控制操作过程中不断变化的接触关系。拿起鼠标后，机器人需避免提前触发点击；设置两个旋钮时，需让它们同时保持在目标位置；放置盒盖时，还需在松手后维持原有的对齐状态。这些任务要求机器人协调手指动作、判断接触状态，并确保已完成操作不被后续动作破坏。

这也改变了机器人操作的评测方式。对于夹爪，抓取是否成功、物体是否放到位是关键依据。对于灵巧手，仅抓住物体远远不够。机器人还需真正使用工具、完成精细操作，并在多步骤任务中维持正确物体状态。一次动作取得进展，不代表整项任务已成功。

第一视角人类操作数据的积累，为灵巧手学习这些技能提供了新机会。但示范数据增加后，仍需回答两个问题：模型能否稳定复现学过的操作？面对新物体、任务组合或可变形物体时，能否迁移已有技能？

已有的灵巧操作基准已覆盖不同机器人本体、功能性操作和双手协作。不过，相关研究在人类示范数据规模、专门留作评估的未见任务，以及操作失败过程诊断等方面，仍有改进空间。

HandsOn的设计从这里切入，将执行能力与泛化能力分开测量，把66项任务划分为Core-50和Transfer-16两套评测。Core-50提供用于策略学习的示范数据，并通过新一轮独立执行测试评估策略表现；Transfer-16则专门用于泛化能力评测，不会将目标任务的示范数据纳入训练集。

这种设计不仅检验机器人能否完成有示范的任务，也进一步考查已有技能能否迁移到新操作条件。结合阶段性诊断，研究者可分析失败发生在接触建立、功能操作、双手协调、目标状态保持，还是后续步骤衔接等环节。

Core-50：学会任务之后，能否稳定执行？

Core-50包含50项提供训练示范的任务，涵盖功能理解、数值输入、空间关系、关节操作、精确接触和双手协作等能力。这些分类对应具体生活场景：操作剪刀时，机器人需将其抬离桌面，在持续抓持中完成三次开合；设置计时器时，需输入指定分钟和秒数，启动后撤回双手；展开折扇则要求双手握住外侧扇骨，将其展开至目标角度并保持。制作咖啡进一步串联了取杯、关门、接咖啡和放置等步骤，考查动作间的衔接。

任务设计沿三个维度展开。第一个维度是交互类型，包括基本操作、功能使用和接触密集操作。第二个维度是任务结构，包括单阶段操作、重复操作和长时程任务。第三个维度是物体类型，覆盖刚体、具有转动或滑动关节的物体，以及可变形物体。在Core-50中，三类交互分别包含17、18和15项任务，三个维度交叉组合，使基准能覆盖不同难度的操作场景。

Transfer-16：换了物体和任务，还能不能完成？

Transfer-16包含16项不提供目标任务训练示范的评测任务，进一步考察模型能否迁移已有技能。其中，7项任务考察资产或关系迁移，6项任务考察技能组合，另外3项涉及可变形物体操作。资产或关系迁移要求模型面对新物体或目标关系，找到正确操作对象并完成任务。技能组合要求模型将已学动作按正确顺序衔接。可变形物体操作则引入毛巾、海绵和枕头，要求模型应对物体形状在操作过程中的变化。

例如，在交接方块后盖盒子的任务中，机器人需先完成双手交接，再将方块放入盒中，最后对齐并盖好盒盖。每个局部动作可能已在其他任务中出现，但模型仍需判断当前步骤是否完成，以及前一步结果能否继续保持。连续折叠毛巾的要求更复杂：机器人需连续完成两次折叠，并在释放后让毛巾稳定留在桌面上。柔性物体会随抓持位置和施力方式改变形状，操作过程更难预测。

可以看出，Core-50主要检验有示范任务上的学习与执行能力，Transfer-16则进一步测试已有能力能否迁移和组合。

让失败也能被准确记录

为保证评测可信，HandsOn为每项任务制定了任务卡，规定目标、标准初始状态、预期最终状态、允许和禁止的动作，以及判断任务是否完成的证据。完成条件可依据物体位姿、关节状态或图像等信息判断。研究团队还对任务开展人工操作验证，并设置独立审核流程，检查成功标记是否与实际物理状态一致。

在多步骤任务中，评测还会记录按顺序完成的阶段进展。例如，方块交接任务会区分两只手共同接触物体，以及接收手已能独立支撑物体。技能组合任务则会检查前置步骤是否完成，已有结果是否得到保持。这让研究者能区分两种情况：模型完全没有完成任务，还是已完成一部分，却在后续步骤中失败。

1.8万条示范之后，机器人学会了什么？

与夹爪数据不同，灵巧手的示范需记录手指层面的细粒度动作。HandsOn采用人类遥操作方式，把人手操作转化为灵巧手的动作示范，这也与第一视角人类操作数据的发展方向相呼应。围绕这套任务，HandsOn收集了约56小时的人类操作记录，涉及至少10名操作者、超过1,050次采集会话。操作者佩戴MANUS数据手套，并借助腕部追踪设备控制仿真机器人，系统同步保存图像、状态、动作与语言信息。

18,000条示范中，15,178条用于训练，2,822条用于验证。每次交互都包含正面与左右腕部三路图像：正面视角呈现桌面布局和双手位置，腕部视角提供靠近手指与物体的局部观察。对于需精确接触的任务，局部画面能补充手指如何接近、抓持和操作物体的信息。

数据规模增加后，成功率会如何变化？研究团队选择“将球放入碗”和“举起剪刀并开合”两个任务，用π0.5开展单任务实验，将训练示范依次增加至10条、50条、100条、200条，最后使用完整训练池。结果显示，放球任务的成功率从7%提升至83%，剪刀任务从1%提升至44%，两项任务在五个测试规模上均持续改善。完整训练池分别包含438条和439条示范，各检查点均训练20,000次更新，并通过100回合新的闭环执行测量表现。

这组结果让数据收益有了直观参照。随着示范增加，模型在两项任务中都获得了更高成功率；与此同时，剪刀操作与放球任务之间仍有较大差距，显示出稳定抓持与工具功能动作结合后的难度。实验采用单一训练种子，报告的95% Wilson区间反映测试回合的不确定性，训练种子与子集选择带来的变化仍需进一步检验。

数据还可从视觉外观上扩展。HandsOn支持对同一段操作进行高保真重渲染，改变桌面材质、光照、房间背景及相机的小幅偏移，同时保留原有状态与动作监督。研究者由此可围绕同一次交互生成不同观察，检查策略面对外观变化时的适应情况。

在机器人配置上，HandsOn围绕真实ROKAE机械臂与第一代Wuji Hand建立仿真对应，每只手包含20个主动关节。运动学、关节限制、资产尺度、相机标定，以及状态和动作坐标，都纳入对应记录。主相机与腕部相机配合，使整体布局与手部细节进入同一套数据和评测流程。

平台支持5种机械臂、6种灵巧手和约200种资产，本次数据采集与定量评测统一采用ROKAE—Wuji及PhysX配置。团队还提供了使用仿真示范适配策略的真机运行视频，在无目标任务真机示范的条件下，定性展示接触、搬运与姿态保持。有关现实执行的表现，目前可结合这些视频观察，其证据范围与仿真中的定量评测有所区别。

29.1%的成功率，双手配合难在哪里？

HandsOn共评测10种方法，包括5种视觉语言动作模型（VLA）、3种世界动作模型（WAM）、按任务分别训练的Diffusion Policy，以及零样本控制参照GPT-6。前9种方法使用HandsOn示范训练，其中8种采用多任务训练。

在Core-50上，9种受训方法累计完成近4.5万次有效测试，多任务策略的最高任务平均成功率由OpenWAM取得，为29.1%。不同任务之间的差异较为明显：抓取、搬运和部分关节操作相对容易，使用工具作用于第三个物体、完成精密配合等任务仍然困难。

迁移评测的结果更严峻。Transfer-16上，8种多任务受训策略的任务平均成功率均低于1%，单任务Diffusion Policy未参加这部分评测。面对新资产、技能组合与可变形物体，已有训练经验转化为完整任务成功的能力仍有限。

完整成功较少时，阶段进展提供了进一步分析的入口。双旋钮任务就是一个例子：两只手分别操作旋钮，将两侧都调至目标状态，并满足保持与释放等条件。在8个多任务模型共800次尝试中，219次曾让两侧各自到达目标，38次实现同时到位，最终5次满足完整条件。差距主要出现在两个局部结果如何共同成立。常见情况是，先到位的那只手继续转动，另一只手尚未完成时，已有结果已发生变化。

方块交接则体现了双手之间的时序要求。在367次两手共同握住方块的回合中，188次实现了接收手独立接管；其余179次中，有175次随后掉落。给予手何时松开，需与接收手的支撑状态协调。

长任务又增加了对顺序的要求。在要求先盖水壶、再盖盒子的组合任务中，400次尝试有340次先移动了盒盖。这类记录为后续研究提供了可追踪的问题：模型如何确认当前步骤完成，如何保持已有结果，以及何时启动下一步操作。

研究还通过保持画面、替换指令中目标物体的方式，检查动作是否随语言目标改变。部分检查点对物体名称的响应仍有限，提示目标选择同样需持续检验。一次任务失败，可能涉及接触控制，也可能更早发生在目标理解与动作选择阶段。

GPT-6的零样本测试提供了另一组观察。它在每轮读取三路RGB图像、机器人状态、任务指令和执行反馈，通过move_eef指定手掌姿态和最多40个手指关节目标。在未经HandsOn示范训练或微调的条件下，模型对全部66项任务各测试10次，取得26次Core-50成功和3次Transfer-16成功，对应成功率为5.2%和1.9%。

动作记录显示，模型能提出一些与操作前提有关的计划。例如，折叠毛巾时，它曾提出先小幅试提，确认毛巾边缘随手移动，再继续折叠。该回合最终失败，体现了计划落实为接触与运动控制时的困难。

对于走向日常环境的机器人，这些细节都与实际使用有关。随着任务配置、示范数据和评测方法公开，研究者可在共同设置下检验新方法，并沿着执行过程分析成功率变化的来源。对于机器人双手如何逐步掌握日常操作，这套基准提供了一组可持续比较的实验条件。

结语：让能力进步经得起实践检验

手，是人类最精巧的器官之一。人们通过双手使用工具、改造环境，也在一次次操作中积累关于物体与世界的经验。机器人要进入人的生活与工作空间，同样需将感知、判断与动作融入持续的物理交互。对于机器人行业，双手能力的成熟程度，将影响通用模型能承担多少实际工作。

机器人行业正逐步进入一个需积累共同证据的阶段。技术演示呈现了能力的可能性，规模化应用则要求这种能力经得起重复执行、场景变化和长期运行的检验。在这一过程中，公开基准承担着连接研究成果与应用需求的作用。随着模型能力提高，评测也需从实际应用中吸收新任务与约束，让分数的增长对应到更广泛、更稳定的操作能力。

HandsOn的长期价值，也将随着研究者的参与逐步显现：新方法推动成绩提升，失败案例带来新的研究问题，应用需求促使测试标准持续完善。对行业而言，这样的积累有助于形成更清晰的能力边界，让研发投入与落地预期获得更扎实的依据。如需了解相关信息，可访问球友会网页版入口获取更多资源。本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：陈陈、Clio，36氪经授权发布。