机器人圈有个老大难问题，卡了所有人好几年：手部动捕。
不是捕不了，是一到真实场景就崩——你端碗、拧瓶盖、从口袋掏手机，手一被挡住，最 先进的检测器直接报废，后面的姿态重建全盘歇菜。
全世界最聪明的一群人，在这个问题上加检测器、加时序模块、加运动先验、加测试时优化……补丁摞补丁，还是扛不住遮挡。
结果，我们把视频生成模型换了个打开方式，顺手把这事儿办了。
近日，大晓机器人联合南洋理工大学与上海交大发布ACE-ViDiHand——全球首 个用视频生成模型做4D手部动捕的方法。
在ARCTIC、HOT3D、HOI4D三大基准上，ARCTIC和HOT3D全部九项指标第 一，HOI4D九项中八项第 一。
最炸裂的一个数字：手被东西挡得严严实实的场景下，ACE-ViDiHand的帧准确率0.997，此前最强的WiLoR只有0.919。
什么概念？同样跑1000帧视频，WiLoR丢了81帧，ACE-ViDiHand只丢3帧——几乎一只手都不落。
这意味着，大规模、高质量的人手视频自动标注，第 一次真正成为可能。
论文标题《The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction》——带了个「Surprising」，应该是连作者自己都觉得效果好得离谱。该项目将于近期全面开源。
论文链接：https://arxiv.org/abs/2606.30308
项目主页：https://ACE-ViDiHand.github.io
同期工作Vision Banana刚刚证明：把图像生成模型拿来做视觉理解，效果比专门训练的判别式模型还强——会画画的AI，天然就会认东西。
ACE-ViDiHand把同样的逻辑从图像推到视频、从2D推到4D：会生成视频的AI，天然就懂手怎么动。
手部动捕为什么这么难？
手部动捕不只是个「挺难的技术问题」，它是具身智能的命门。
手部运动是人类操作意图最直接的表达。
抓、放、倒、拧、叠——每个灵巧操作的任务意图、动作过程、物体状态变化，全写在手部轨迹里。
机器人要从人类视频里学操作，手部轨迹就是最核心的监督信号。这份「教材」的质量，直接决定了机器人策略学习能到什么水平。
但这也是最难自动提取的数据。两个字：遮挡。
你端碗吃饭，手被碗挡住大半；你拧瓶盖，十根手指叠成一团；你从包里掏手机，整只手消失。
人看一眼就知道手在干什么，机器不行。
目前主流两条路。图像路线（HaMeR、WiLoR、Hamba等），检测器先框手、再估姿态，手一被挡就全崩。
视频路线（OmniHands、Dyn-HaMR等），靠跨帧注意力和运动先验从前后帧里找补，但时序模块是拿稀缺的手部标注数据训出来的，认手都勉强，「猜」被挡住的部分根本学不会。
而且运动先验只建模了手本身，跟物体、场景完全脱钩——手伸进抽屉那一刻，先验和现实就对不上了。
两条路都是死胡同。卡了这么多年，不是没人使劲，是方向不对——所有人都在「手」上做文章，没人想过换个出发点。
会画手的AI，不用再教它认手
这个逻辑很符合直觉，视频生成模型天天看互联网上的海量视频，它早就学会「脑补」被挡住的手了——只是此前没人从「手」的角度去挖掘。
想想Wan2.1这样的视频生成模型——要生成一段让人看不出破绽的视频，它必须在内部搞定三件事：
时空一致性——前一帧手在这里，后一帧不能瞬移到那里；
从2D推3D——手的透视、大小变化都得合理，这就得「理解」三维几何；
推理被遮挡的内容——手被杯子挡住了，但视频里的下一秒手又出来了，中间那段模型必须知道手还在那、在干什么。
这三样能力，恰恰是手部动捕这些年求而不得的东西——一个13亿参数的视频大模型在海量互联网视频上自然涌现出来的「世界先验」。
所以ACE-ViDiHand的思路是：不从零教AI认手，而是把手部姿态估计重新定义成——从视频世界模型里「读取」表征。
打个比方：一个画了十年画的人，他闭着眼都知道手怎么摆、怎么动。你不用再教他认手，只需要一支笔，让他把脑子里那只手直接画出来。
ACE-ViDiHand做的，就是递上这支笔。
怎么做到的？两步走
具体分两个阶段，可以概括为：先教模型「画手」，再从它脑子里「读手」。
第 一步，教它盯手。 让模型在原始视频每一帧上叠加一层半透明的手部渲染——包括手被完全遮挡的帧。
想让叠加连贯不穿帮，模型就必须在内部时刻维护每只手的3D状态，哪怕画面上根本看不见手。
这相当于逼模型在遮挡下持续「追踪」手，而不是简单补全可见像素。
训练分两步：先在大规模EgoDex数据上做关节骨架叠加打底，再切到MANO网格叠加做精对齐，全程不损失基座模型对场景和物体的理解能力。
第二步，读出来「手」。 从DiT第15层（30层正中间）、去噪到约70%时的特征里，用双分支解码器直接读出手部姿态。
为什么是这一层？消融实验的答案很符合直觉：太浅还在盯像素，太深已经在想怎么「画」了，L15、τ≈0.7正好卡在「理解最深」的甜蜜点。
两条分支各管一摊——一条整合手的全局信息输出关节姿态，因为手指弯曲是牵一发动全身的事；一条逐关节定位输出2D坐标，因为「手指在画面哪」是个局部问题。
两条分支互相交换情报后，深度靠回归、平面位移靠闭式求解，一步出结果。
整条管线直接吃全帧视频——不用检测器、不用裁剪、不用运动补全、不用测试时优化，单次前向同时输出双手4D轨迹。
跑分有多猛？
三大基准恰好覆盖手部动捕最典型的三类噩梦场景：
ARCTIC——重度遮挡双手操作。 双手操作铰接物体，手指、手掌、物体搅在一起。
关节误差PA-MPJPE-p降到9.8mm，8个基线里最 好的也要11.9mm；2D端点误差EPE-p只有12.4像素，最 好的基线50.5像素——直降4倍。
手部召回率和F1（综合衡量「有没有找到手」「找得准不准」的检测得分）均达到99.9%，帧级准确率99.7%，帧级错误率相比最强基线下降超过96%——即使在严重遮挡下也几乎不丢手。
抖动3.18，此前最平滑的方法12.8——低了近4倍。而且人家的平滑是靠外挂运动补全模块和SLAM优化硬磨出来的，ACE-ViDiHand天生就这么稳，零后处理。
HOT3D——鱼眼畸变 + 高动态光照。 广角鱼眼镜头、忽明忽暗的光线、快速甩头甩手，每一样都是检测器的噩梦。
F1（综合检测得分）达到0.983，全面第 一；3D关节误差PA-MPJPE-p较此前最 佳结果降低43%。
HOI4D——训练时完全没见过的数据集。 纯泛化测试，所有对比方法同样没在这上面训练，双向公平。
9项指标拿下8项第 一。抖动4.0，第二名17.4——约为其四分之一。EPE-p从第二名的41.6像素降到24.5像素。
这说明ACE-ViDiHand的优势不是靠「刷题」刷出来的，是底层表征够硬，换个场景照样能打。
总体来看，三个数据集上的轨迹抖动较此前最 佳方法降低约4.0至4.8倍。
这表明，视频世界模型从大规模视频中习得的时序一致性、遮挡推理能力、空间几何与手物交互的结构化知识，能够为手部运动重建提供强大的表征支撑。
范式转移
从「专用补丁」到「继承世界模型」
机器人学操作，最 好的教材就是海量第 一视角人类视频，手部轨迹就是最核心的监督信号。
但真实操作视频里，几乎每一帧的手都被东西挡着——人类灵巧操作天然伴随遮挡。
业界甚至有公司专门雇人把设备绑脑门上、按小时计费采手部数据，就为了凑高质量标注。
ACE-ViDiHand给出了一条全新的路：直接从视频里把手的4D轨迹读出来，不靠检测器、不怕遮挡——大规模人手视频的自动标注，第 一次有了可靠的技术底座。
当你能从百万小时的互联网视频里稳定提取手部运动，把「野生视频」变成可学习、可扩展的具身数据资产——具身智能的数据飞轮，才算真正开始转。
论文作者把话挑明了：这是4D手部重建的范式转移。
过去是补丁摞补丁——检测器不行换更好的检测器，抖动大了加平滑模块，遮挡扛不住加运动补全。工程量越来越大，天花板越来越低。
ACE-ViDiHand反过来：直接继承视频大模型已经学会的时序一致性、遮挡推理、空间几何，与其从零造轮子，不如站在巨人肩膀上。
从「看见手」到「理解手」，从「识别动作」到「读取运动」——当视频生成模型的内部表征从生成工具变成可读取的感知基座，具身AI才算拿到了真正可规模化的数据入口。
【本文由投资界合作伙伴微信公众号：新智元授权发布，本平台仅提供信息存储服务。】
【免责声明】：本文不构成任何投资建议。市场有风险，投资需谨慎。
如有任何疑问，请联系（editor@zero2ipo.com.cn）投资界处理。
