具身智能的训练数据从哪来？三路来源

聊天模型可以读书学话，机器人却不行——它的本事长在「动作」上，每一课都要带上身体、场景与后果。让一台机器学会叠一件衣服，得告诉它布料滑到什么程度要收力、袖口翻起来该怎么捋，这类知识书上没有、网上也搜不到现成的。AI 具身智能因此面临一个共同的瓶颈：训练数据从哪来。行业目前的答案是三条路一起走：仿真器里批量造、真机上遥操作采、人类的视频里学。这篇把三路来源各怎么运作、各给什么、各缺什么讲清楚，具身智能的完整概念此处不再展开，直接从数据切入；三路数据最后怎么合流使用，与多传感器互相校验的思路异曲同工，见传感器融合一篇。

第一路：仿真器里批量生成

仿真是最省钱的路线。在虚拟环境里搭出厨房、货架、流水线，把机器人的身体模型放进去，让它一万次地练习抓取、开门、码放——虚拟世界不怕摔、不占地、不要电，还能随机改动材质、光照、物体位置，一天就能积累海量带完整动作标注的数据。真机采集一次的成本，仿真里能造几万条。代价是著名的「仿真到现实的鸿沟」：虚拟世界把物理简化了，摩擦、柔性、接触细节与真实世界有偏差，在仿真里练熟的技能，搬到真机可能水土不服。工程上的补救叫域随机化：训练时刻意把物理参数调得五花八门，让技能练得皮糙肉厚，落到现实里哪一种都接得住。

第二路：遥操作真机采集

遥操作走的是真人示范的路线：操作员穿戴动捕手套或主从臂，亲手带着机器人把任务做一遍，机器人把这中间的关节角度、力矩、视觉画面连同人类的动作全程录下来。这条路的数据质量最高——物理完全真实，示范里还带着人类处理边角情况的巧劲，怎么捏软物、怎么对付卡住的抽屉，这些诀窍只有真做才录得进来。代价也直白：贵。一条熟练的示范数据要人工一小时起步，规模化采集需要一支「数据工人」队伍，这是三路里单位成本最高的。它通常用在刀刃上：给关键任务打样、为仿真校准、积累最难录的接触类技能，就像服务机器人上岗前的真人带教。

第三路：从人类视频里学

第三路把目光投向互联网：人类几十年积攒的海量视频——做饭、组装、叠衣、做手工——本身就是一座动作行为的宝库。这条路数据量几乎无限、成本极低，学的是「意图与过程」：人怎么理解一个任务、按什么顺序做、在哪个环节停顿观察。短板在精度：视频只有画面，没有力矩、没有动作标注，机器看得见「怎么拿」却摸不着「用多大力」，所以视频学到的多是任务理解与粗动作思路，精细控制还得出其他两路来补。三路因此天然互补：仿真给量、遥操作给真、视频给广，拼在一起才够一台机器人从会想到会做。

三路数据怎么拼起来

实际训练里，三路数据按分工进不同的层。视频数据先教大脑层看懂任务——理解「叠衣服」是什么、顺序是什么，大脑层的职责划分见大脑小脑一篇；仿真数据大量预训练动作技能，让手「见过」成千上万种物体姿态；遥操作数据做最后的精调，把真实物理的细节与人类的示范风格注进去。配比是门学问：仿真占九成以上撑量，真机数据占比不高却主导最终手感。数据的难得也解释了具身智能的进展节奏：语言模型站在互联网的现成文本上起飞，机器人没有这样的现成库，只能三路并进自己攒家底，这也是人形机器人研发把数据管线当核心资产的原因，人形机器人一篇的难点清单里，数据正是其中一项。想直观体会三路的差别，可以让通义千问把三路来源的优劣列成对照表，再让豆包模拟「给叠衣机器人配数据」的决策：每一路各配多少、先学什么后学什么，配一轮就懂配比为何是门学问。

训练数据三路速查

• 仿真：便宜量大可随机化，代价是仿真到现实的鸿沟
• 遥操作：真人示范质量最高，贵在人工，用在刀刃上
• 视频：量无限成本极低，学意图与过程，缺力与精度
• 三路互补：仿真给量、遥操作给真、视频给广
• 配比分层：视频教理解、仿真练技能、遥操作精调手感

关于训练数据的常见疑问

• 为什么不用真机直接练？：真机学习又慢又贵还伤设备——机器人摔一万次，谁也扛不住。仿真的角色就是把试错成本搬到虚拟世界里，真机留给最后的验证与精调，三路各有各的岗位。
• 仿真练出来的技能真机能用吗？：能用，但要做「桥」。域随机化让技能在训练时见过五花八门的物理参数，加上仿真与现实校准，迁移成功率已大幅提升；接触细节多的任务仍以真机数据兜底。
• 人类视频那么多，够学所有技能吗？：不够。视频里没有力与触感，也没有失败后的纠正过程，精细操作与异常处理仍要靠遥操作与真机数据。视频解决的是「广」，解决不了「深」。