摘要：
钠斯网络专注于直播系统源码开发，支持私有化部署与自建流媒体，产品涵盖短视频系统、语聊系统、教育直播、直播带货、体育赛事直播、IM即时通讯系统等，提供全套解决方案与源码交付，助力企业... 
UMI 全称叫 Universal Manipulation Interface，最早来自斯坦福在 2024 年 2 月提议的一套责任。
其中枢是用与具体机器东谈主骨子解耦的样貌，纪录东谈主类在果然物理寰宇中的操作行为，把"操作意图 + 明白轨迹 + 多模态感知"长入到一个通用接口里，供不同花样的机器东谈主学习和复现。
在旧年 9 月之前，UMI 照旧一个偏冷门的标的。
具身智能进入下半场后，数据的防碍性数以万计。
丁琰共享谈，前段时辰有东谈主归纳了具身智能在惩处数据难题时的四种解法。
遥操作数据，最闻名的代表是智元机器东谈主。
仿真数据，代表公司是星河通用机器东谈主。
东谈主类视频数据，它石智能便是这种解法的代表。
UMI，旧年 9 月初始冒头，鹿明便是代表性公司。
鹿明基于现实需求，作念出了一个名为 FastUMI Pro 的产品，这是一个无骨子数采硬件。
系统适配市面主流机械臂和夹爪，机身分量在 600 多克量级，但能夹起两三公斤物品，场景掩盖工场与家庭。
它还营救多模态输入，包括触觉、听觉、六维力等。
在 UMI 开辟最中枢的空间精度上，丁琰称 FastUMI Pro 的 1mm 是"全球最高精度"。
硬件产品背后，还有鹿明布局的数据集中、模子熟练生态。
以"可复现"行为第一性旨趣作念数据管理，丁琰率领团队建立了 8 谈工业级数据质料评估体系，并承诺只委用 100% 可复现轨迹。
（以下为丁琰共享的对于具身行业数采、UMI 等联系内容，在不改变欢喜的基础上作了裁剪窜改）
具身数采的现有痛点
2024 年 3 月起，我就初始在作念 UMI，应该是大陆最早作念这一块的东谈主。
大家都知谈，具身智能最要害的便是数据，海量的数据是熟练的一个必经之路。
可是数据目前有许多痛点。
第一个痛点便是老本，老本特别昂贵。
好意思国那儿，为了集中一个小时的熟练数据，大节录付出 100-200 好意思金的老本。
目前的具身模子都还很小，PI 0 的熟练数据大约是 1 万个小时，Generalist 的 GEN 0 是 27 万个小时。这个限度对比 GPT-3 的熟练数据，还好坏常小的。
咱们作念了一个统计，大约十分于 7.9 亿个小时的数据，才调在具身智能界训出一个 GPT-3 限度的模子。按照目前的市集价钱，需要破钞数百亿好意思金。
另外，具身数据举座集中恶果照旧相比低的。
2023 年到 2024 年傍边，业内都是以遥操为主，一个小时大约能集中 35 条数据，恶果特别低，老本也不可控。
遥操还有个问题是什么呢，便是集中时，因为录像头纪录的是机械臂自己的明白轨迹和画面，但每家机器东谈主长得又都不相通，是以用 A 机器东谈主作念遥操作集中的数据是很难很难用到 B 机器东谈主上的，这就产生了数据孤岛问题。
大家重迭造轮子，也会形成昂贵的隐形老本。
这是咱们想惩处的要害问题场所。
用 UMI 数采，你为什么训不出来模子？
前段时辰我写了一篇小红薯，题目叫《你为什么熟练不出来 UMI 的模子？》。
我想就此次契机通俗跟大家先容一下 UMI 行业的近况。大家可能看到的更多的是冰山的一角，但浮在水底下的一个寰宇照旧相比深的。
一个很显著的近况便是什么呢？
作念 UMI 的东谈主陆陆续续越来越多，可是训出来模子的特别的少，可能一只手都数得过来。
许多 UMI 开辟浮现出来，大家都会强调我方低老本、能即插即用、快速部署，可是基本上你看不到什么收效的案例，就这个好坏常相配有利念念的自得。
外洋有两家相比知名的公司，一个叫 Sunday，一个叫 Generalist，他们照旧训出模子了。
国内目前咱们以为训模子训得相比好的一家便是咱们，再有便是清华一家，上交一家，总计也就两、三家能训得出来。
大多数情况下，要么训不出来，要么即使是在相似的要求下能跑出来 demo，时辰也相配短，可能就 3、4 秒，也很卡顿，不丝滑。
对于为什么大家用 UMI 集中出来的数据训不出模子，最常见的解说是"算法不是很老练""模子不够大""数据限度不及"，可是其实这些解说都不是实在的原因。
实在的原因根柢不在于熟练阶段，而在于熟练之初它就不是太对——
无数的 UMI 数据从生成初始就不具备进入熟练管线的这个要求。
说白了便是数据分手格。
什么是不错熟练的 UMI 数据
大家会有曲解，总以为 UMI 数据便是东谈主拿个夹爪，就把这个视频数据纪录下来就行了，相配相配通俗，通盘东谈主都不错作念。
其实满盈不是。
UMI 其实是 AI 对物理寰宇的表示对皆，而且在这个物理空间内部不错复现的这种交互行为。
它必须欣忭几个要求。
斥逐了讲，第一个便是说画面要跟动作要严格对皆，要跟空间位置严格对皆；另外一个便是说因为 UMI 不错集成多个传感器，每个传感器之间也要作念到毫秒级的同步。
举个例子，一个东谈主想去拿目前的一瓶水，不对皆的话得反映好几秒，水就可能拿不起来。
另外，一个好的轨迹必须不错在物理空间明白中可复现的。
本质要求是但愿 UMI 集中的数据是高一致性的、高密度的，而且可复现的时序数据结构。
为什么大多数 UMI 开辟采不到好的数据？
目前无数的 UMI 开辟采不出欣忭要求的数据，两个根柢原因。
一，中枢问题是硬件才略满盈不够。
UMI 的 CMOS 组件或者主控芯片，性能相配差。
导致的死一火便是画面掩盖有限，画质不奈何好，曝光也不奈何好，帧率相比抖动，这时候画面就相配恶运。
它破碎了动作和视觉的因果关系。蓝本师法学习便是我看到什么画面就作念什么动作，死一火画面和动作满盈无法对皆，就会导致这个模子根柢没见识学习。
二，市面上许多产品不是系统瞎想的，而是许多现成模块强迫起来，用 USB Hub 连气儿的。
这样一来，产品的贷款架构相配脆弱，每个模块都会抢带宽。一朝有什么负载，就会出现掉帧等一系列问题，是以数据的质料就相配恶运，基本没见识褂讪复现交互纪录。
也便是说，从硬件层面讲，这些开辟从一初始就没见识训出模子需要的数据。
"脏数据"和"废数据"
但即使开辟好了，采的数据能不成训出数据也不是一定的。
举个例子，别东谈主拿到咱们的开辟，也不一定能训出好的数据。
为什么呢？这就要说数据的质料上下了。
数据质料的上下其实并不是干净进度，而是说有用的信息密度。
低质料的数据，包含无数抖动、漂移、时辰错位，相配不利于学习。止境是在单视角情况（许多 UMI 是单个机械臂），这种噪声不会因为你的数据量增大而被平滑掉，是以说你学出来的政策会相配相配恶运，基本上训不出来。
廉价值数据不是满盈莫得价值。
它照旧有点价值，不错去意志这个寰宇，知谈什么是杯子，什么是麦克风，但没见识从它身上学习到精准的物理交互信息。
它不知谈桌上的麦克风我是奈何拿到的，我到底该正着拿照旧反着拿，照旧需要歪斜角度去拿。
除了低质料的脏数据，我还把一种数据叫"废数据"。
废数据是什么？
便是许多东谈主拿着开辟获胜去众包去集中了，东谈主奈何采就拿它奈何采。
这种数据满盈 copy 东谈主类的当然行为，莫得任何瞎想和手段，过于"自然去雕刻"了，基本上是不可能训出来模子的。
目前都在作念的叠穿戴，其实是最需要集中手段的一个任务。叠穿戴的时候要抖一下，抖的进程中还要慎重标的、速率，才调抖好。
但东谈主在叠穿戴的时候，很少会慎重那么多 tricks。
每产品身公司都有我方的集中手段，是以要是莫得注入任何手段，即便拿到很好的 UMI 开辟，集中的数据很像东谈主的行为，但其实是废数据，基本上模子熟练不了。
能虽然可能畴昔，十年、二十年，模子发展好了，这些数据可能就有用了。但目前很长一段阶段这些数据基本上训不了，是以称为废数据。
硬件、数据和算法为德不终紊
正确的 UMI 的工程范式最初是一种系统的自洽，而不是一种通俗的功能拼接。
传统的旅途底下大家作念机器东谈主，最初有个硬件，硬件弄完毕之后再弄软件，弄完软件我再弄算法，我反及其来我再去补点数据，把这个通盘这个词 loop 给跑通。
但在 UMI 这个很特等的场景下，这个范式是失效的。
因为 UMI 是一个强耦合系统，数据会决定通盘这个词模子的性能，硬件会决定这个数据的质料；数据又会决定这个算法的性能，算法又会反向去不竭我这个硬件的履行和这个数据的瞎想。
硬件、数据和算法为德不终紊，任何单点的这种失效都会导致训不出优秀的模子。
对于 UMI，团队作念了什么
博士毕业后，我从 2024 年 3 月就初始在作念面向 UMI 的责任。
旧年 9 月之前，UMI 在行业里照旧相比冷门的，除了我和我的团队基本没东谈主作念。
那时咱们就有一个愿景，但愿能冲破这个数据获取的这个不可能的三角，把相配高质料的数据砍到白菜价，加快愚弄来推动这个通盘这个词具身智能行业的发展。
这里跟大家共享我和团队近两年的一些典型责任。
最初便是 FastUMI，我是这篇责任的通信作家。
FastUMI 应该是全球首个将学术界（UMI，斯坦福，2024 年 2 月）的责任升级成工业级别系统，然后推动它进入工业的。咱们从 2024 年 3 月傍边初始作念这个责任，在 7、8 月傍边完成，往日的 9 月中了 CoRL 2025。
FastUMI 主要惩处的问题是进步集中恶果和数据质料。
另外一个责任是 FastUMI 100K。
在有了一个很褂讪的软硬件系统后，咱们初始扩大限度去采数据。那时我在上海 AI Lab 建立了一个数采长，我带着 11 个东谈主在 3 个月时辰里，集中了 10 万条真机数据，为机器学习提供了相配高质料的数据营救。
这是全寰宇首个大型的 UMI 数据集。
从这个责任中 FastUMI 团队获取了大限度的数据管理的教学。
咱们还有一个责任叫 Fastumi-MLM，它把 UMI 这项期间用于"狗 + 臂"。
之前 UMI 都愚弄在单臂、双臂或者轮式双臂责任上。这是大陆第一个能将 UMI 用在这种构型机器东谈主上的责任。
除此除外，还有 Spatial VLA、Agibot World、AskVLA 等等。
— 接待 AI 产品从业者共建 —
� �「AI 产品学问库」是量子位智库基于始终产品库跟踪和用户行为数据推出的飞书学问库，旨在成为 AI 行业从业者、投资者、征询者的中枢信息要津与决议营救平台。
一键关爱 � � 点亮星标
科技前沿发扬逐日见秦轩战神直播系统
