本文要点
- 机器人视频生成从只预测 RGB，变成同步生成 RGB、深度、光流
- 策略训练从直接学像素或状态，变成消费冻结世界模型的潜变量
- 遥操作从真实机器人逐场景采集，变成单图实例化的数字遥操作
阅读辅助
先看数字、证据和来源，再读正文。
RynnWorld-4D 的核心不是生成更像的视频，而是同步生成 RGB、深度、光流三模态来保留几何与运动
2026-07-07 · HF Papers 收录 RynnWorld-4D，主题是 RGB、深度、光流同步生成的 4D 具身世界模型
一句话结论
RynnWorld-4D 与同组 RynnWorld-Teleop 给出了一条「视频扩散模型补齐几何线索 + 数字遥操作补齐动作标签」的机器人训练数据生成路线，前者把世界模型从纯 RGB 升级为同步 RGB-Depth-Flow，后者把手部姿态流重定向到机器人视频域，二者合起来构成一条闭环。
确定事实
- HF Papers 在 2026-07-07 同步收录 RynnWorld-4D（arXiv 2607.06559）与 RynnWorld-Teleop（arXiv 2607.06558），作者来自阿里巴巴达摩院、香港具身 AI 实验室、香港中文大学等机构。
- RynnWorld-4D 论文披露 Rynn4DDataset 1.0 规模 2.544 亿帧，字幕来自 Qwen3-VL、深度伪标签来自 Depth Anything 3、光流伪标签来自 DPFlow。
- 论文给出 4D 生成指标 δ₁ 0.610、AbsRel 0.310、AEPE 0.170，对照 4DNeX 的 δ₁ 0.327 与 TesserAct 的 0.279，提升明显。
- 真实机器人策略实验在 TIANJI M6 + 双 WUJI HAND + RealSense D435i 平台完成 6 个任务，每任务 35 次、120 秒时限，动作块为 54 DoF。
- 4D 闭环前向约 1.1 秒，论文声明有效控制频率约 9Hz；RynnWorld-Teleop-Causal 在单 H100、480×832 分辨率下达 40 FPS、平均帧延迟 25ms。
- GitHub 仓库标注 Apache-2.0，已公开代码、Hugging Face 与 ModelScope 模型权重、技术报告与 3 段 Tianji Pick-Place 样本数据。
不确定部分
- δ₁、AbsRel、AEPE、6 个任务成功率、Teleop 40 FPS 均来自论文自报，当前没有第三方复现报告，评测脚本与伪标签评测基准也尚未公开下载。
- Rynn4DDataset 1.0 的 2.544 亿帧完整数据、许可证与生成脚本是否足以让外部团队从零再训练，目前公开资料只披露了 3 段样本数据，主体数据与伪标签管线是否完全开放仍待官方进一步说明。
- 真实评估集中在单一机器人本体与单一相机外参，跨机械臂、跨灵巧手、跨相机迁移结果并未给出。
- RynnWorld-Teleop 的因果版本把画质从 PSNR 26.78、FVD 550 降到 PSNR 22.25、FVD 1226 才换来 40 FPS，画质—实时性的具体应用边界还要看真实闭环任务表现。
读者影响
- 机器人研究者需要判断的是，RGB-DF 是否能成为比纯 RGB 视频更适合策略学习的中间表征，以及冻结世界模型 + flow matching 动作头这条训练范式是否能复现。
- 机器人团队需要判断的是，Teleop 是否真能把单平台真实遥操作采集量压缩到可控水平，尤其是跨本体迁移成本是否低于传统示教。
- 模型工程团队需要判断的是，把 1.1 秒 延迟的扩散世界模型接进闭环控制，算力、延迟与动作块长度的综合成本是否可接受；以及开源权重是否够支撑外部 fine-tune 而不必从零训练。
为什么机器人需要 RGB-DF，而不是更清晰的 RGB 视频
机器人策略要回答的核心问题不是「下一帧长什么样」，而是「物体在三维空间里怎么动、距离相机多远、接触关系会不会变、能否稳定抓取」。纯 RGB 视频扩散模型可以生成画面连贯、视觉合理的下一段视频，但人眼可接受与机器人可用之间隔着三类系统性误差：
- 尺度误差：单目视频没有度量尺度，同一物体在不同景深位置会得到不一致的尺寸估计，对抓取点估计和碰撞预测影响很大。
- 深度误差：纯 RGB 模型可以补出看起来合理的几何，但深度分布往往偏向训练集先验，对未见过的物体形状、堆叠场景、镜面反射容易给出平滑但错误的深度图。
- 遮挡与形变误差：被手部或工具遮挡的物体在纯 RGB 模型里通常被「补完整」，但遮挡解除后的形状变化、运动连续性很难保持一致。
RynnWorld-4D 的切入点是 RGB-DF（RGB + Depth + Optical Flow）同步生成。论文的关键设计是 RGB、Depth、Flow 三个分支共享同一 backbone 但保持独立解码，再通过 Joint Cross-Modal Attention 模块在固定间隔层交换信息，最终输出一致的世界描述。Depth 把每个像素反投影为三维点，Flow 结合 Depth 可以得到近似场景流，二者一起为机器人提供几何与运动监督。这是论文相对于纯 RGB 视频模型最直接的方法增量，也是它能被定位为「4D 具身世界模型」而不是又一个视频生成 demo 的原因。
RGB-DF 表征的具体设计选择
RynnWorld-4D 的实现细节可以拆成四块：
主干模型与三模态架构。模型基于 Wan-2.2-TI2V-5B 视频扩散 Transformer，把 RGB、Depth、Flow 拆成三个独立分支，每隔 3 层插入 1 个 Joint Cross-Modal Attention 模块，总计 10 个 JA 模块让三种模态在同一帧内交换信息。论文还引入共享噪声、3D RoPE、帧级 mask 和分支 dropout，目的是减少三种输出各自漂移。这套设计的实际含义是：RGB 分支负责外观、Depth 分支负责几何、Flow 分支负责运动，但它们不能各自生成一套互相矛盾的世界。
训练数据与伪标签管线。Rynn4DDataset 1.0 规模 2.544 亿帧，混合人类第一视角视频和机器人操作数据。深度伪标签来自 Depth Anything 3，光流伪标签来自 DPFlow，字幕来自 Qwen3-VL。这条管线的增量价值在于把原本分散在视频理解、深度估计、光流估计里的弱监督拼成一个机器人可消费的数据层；其代价是伪标签质量上限由上游模型决定，错误会在 2.544 亿帧规模上被放大。
4D 表征。论文使用 Projective 4D 表征，把每个像素投影到带时间戳的三维空间，避免完整重建网格或点云。这是显式的轻量化取舍：用更轻量的投影式表征保留机器人需要的几何线索，而不是去挑战完整 3D 重建。
评测指标。论文在 Table 4 披露 δ₁ 0.610、AbsRel 0.310、SSIM 0.754、PSNR 17.85、LPIPS 0.269、AEPE 0.170。对照 4DNeX、TesserAct、Free4D 的指标：
| 方法 | SSIM↑ | PSNR↑ | LPIPS↓ | AbsRel↓ | δ₁↑ | AEPE↓ |
|---|---|---|---|---|---|---|
| Free4D | 0.492 | 12.40 | 0.597 | 0.804 | 0.179 | N/A |
| TesserAct | 0.693 | 16.91 | 0.335 | 0.699 | 0.279 | N/A |
| 4DNeX | 0.649 | 14.47 | 0.404 | 0.423 | 0.327 | N/A |
| RynnWorld-4D | 0.754 | 17.85 | 0.269 | 0.310 | 0.610 | 0.170 |
δ₁ 是深度精度、AEPE 是光流端点误差，这两个指标可以说明模型在像素级几何与运动预测上更稳定，但它们不能直接等价为「机器人一定更会操作」——几何一致性、视觉一致性、操作成功率之间隔着策略头、动作块长度与闭环频率三道门槛。
数字遥操作：把人手当成机器人动作的来源
RynnWorld-4D 给出环境侧的世界模型，RynnWorld-Teleop 则给出数据侧的生成路线，二者形成一组对照。Teleop 论文定义「数字遥操作」必须同时满足三件事：robot-centric（生成视频以机器人第一视角呈现）、action-grounded（控制信号可回收为动作标签）、real-time（必须快到能闭环交互）。这三件事合起来把传统遥操作从「真实机器人 + 真实示教」重写为「单张参考图 + 手部姿态流 → 机器人第一视角视频 + 动作标签」。
Teleop 的关键模块由三部分构成：
- 手部姿态条件：用 21 关节手部骨骼作为动作条件输入，并使用相机距离调制颜色与半径，给姿态流注入 3D 位置线索，避免单靠 2D 关键点带来的歧义。
- 人类第一视角预训练：VITRA 30.7M 帧 与 EgoDex 74.0M 帧 合计 1.047 亿帧人类第一视角数据，用于让模型学到「人手动作 → 第一视角视觉变化」的统计先验。
- 人手—机器人微调：在配对的人手与机器人数据上微调，把人手动作语义重定向到机器人视频域；这一步决定了同一个手部姿态能在多大程度上复用到不同机械臂与灵巧手本体。
速度—画质的取舍是 Teleop 最直白的工程权衡。SFT 版本在 EgoDex-Test 上 PSNR 26.78、FVD 550，但只有 2.8 FPS；因果版本降到 PSNR 22.25、FVD 1226，换来单 H100 40 FPS 与约 25ms 平均帧延迟。这正是生成式机器人系统的典型取舍：画质、物理一致性、实时性三者不能同时免费获得。
两篇论文拼成的是一条「数据飞轮」，而不是两个独立 demo
如果只看 RynnWorld-4D，它像一篇「更懂几何的视频扩散模型」论文；把 Teleop 放进来，二者更像一套机器人数据基础设施。
| 维度 | RynnWorld-4D | RynnWorld-Teleop | 对机器人训练的意义 |
|---|---|---|---|
| 主要输入 | 单张 RGB-D 图像 + 语言指令 | 单张参考图 + 手部姿态流 | 一个负责环境预测，一个负责人类动作驱动 |
| 主要输出 | RGB、深度、光流序列 | 机器人第一视角视频与动作标签 | 前者补几何世界，后者补演示数据 |
| 基础模型 | Wan-2.2-TI2V-5B 三分支 DiT | Wan-2.2-TI2V-5B 动作条件 DiT | 都沿用大视频模型能力，再加机器人约束 |
| 核心速度 | 约 9Hz 闭环控制 | 单 H100 约 40 FPS | 4D 规划偏慢，Teleop 更接近实时交互 |
| 主要风险 | 深度/光流伪标签与真实物理不一致 | 因果蒸馏画质下降，跨本体需微调 | 生成数据可用性仍要靠真实任务验证 |
这条飞轮隐含的工作流是：先用 Teleop 在更多场景里生成带动作标签的视频，再用 4D 世界模型从这些视频中学到带几何与运动的潜变量，最后让策略头从潜变量直接输出动作。它绕开的不是仿真器本身，而是传统仿真最贵的部分——逐场景建模、逐物体调物理参数、逐任务采遥操作演示。
策略实验：6 个真实任务、35 次/任务、单平台
策略实验是这篇论文最贴近机器人从业者的部分。RynnWorld-4D-Policy 冻结世界模型 backbone，取中间层 block 15 隐藏状态，经 Flow Former 与 flow matching action head 输出 54 DoF 动作块；论文在 TIANJI M6 + 双 WUJI HAND + RealSense D435i 平台上做了 6 个真实任务：Dual Picking、Block Pushing、Hand-over、Bimanual Lifting、Lid Placement、Bowl Stacking，每任务 35 次试验、120 秒 时限。
| 方法 | Dual Picking | Block Pushing | Hand-over | Bimanual Lifting | Lid Placement | Bowl Stacking |
|---|---|---|---|---|---|---|
| DP | 77.14% | 85.71% | 17.14% | 88.57% | 57.14% | 57.14% |
| π₀ | 88.57% | 94.29% | 2.86% | 91.43% | 34.29% | 51.43% |
| π₀.₅ | 94.29% | 100.00% | 0.00% | 94.29% | 37.14% | 42.86% |
| RynnWorld-4D-Policy | 94.29% | 97.14% | 28.57% | 97.14% | 65.71% | 65.71% |
数据要分层看。Hand-over、Lid Placement、Bowl Stacking 三个接触更复杂的任务上 RynnWorld-4D-Policy 明显领先：Hand-over 28.57% vs DP 17.14%、π₀ 2.86%、π₀.₅ 0%；Lid Placement 65.71% vs DP 57.14%、π₀ 34.29%、π₀.₅ 37.14%。在 Dual Picking、Block Pushing 这类相对简单的任务上则与 π₀、π₀.₅ 基本持平，没有拉开差距。这说明 RGB-DF 潜变量在「需要几何与接触推理」的任务上提供的信息更明显，在「靠视觉定位即可完成」的任务上提供的是更稳的兜底。
速度限制同样需要前置看。4D 模型前向约 1106ms，其中去噪占 990ms，论文声明的 9Hz 闭环依赖 K=10 的动作块长度来摊销单次推理成本；这意味着对接触型操作、开环精度要求高的任务（如插孔、装配）而言，单次推理延迟仍是主要瓶颈，不只是模型层面的优化空间，也包括硬件与编译栈。
Teleop 论文披露的混合训练数据进一步说明了「生成数据 + 真实数据」的协同方式。Lid Placement 上 π₀.₅ 从 42.86% 提升到 62.86%，π₀ 从 34.29% 提升到 54.29%；只用生成数据训练 π₀ 时，Block Pushing 达 82.86%、Bimanual Lifting 达 77.14%，但 Lid Placement 的零真实数据结果只有 28.57%。这条曲线说明生成数据对中等复杂度任务帮助最大，对接触最复杂的任务仍需要真实数据兜底。
展开：Teleop 混合训练的策略成功率明细
论文披露，在真实策略训练中，把生成数据与真实数据混合可以提升部分任务成功率。Lid Placement 上 π₀.₅ 从 42.86% 提升到 62.86%，π₀ 从 34.29% 提升到 54.29%。只用生成数据训练 π₀ 时，Block Pushing 达 82.86%，Bimanual Lifting 达 77.14%。这些结果支持「生成数据能补真实采集」的方向，但也显示精细任务仍需要真实数据校正：Lid Placement 的零真实数据结果只有 28.57%。
开源状态：权重可下，距离「完整可复现」还有距离
RynnWorld-4D 目前不是只放 PDF。GitHub 仓库标注 Apache-2.0；README 列出代码、Hugging Face 与 ModelScope 模型权重、技术报告以及 3 段 Tianji Pick-Place 样本数据。项目页同步给出 GitHub、论文、Hugging Face、ModelScope 与 YouTube demo 链接。
这套发布降低了外部验证门槛，但距离「完整可复现」还有差距。关键不是能否跑一段 inference，而是外部团队能否拿到足够清楚的数据切分、伪标签生成脚本、训练配置与评测脚本，复现 2.544 亿帧训练出的世界模型以及 6 个真实任务的策略结果。若只能下载模型而无法重建数据管线，它更像「可用权重发布」；若能复现数据和策略评估，它才会成为机器人世界模型路线的公共基线。当前公开资料还不足以判定这一差距是否会被官方进一步补齐。
早报对这套工作的判断分三层并列，分别是技术边界、数据策略与开源成熟度。
第一层，视频模型做环境仿真有边界。RynnWorld-4D 用 RGB-DF 把深度和运动监督显式写进生成目标，确实把世界模型从「看起来像」推进到「几何可读」。但 δ₁、AbsRel、AEPE 是像素级几何与运动指标，它们衡量的是模型能不能生成与真值一致的 RGB/Depth/Flow 序列，而不是模型能不能生成可被机器人稳定操作的物理世界。机器人策略失败往往发生在接触瞬间、遮挡后、物体轻微滑动时，而这些正是视频模型最容易「看起来合理、物理上错误」的区域。论文自报 4D 指标领先，并不等同于它在物理一致性的所有维度都领先；柔性物体、流体、堆叠遮挡、多机器人协作等场景很可能超出 RGB-DF 的表达边界，论文自身也承认 Teleop 对复杂物理现象能力有限、跨机器人平台需要逐个微调。
第二层,生成数据训练策略需要真实数据校准最后 20%。Teleop 的混合训练结果呈现的是一条典型曲线:中等复杂度的 Block Pushing、Bimanual Lifting 任务上,生成数据基本可以替代真实采集;接触复杂的 Lid Placement 上,零真实数据只能做到 28.57%,与混合训练 62.86% 之间差出 30 多个百分点。这一缺口反映的是「生成数据分布与真实任务分布之间存在系统偏移」——生成视频对接触、摩擦、形变的建模粒度天然低于真实采集,仅靠放大模型难以填平。对从业者来说,合理姿势是把这条路线定位为数据扩增与策略预训练层:先用生成环境扩大覆盖面,再用真实机器人闭环校准最后 20% 的接触可靠性。
第三层，开源权重可复现，但完整数据/伪标签管线尚未公开。GitHub 已经发布 Apache-2.0 代码、模型权重和少量样本数据，这在闭源主导的机器人视频模型领域是相对开放的姿态。但 Rynn4DDataset 1.0 的 2.544 亿帧、Depth Anything 3 + DPFlow 的伪标签生成脚本、训练切分、评测脚本目前都未完全开放。外部团队目前能验证的是推理质量与论文自报结果的一致性，无法验证训练范式本身；后者才是判断这条路线能否成为社区公共基线的关键。这条边界短期内会显著影响外部复现的速度，长期则取决于官方与社区之间的协议，例如是否分阶段公开数据子集、是否提供评测基准与 leaderboard。
接下来最该验证什么
第一，看第三方能否独立跑出 δ₁ 0.610、AbsRel 0.310、AEPE 0.170 与 6 个真实任务的成功率。GitHub 已有代码，但最有价值的复现不是「跑通 inference」，而是独立团队能否用不同随机种子、不同数据切分复现论文 Table 4 与 Table 5。Hand-over、Lid Placement、Bowl Stacking 三个接触任务最能暴露几何—动作耦合是否可靠。
第二，看数据开放边界。Rynn4DDataset 1.0 是论文的核心资产，但完整数据、许可证、伪标签脚本、数据切分如果不可得，外部团队就很难判断结果来自方法本身，还是来自不可见的数据工程。
第三，看速度能否压下去。RynnWorld-4D 当前瓶颈集中在扩散去噪，单次前向约 1.1 秒；Teleop 通过因果蒸馏做到 40 FPS，但画质指标下降。未来是否能把 4D 表征也压到更低延迟，是它能否进入真实闭环控制栈的关键。
第四，看跨本体迁移。论文平台是 TIANJI M6 + WUJI HAND + RealSense D435i。若换成不同机械臂、不同灵巧手、不同相机外参，RGB-DF 潜变量是否还能稳定迁移，决定了它是「单平台强模型」还是「机器人基础世界模型」。