方案逐项核查报告

方案逐项核查报告(v2.3 证据附录)

2026-10-17。这是修复前的审查记录(问题 + 证据 + 建议),不是修复结果。修复已落在《Transformer轨迹拟合训练方案》v2.3.1 正文,状态表见其 §0A.5。


一、§4–§9 逐项核查与内部不一致

《Transformer 避障运动策略:无老师闭环部署方案 v2.2》§4–§9 可行性逐项核验

撰写:2026-10-17。审查对象:/workspace/work/Robot_Arm/docs/Transformer轨迹拟合训练方案.md(v2.2,基于 main@3c7c814)。 范围:§4–§9 中除"动作头选型(一步流/MeanFlow/WTA)、代价引导、RTC/前缀条件、APG/ReinFlow/DPPO 本身"之外的全部方案(那几项由其他报告负责:guidance_rtc.md、finetune_alternatives.md、onestep.md)。涉及它们的地方只核对接口与数字是否自洽。 判定口径:有充分证据 = 有论文/系统在相近设定下做过且给出数字;有部分证据 = 做过但设定差异大,或只证明了一部分;仅推断 = 无直接文献,靠推理;有反证 = 文献或本仓库数据直接与方案说法冲突。 标注:【原文】= 已抓取全文并定位章节/表号;【仓库】= 本仓库代码/文档/本次实测;【推断】= 我的推理;【未抓取】= 背景知识,未在本次全文中核实。 全文与抽取文本存放:/workspace/work/out/survey/src_v/(本报告新抓取)与 /workspace/work/out/survey/src/(其他报告已抓取的 DRP/ELMP 等)。杠杆臂实测脚本:/workspace/work/out/survey/src_v/lever.cjs。


0. 结论速览

整体判断:§4–§9 的大框架(老师离线造数据 → 切成"状态→动作块"做行为克隆 → 无老师后训练 → 闭环滚动执行 + 安全层)有充分的同类先例(MπNets、DRP/IMPACT、ELMP)。但有 4 个硬伤必须在写代码前改掉,否则验收标准无法成立:

  1. 安全层的"保证"不成立(有反证):§8.3 用 1°(+半格)离散采样 + 0.3 mm 余量做检查。本次实测本机械臂各关节杠杆:TCP 每度最大位移 J1 9.0 mm、J2 6.9 mm、J3/J4 4.2 mm、J5 2.3 mm,六轴同时动 1°(L∞)时最多 24.3 mm。即便 0.5° 间距,两采样点之间某点可偏离最近采样位形约 6 mm,远大于 0.3 mm 余量。仓库自己的报告也记录了"贴立柱时薄薄一层干涉整个夹在采样点之间"以及 0.28 mm 的残余侵入。"碰撞帧 = 0"目前只是"在离散检查口径下 = 0"。
  2. 时间参数化会产生非马尔可夫标签(有反证):§4.5 沿用 animTo:整条折线一次全局 smoothstep,总时长按路径长度缩放,并夹在 [372 ms, 2170 ms]。于是同一 (q, 目标) 状态下,标签速度取决于"整条路径有多长、走到了第几成",而这两样输入里都没有。起步段 Δq≈0,闭环每 20 ms 只执行第 1 步,可能永远起不了步。Diffusion Policy 报告过单步策略在"停顿动作"上过拟合、卡住的现象;MπNets 专门把老师路径重定时为匀速。
  3. §8.1 的插补器交叉淡入/时间集成与安全层矛盾(有反证):实际执行的是两块的混合,不是安全层检查过的那 3 步。左绕块与右绕块平均后可能正好穿过立柱。BID 与 π0 都报告时间集成在多模态下会掉性能(π0 早期试过后放弃)。
  4. 训练/部署口径不一致:APG 每次迭代执行 3 步(60 ms)再推理,部署是每 20 ms 推理、只走 1 步;"H=60 周期≈1.2 s"按 3 步/周期算其实是 3.6 s;§8.5 又写 150 周期≈3 s。此外,K=4(§5/§6.1/§8.1/§8.3/§8.5)与流匹配头的 K=8 候选(§6.1A)在多处混用。

30/30 的统计含义:30 次全对,失败率 95% 单侧置信上界约 9.5%(实算 1−0.05^(1/30)=0.095)。而且这 30 例在 §7.2 每轮门禁里都被用来挑模型,存在选择偏差。30/30 不能证明"无老师也可靠"。


1. 总表

# § 方案(一句话) 最佳证据(详见 §2) 判定 主要残余风险 门禁测试(本仓库) / 不过时的回退
1 §4.1–4.3 用 solveDyn 离线造 5 万条任务(A45/B30/C15/D10,pos/pose 各半) MπNets 3.27M 问题、DRP 10M 条、ELMP 60 万/1 万条【原文】;ELMP:1 万条+APG 胜 60 万条纯 BC 有部分证据 老师是采样式(Lazy RRT-Connect+随机捷径),一致性差。MπNets 用全局规划器做老师时碰撞率 13.78%,换一致的混合老师降到 0.94% 门禁:同一任务换 5 个种子跑老师,同类任务左右绕选择一致率 ≥ 90%、行程 CV < 10%。不过就改用确定性种子 + 固定绕行偏好(如"先选行程最短的同伦类"),或用 PRM 路网 A* 作老师(确定、最短)
2 §4.3 D 类 目标不可达时,标签 = 停在离目标最近的安全位形(停靠) DRP 加了"目标被挡→停在最近安全处"的数据(原文 §1 表述,具体数据量未核) 有部分证据 "最近安全位形"不唯一、不连续:目标移动 1 mm,停靠点可能跳到立柱另一侧 → 拖拽中抖动 门禁:rt_drag_bench 中目标扫过立柱时,停靠点 TCP 连续性(相邻 20 ms 跳变 < 5 mm)。不过就给停靠标签加连续性正则(选与上一停靠点最近的候选)
3 §4.4 路径 1° 细验+半格复验过滤;行程>1.5×routeRT 先统计 MπNets 拒收撞、超限、高 jerk、末端偏 >5 cm 的轨迹【原文 §4.2】 有部分证据 同一离散检查口径(见 #19);过滤阈值未定 门禁:被丢弃率按类别统计(C 类丢弃率 > 20% 说明老师在贴柱场景不可靠)。回退:贴柱类改用 0.25° 细验 + 距离下界认证
4 §4.5 ① 按 animTo(VREL 轴速比 + 全局 smoothstep + 总时长夹取)把路径时间参数化成 20 ms 步 MπNets:"fit a spline and retime it to have steady velocity"【原文 App/§4.2】;DP:"单步策略容易过拟合停顿动作,BC-RNN、IBC 在真机上会卡住"【原文 §3】 有反证 ① 标签速度取决于整条路径长度与进度,输入里看不到 → 非马尔可夫;② 起步/收尾 Δq≈0 → 闭环"起不了步";③ 每步最多约 4.4°(J1)~13°(J6),远大于安全层预算假设 门禁:标签一致性测试——在 (q, 目标) 近邻(关节 <0.5°、目标 <2 mm)内比较 16 步标签的方差,要求 < 每轴步长的 10%。同时跑 1000 个 held-out 闭环,"10 个周期内 TCP 位移 < 1 mm"的起步失败率 = 0。不过就改为局部可观测的时间律:匀速巡航 + 只按"剩余路程"决定的梯形减速;或把当前速度 q_t−q_{t−1} 作为输入
5 §4.5 ② 每 3 步取 1 个样本,标签 = 未来 16 步 Δq(相对 q_t,到终点补零) DRP:10 步关节增量、MSE、转绝对目标【原文 §3.1】;DP:位置式动作块明显优于速度式【原文 §4.2】 有充分证据(表示本身) 补零 = 大量"停住"标签,到达附近可能早停;样本数估计偏高(见不一致 I2) 门禁:stats.json 统计每条路径的实际样本数,以及补零样本占比(> 30% 需降权)
6 §4.5 ④ "路径后缀天然覆盖从半路出发,等于免费的 DAgger 种子" DAgger(Ross 2011)的核心正是:BC 只在老师状态上训练,误差随时域二次累积;必须在学生自己访问的状态上取标签【未抓取,背景】;MπNets:"单步训练、递归推理,累积噪声等价协变量偏移",用关节角高斯噪声增广【原文 §3.4】;DART:在老师演示中注噪,比 BC 平均提升 62%【原文摘要】 有反证(说法错误) 后缀仍是老师轨迹上的状态,不是偏离状态;不能替代 DAgger 门禁:闭环 vs 开环误差对比——held-out 上"闭环到达率 − 单步回放准确率"的差距。回退/缓解:① 输入加关节噪声(σ≈0.5–1°)+ 由老师离线重标(允许,老师只在离线);② 依赖 §7 的 APG/挖错补偏移
7 §5.1 关节 sin/cos(12) + 限位轴归一化(3) + TCP 位置与 6D 姿态 + 目标 + 差值 + 模式 + k_prev + 8 个胶囊距离 6D 旋转:连续表示,不连续表示的平均误差最高达 6–14 倍【原文 Zhou 2019 §1】;MπNets 关节归一化到 [−1,1]【原文 §3.1】;ELMP 目标 12 维(位置+展平旋转矩阵)【原文 §IV】 有部分证据 ① k_prev one-hot 对流匹配头无意义;② 缺子目标、前缀、速度输入(见 I7);③ 最小距离特征在对子切换处梯度不连续;④ 以位姿为目标时多 IK 分支带来额外多峰(不只左/右绕) 门禁:消融——去掉胶囊距离特征,near_column 闭环到达率差异 ≥ 3 个百分点才保留。IK 多峰门禁:同一目标位姿下不同肘/腕分支的 held-out 子集到达率 ≥ 主集 −2 个百分点;不过就加"目标分支标志"或改为以老师终点关节角为条件(DRP 做法,需离线 IK)
8 §5.2/5.3 输出 16×6 Δq(按每轴最大步长归一化);连续轴 unwrapTo 统一 DRP 同类表示【原文】;连续轴展开为本仓库已有实现 有充分证据 每轴最大步长取决于 #4 的时间律,时间律一改,归一化要跟着改 门禁:§6.4 对拍,预处理与部署 unwrap 结果逐位一致(10 万样本 0 差异)
9 §6.1 IMPACT 式编码器-解码器,去掉点云;d=192,4+4 层,约 3–4M 参数 IMPACT:6+6 层、隐层 128、FFN 1024、8 头、10 个动作 token、4.67M 参数、300 Hz(4090)【原文 App G 表 7】 有充分证据(结构)/ 仅推断(去点云后够不够) 实算参数 ≈ 4.13M(编码 1.77M + 解码 2.36M),略超"3–4M";浏览器延迟未证(见 #24) 门禁:M4 小数据过拟合(1000 样本训练损失 → 0)+ M5 后 held-out 闭环到达率 ≥ 95%(APG 前)
10 §6.2 WTA-L1 + CE + FK 胶囊端点损失(0.5) + 二阶平滑(0.05) + 剩余时间 L1(0.1) ELMP 的 BC 损失 = 动作项 + λ_fk·Σ‖FK_i(q_pred)−FK_i(q_gt)‖(碰撞球中心)【原文 §III-B 式(2)】;DRP 用 MSE【原文】 有部分证据 只写了 WTA 头的损失;默认的流匹配头没有损失定义(FK 损失加在哪个输出上?),见 I8;权重未调 门禁:FK 损失消融,C 类闭环碰撞率(关安全层)下降 ≥ 20% 才保留
11 §6.3 AdamW(0.9,0.95)、lr 1e-3、bs 1024、bf16、20 万步("30 epoch"),3090 约 1.5–3 h DRP:AdamW 同参、bs 512、100 万步、4090 上 3 天(含点云)【原文表 7】 仅推断(时间) 20 万步×1024 = 2.05 亿样本次 ≈ 68 epoch,不是 30(I1);WTA 头每样本约 1.0 GFLOP(训练)→ 共 2.0e17 FLOP,3090 实际 10–35 TFLOPS 时需 1.6–5.6 h;流头约 0.5–1.8 h,但 MeanFlow/OFP 有额外前向/JVP 开销 门禁:先跑 2000 步测吞吐(样本/秒),据此重算;目标 ≥ 2 万样本/s。不过就降到 30 epoch(8.8 万步)或 bs 2048
12 §6.4 胶囊距离 PyTorch 可微版与 JS 对拍 10 万位形 0 误差;每 epoch 1000 任务闭环验证 仓库已有"4000/20000 位形与旧实现 0 差异"的对拍惯例【仓库】 有充分证据(工程可行) "0 误差"对浮点距离不现实,应为布尔判定 0 差异 + 距离误差 < 1e-4 mm;对拍只证明一致,不证明连续安全 门禁即所述;附加:可微版梯度与有限差分相对误差 < 1e-3
13 §6.1/§8.5 子目标头:冷启动输出 1–2 个关节途经点,标签取老师路径拐点 AWE:用动态规划在误差预算内选最少航点,把 DP/ACT 成功率最多提升 25%【原文 §1、§3】;SHAC/分层规划一类思路【推断】 有部分证据 ① §5.1 输入没有子目标字段(I7);② "冷启动"在拖拽中无定义(I22);③ 单输出子目标头无法给出"另一侧"的备选(卡死换向需要它);④ 捷径平滑后的拐点不稳定 门禁:子目标头 top-2 方向覆盖率(老师同伦类在前 2 个子目标中)≥ 98%(C 类)。回退:子目标改为 K 个离散"绕行锚点"分类(左/右/上),标签用 AWE 式 DP 提取
14 §6.1/§8.5 价值头:预测剩余时间/代价;APG 展开时"有真实值可监督" SHAC:用学到的 critic 截断可微仿真的 BPTT 时域(h=32 对 H=1000),同时缓解局部极小与梯度爆炸【原文 §1、§4】 有部分证据 截断展开内多数任务到不了目标 → 没有"真实剩余时间",必须用 TD 自举(SHAC 式),文中没写;价值头偏差会直接误导短前瞻与卡死检测 门禁:held-out 上价值头预测的剩余时间与实际闭环用时的 Spearman ≥ 0.8,C 类 ≥ 0.7。不过就让卡死检测只用几何进度(TCP 到目标距离、子目标距离)
15 §8.5-3 短前瞻:对每个候选再推一块(32 步终态),用碰撞 + 价值打分 Neural MP 测试时"采样多条选穿透最少"【原文,见 finetune_alternatives.md】;BID:每步采 N=16 个样本按前后一致性选择,相对提升 32%【原文 §5.2.1】 有部分证据 计算翻倍(见 I9 延迟预算);第二块基于预测状态,误差叠加 门禁:A/B(有/无前瞻)在 near_column + C 类 held-out 上,前瞻必须把卡死率降低 ≥ 50%,且 P99 周期耗时仍 < 15 ms
16 §7.2 挖错循环:出题→闭环作答(关安全层)→GPU 验算→E1–E6 分类→邻域加权进 APG 池;E2 才少量请老师;门禁回滚 Avoid Everything/MπFormer 困难负样本挖掘;DRP 迭代师生微调 +45%(每 1 万步替换一次基模型,共 5 轮,10 h)【原文 §3.2、表 7】 有部分证据 ① 门禁用的 held-out 2000 与 3 个基准同时是 §9 的验收集 → 选择偏差(I14);② 挖错样本过采样 → 灾难性遗忘(门禁"95% 修好的仍对"只防一部分) 门禁拆分:新造"门禁集"(2000)与"验收集"(2000 + 新造 near_column 扩展 1000 例),验收集只在最后用一次。遗忘门禁:A 类到达率每轮不降 > 0.5 个百分点
17 §7.3 拒绝采样自蒸馏:多样本闭环,只保留验算通过且最短的一条做 BC ReST:Grow/Improve 循环,逐步提高过滤阈值【原文 §2】;RoboCat 式自我改进【未抓取】;ELMP 证据:加笛卡尔路径长度项后碰撞率由 8.9% 升到 10.9%【原文表 I】 有部分证据 选"最短" → 系统性贴着立柱走,余量变小 → 安全层刹停率上升;多样性塌缩(只剩一种绕法) 门禁:自蒸馏后 C 类最小间隙中位数不得低于自蒸馏前的 80%;刹停率不升。选择准则改为"通过 + 间隙 ≥ 阈值的样本中最短"
18 §8.2 模式粘滞:分数 = log p(k) − c·[k≠k_prev];流头改为"噪声粘滞"(保留上周期噪声) BID:Warmstart(沿用上一决策的噪声)"平均小幅提升,但 7 个任务里有 3 个变差";BID 后向一致性准则(与上一块的加权 L2)+ N=16 采样,相对提升 32%【原文 §5.2.1、图 6】;DP:独立逐步采样会在两种模式间来回跳【原文 §3】 有部分证据(噪声粘滞有反证:BID 中不稳健) 一步生成器下"同一噪声 → 同一模式"在状态变化后不保证成立;log p(k) 对流头无定义 门禁:E5(≥3 次切换)< 1% 任务,rt_drag_bench 摇摆计数。若噪声粘滞不过,改用 BID 式后向一致性打分(与上周期已提交块的重叠步加权 L2)作为排序项
19 §8.3 安全层:候选前 3 步按 1°+半格离散细验 + 可刹停不变式(第 3 步末按最大减速度刹停段也细验) 不变式本身:Thumm & Althoff 的 failsafe 盾——每步只在"意图段安全且其末端存在已验证的刹停轨迹"时执行,否则执行上一条已验证刹停轨迹【原文 §III、图 3】,有充分证据;离散检查:Schwarzer 等证明离散分辨率检查会漏检,提出"两端距离之和 > 各点轨迹长度上界"的充分条件,"never fails"【原文式(1)】;LARC(胶囊+速度上界的连续认证):MoveIt/FCL 抽样审计在 21 条直接插值轨迹中发现碰撞;139 条"抽样无碰撞"的轨迹里有 27 条无法认证【原文摘要】;ELMP 评测用离散检查时余量取 30 mm【原文 §IV-A】 不变式:有充分证据;按现有离散实现"保证零碰撞":有反证 杠杆实测:0.5° 间距下采样点间偏差上界 ≈ 24.3×0.25 ≈ 6 mm ≫ 0.3 mm;仓库报告 0.28/0.08 mm 残余侵入、"贴柱薄层整个夹在采样点间";刹停段"最大减速度"未定义;§8.1 交叉淡入使执行轨迹 ≠ 检查轨迹 门禁:①离线审计:10^5 个随机提交段(3 步+刹停),用 0.01° 细采样(或 Schwarzer 式距离认证)复核,漏检 = 0;②在 near_column 上统计"认证拒绝率"(认证判不安全而离散判安全的比例)。修正:静态障碍对(臂×立柱/台架)改用距离下界认证:d(q_a)+d(q_b) > Σ_j r_j·
20 §8.3 耗时 预筛 + 逐个检查 + 首个通过即停,目标 < 5 ms;不达标放 Web Worker 仓库:collideFree 2.9→1.8→1.25 ms/次(pair2d 后);每帧守卫约 1.2 ms【仓库】 仅推断 贴柱时预筛基本失效(正是难例所在);样本数被低估(每步 4–13°,3 步 13–39 个采样点 + 刹停段),见 I10 门禁:M7 在 near_column 30 例 × 全程逐周期计时,安全层 P99 < 5 ms;不过就做距离认证(一次距离查询覆盖整段,通常比 N 次布尔更省),或把提交步数降到 2
21 §8.5-4 卡死检测:0.3 s 价值不降或连续 2 周期刹停 → 强制换向并锁定 1 s 势场法局部极小的经典逃逸(随机游走/换向,Barraquand & Latombe RPP)【未抓取】;MπNets 指出局部控制器(STORM、Geometric Fabrics)在复杂几何中会卡在局部极小【原文 §5.1】 仅推断 ① 两个方向都被挡 → 1 s 锁定后来回切换(活锁);② 流头没有离散"另一方向",依赖子目标头备选(#13);③ 1 s 锁定可能与目标拖拽冲突 门禁:构造"两侧都要绕很远"的 50 个对抗用例 + near_column,卡死后 3 s 内恢复进度的比例 ≥ 95%,活锁(换向 ≥ 3 次仍无进度)= 0。回退:卡死时允许跟随离线路网"锚点表"(注意:这等于部分老师,需用户同意)
22 §8.6 策略层 50 Hz、提交 3 步、伺服层另行插补;浏览器 rAF 60 Hz 也能稳定跑 50 Hz π0:50 Hz 机器人每 0.5 s 推理一次(执行 25/50 步),时间集成"hurt policy performance"故不用【原文 App D】;DP:10 Hz、预测 16 执行 8 最优,可承受 4 步延迟【原文 §5.3】;MπNets 9 Hz;ELMP 30 Hz【原文】 有部分证据 ① 每 20 ms 重推理只执行 1 步 = 动作时域 1,BID 证明这会破坏块内一致性、导致来回摆动【原文 §4.1】;② rAF 16.7 ms 帧与 20 ms 周期不整除 → 周期抖动(16.7/33.3 ms 交替),后台标签页定时器会被节流【推断】 门禁:A/B"每 1 步重推理"与"每 3 步重推理"(执行 3 步)在 E5 摇摆率、到达率、拖拽跟随误差上的对比。若后者不差,就默认每 3 步重推理(顺带把推理预算放宽到 60 ms)。周期抖动:用 Worker + 自有时钟按实际 dt 插值,测 P99 周期误差 < 2 ms
23 §8.1-6 到达判据 TCP < 1 mm(pose < 0.5°),近目标做 1–3 次局部牛顿 ELMP-APG 也只有 89.0% 在 1 cm 内、72.6% 在 5° 内【原文表 I】;MπNets 98.94% 在 1 cm 内【原文表 3】 有部分证据(必须依赖牛顿精修) 精修段本身要过安全层(文中没写);牛顿步可能跨分支 门禁:held-out 中精修前误差 < 5 mm 的比例 ≥ 99%;精修后 < 1 mm 的比例 ≥ 99.5%;精修段 100% 经过安全层
24 §0/§8.1/§9.2 每周期推理 2–5 ms、推理+安全 < 10 ms(P99 < 15 ms),浏览器 onnxruntime-web,WebGPU 优先 WebGPU 每次 dispatch 的开销:Chrome 33–67 μs(连续);带同步的单次操作 2–3 ms(Chrome)【原文 2604.02344 表 6】;社区多例小模型 WebGPU 比 wasm 慢【未抓取,检索摘要】 仅推断(且偏乐观) 8 层 Transformer 约 150–300 次 dispatch → 仅调度开销就有 5–20 ms,外加每周期一次 GPU→CPU 回读;wasm 下 8 候选 × 前瞻 = 约 0.6–1.3 GFLOP/周期 门禁:M4 后立即导出 ONNX,在目标浏览器测 batch=8(含前瞻 batch=16)延迟 P99。若 > 5 ms,就用 wasm-SIMD 多线程或 fp32 小算子融合;仍不行就缩小解码 token(B 样条 6 个控制点而非 16 步)、去掉前瞻,或改为每 3 步推理一次
25 §9 验收:碰撞帧 0;route 60/60、near pos/rt 30/30、held-out ≥ 98%;用时 ≤ 老师×1.3;行程 ≤ 现有×1.10;刹停 < 2%;摇摆 < 1%;关安全层碰撞 < 3% ELMP-APG 关安全层碰撞 8.9%、DRP 10.16%(环境不同)【原文】;ELMP:APG 使末端路径长度由 0.69 m 增至 0.85 m(+23%)【原文表 I】 有部分证据 / 部分指标不可达 ① held-out 含 10% 不可达(D 类),"到达 ≥ 98%"按定义不可能(I13);② 30/30 统计力弱(上界 9.5%);③ "碰撞帧 0"由离散检查测量,测不到采样点之间的穿模;④ APG 有拉长路径的先例,与 ≤1.10× 行程冲突 改:到达率分母只算可达任务,D 类单独考核"停靠距离 ≤ 老师 + 5 mm";near_column 另造 ≥ 1000 例的验收扩展集(0 失败 ⇒ 失败率上界约 0.3%);碰撞审计用 0.01° 或距离认证;行程门禁按类别分别报告

2. 逐项详述

2.1 §4 老师离线造数据(#1–#3)

(a) §4.1–4.4:solveDyn(松手口径)为 5 万条采样任务(A 均匀 45%/B 直线被挡 30%/C 贴柱 15%/D 不可达 10%)生成折线,细验过滤后入库。

(b) 证据

(c) 判定:有部分证据。数据量(5 万)在"固定环境 + 后续 APG"的前提下合理(ELMP 先例);但老师属于"全局采样规划器"类型,正是 MπNets 中一致性差、导致策略碰撞多的那类。

(d) 残余风险:同一类任务里老师有时左绕、有时右绕(随机捷径的结果),会给多峰头制造"人为多峰",WTA/流头都会把容量浪费在拟合老师的随机性上。D 类"最近安全位形"在目标连续变化时不连续。§4.6 的 0.7 s/条对 C/D 类(难例、失败时搜到超时)偏乐观。

(e) 缓解与门禁:老师一致性门禁(见总表 #1)。可选的更一致老师:离线 PRM 路网(15103 条边、单一连通分量)+ A* 最短路 + 确定性平滑。确定、可复现,且已在仓库里。按类别计时:先跑 1000 条(M1),C/D 类 P90 规划时间 > 3 s 时重估 §4.6。

2.2 §4.5 时间参数化与切片(#4–#6)——本节问题最大

(a) 按 animTo 的 VREL 轴速比做时间参数化(dt=20 ms),每 3 步取一个"(q_t, 目标) → 未来 16 步 Δq"样本;声称后缀"等于免费的 DAgger 种子"。

(b) 证据

(c) 判定:切片做法本身有充分证据(DRP、DP 都这样做);沿用 animTo 的时间律有反证;"免费 DAgger"的说法有反证(概念错误)。

(d) 残余风险

  1. 非马尔可夫标签:smoothstep 是对整条路径的进度 u 做的,同一 (q, 目标) 在短路径与长路径里的标签速度不同,在路径前段与后段也不同,而输入里没有速度、进度或路径长度。模型只能学到条件平均。
  2. 起步停滞:u≈0 时 Δq_{t+1}≈0。闭环每 20 ms 只执行第 1 步,下一周期状态几乎不变,标签又是"几乎不动",可能形成不动点。
  3. 每步位移远大于安全层预算假设(I10)。
  4. 后缀样本仍是老师分布,对偏离状态没有监督;§7 的 APG/挖错能补一部分,但 APG 要从预训练模型出发,预训练崩了(如起步停滞)会拖累后训练。

(e) 缓解与门禁

2.3 §5 输入/输出表示(#7–#8)

(a) 输入:关节 sin/cos + 限位轴归一化、TCP 位置与 6D 姿态、目标位置/6D 姿态/差值、模式 one-hot、k_prev、8 个胶囊对最小距离;输出 16×6 Δq,按每轴最大步长归一化,连续轴 unwrap。

(b) 证据

(c) 判定:6D、sin/cos、Δq 块均有充分证据;胶囊距离特征仅推断;"以位姿为目标让模型连 IK 一起学"有部分证据(ELMP 这样做,但 ELMP 的 1 cm 内到达率只有 89%)。

(d) 残余风险:位姿目标 → 多个 IK 分支(肘上/肘下、腕翻转)带来比"左/右绕"更多的模式,K=4 的 WTA 可能不够;k_prev 对流头无意义;缺子目标/前缀/速度输入;min 距离特征在最近对子切换处不可导。

(e) 门禁:见总表 #7、#8。

2.4 §6.1 结构(#9)

(a) 条件 MLP → 8 个条件 token(d=192)→ 4 层编码器;K×16 个可学习动作 token → 4 层非自回归解码器;另有动作、模式、价值、子目标四个头。

(b) 证据:IMPACT【原文 DRP App G 表 7】:编码 6 层/解码 6 层、隐层 128、FFN 1024、8 头、sin-cos 位置编码、动作块 10;场景点云 128 token + 机器人点云 16 token;4.67M 参数(含 PointNet++ SA);300 Hz@4090、冷启动 3.48 ms。

(c) 判定:结构有充分证据;去掉点云后条件只剩约 60 维,用 8 个 token 表示属于设计选择(仅推断),属低风险。

(d) 残余风险:参数实算 ≈ 4.13M(4·(4d²+2·d·FFN) + 4·(8d²+2·d·FFN)),fp16 约 8.3 MB(文中写约 7 MB),影响不大;浏览器推理延迟是真风险(#24)。

(e) 门禁:总表 #9、#24。

2.5 §6.2 损失(#10)

(b) ELMP【原文 §III-B】:L_BC = λ_action·‖Δq_pred−Δq_gt‖ + λ_fk·Σ_i‖FK_i(q_pred)−FK_i(q_gt)‖(i 为碰撞球中心),与我们的"胶囊端点 FK 损失"同构;ELMP 未单独报告 FK 项的消融数字。MπNets【原文 §3.3】也用任务空间几何损失。

(c) 有部分证据。

(d) 损失只对 WTA 头写明;默认的流匹配头需要另定(例如在一步生成的 x̂ 上加 FK 项,见 onestep.md),否则 §6.2 对默认配置无效(I8)。剩余时间 L1 与价值头重复定义。

2.6 §6.3 训练配置与耗时(#11)

(a) bs 1024、20 万步、bf16,3090 约 1.5–3 h。

(b) DRP【原文表 7】:bs 512 × 100 万步 = 5.12 亿样本次,4090 上 3 天 ≈ 1975 样本/s(瓶颈主要是点云)。本方案:20 万 × 1024 = 2.05 亿样本次(DRP 的 40%,不是 1/5)。FLOP 估算【推断,见 lever.cjs 同目录脚本的计算】:WTA 头(64 个解码 token)训练约 0.99 GFLOP/样本 → 合计 2.0e17 FLOP;3090 bf16 稠密峰值约 71 TFLOPS,小模型实际 10–35 TFLOPS → 1.6–5.6 h。流头(16 个 token)约 0.31 GFLOP/样本 → 0.5–1.8 h,但 MeanFlow 的 JVP、OFP 的自蒸馏额外前向会乘 1.5–3 倍。

(c) 仅推断:1.5–3 h 落在估算区间的乐观一侧。

(d) epoch 数自相矛盾(I1);每 epoch 1000 任务闭环验证也要计入。APG 显存【推断】:每个展开周期每样本激活约 4 MB,H=60 时约 0.27 GB/样本,150 周期时约 0.66 GB/样本 → 24 GB 卡 batch 只有约 30–80,需要激活检查点。ELMP 在 6×3090 上 APG 的 batch 只有 48,H=69【原文 §IV-A】。

(e) 门禁:吞吐实测后重算(总表 #11);APG 先跑 H=60、bs 32 的显存测试。

2.7 §6.1/§8.5 子目标头、价值头、短前瞻(#13–#15)

判定:子目标头、价值头有部分证据;短前瞻有部分证据。风险与门禁见总表 #13–#15。

2.8 §7.2 挖错循环与门禁(#16)

(b) DRP 迭代师生微调【原文 §3.2】:每 1 万梯度步后学生替换基模型,共 5 轮,4090 上 10 h,成功率比预训练 +45%(表 6)。Avoid Everything/MπFormer 的困难负样本挖掘(DRP 文中引述)。

(c) 有部分证据:DRP 的循环用局部控制器(Geometric Fabrics)当"老师",本方案改用 APG 代价,这一替换由 ELMP 支持;"错题邻域加权进 APG 池"本身无直接先例(仅推断)。

(d) 门禁集与验收集重叠(I14);E2 的老师补数据把"无老师"变成"少量离线老师"(文中已说明,合规)。

2.9 §7.3 拒绝采样自蒸馏(#17)

(b) ReST【原文 https://arxiv.org/abs/2308.08998 §2】:Grow(策略生成多样本)/ Improve(按分数过滤后微调,阈值逐步提高);作者也提到基于奖励的方法有 reward hacking 风险。ELMP【原文表 I】:加入笛卡尔路径长度惩罚后,碰撞率从 8.9% 升到 10.9%。这是"偏好短路径 → 更贴障碍"的直接证据。

(c) 有部分证据。门禁见总表 #17。

2.10 §8.2 模式粘滞(#18)

(b) DP【原文 §3】:逐步独立采样会在左右两种策略间来回跳。BID【原文 §5.2.1】:Warmstart(从上一决策热启动噪声,即本方案的"噪声粘滞")"mild gains on average, but degrades performance on 3 out of 7 tasks";EMA/时间集成在 2 个任务上变差,原因是相邻块属于不同潜在策略,平均后"may not yield a plausible strategy";BID 后向一致性 + 前向对比在全部任务上提升,相对 +32%。

(c) 切换代价/一致性选择有部分证据;单靠噪声粘滞有反证(BID 中不稳健)。

(e) 改为 BID 式后向一致性打分(与上周期已提交块重叠步的加权 L2)+ 安全层,门禁见总表 #18。

2.11 §8.3 安全层与可刹停不变式(#19–#20)——重点核查"是否真的保证不撞"

(a) 候选前 3 步 1° 细验 + 半格复验 + 关节限位;从第 3 步末按"最大减速度"停下的刹停段也要细验;全部不过就沿已验证刹停轨迹停下。

(b) 证据

(c) 判定:不变式的逻辑结构有充分证据;"按现有离散实现保证零碰撞"有反证。

(d) 残余风险(逐条)

  1. 采样间隙:采样间距 δ(L∞)时,两采样之间任意点距最近采样位形的位移 ≤ L·δ/2。δ=0.5°(1°+半格)时约 6 mm,δ=0.75°(现有 pathFine 等效)时约 9 mm,δ=1° 时约 12 mm,都 ≫ 0.3 mm。立柱是实心大体,漏检的是"擦边几毫米"而不是"整个穿过",但"碰撞帧 = 0"的承诺不成立。
  2. "最大减速度"在全文没有数值(§0 说插补器负责,animTo 只有 smoothstep,没有加速度上限),刹停段长度无从计算(I12)。
  3. §8.1 的交叉淡入:执行轨迹是新旧两块的混合,不等于任一被检查过的块(I4)。
  4. 局部牛顿精修段(§8.1-6)没写要过安全层。
  5. 验收里的"碰撞帧"本身也用离散口径测,测不到问题。

(e) 修正与门禁

2.12 §8.5 卡死检测与强制换向(#21)

(b) MπNets【原文 §5.1】:STORM 与 Geometric Fabrics 等局部方法在复杂几何中会卡在局部极小,"struggle to retract from a drawer and then reach into another drawer… without intermediate waypoints"。经典逃逸方法(随机游走/换向)【未抓取】。没有找到"神经闭环策略 + 规则换向"的直接先例。

(c) 仅推断。风险与门禁见总表 #21。

2.13 §8.6 控制周期(#22)

(b) π0【原文 https://arxiv.org/abs/2410.24164 App D】:"We tried temporal ensembling early on and found that it hurt policy performance… 50Hz… inference every 0.5 seconds (after executing 25 actions)"。DP【原文 §5.3】:预测 16 步、执行 8 步最优,可承受 4 步延迟。BID【原文 §4.1】:每步重采样、只执行第 1 个动作 "destroys the consistency preserved within each chunk, potentially leading to oscillations"。

(c) 50 Hz 策略层有部分证据;"每 20 ms 重推理、只走 1 步"与主流(π0 执行 25/50、DP 执行 8/16)相反,属于动作时域 h=1 的极端,有反证风险。§8.6 表中工业接口周期(Franka 1 kHz、UR e 系列 500 Hz 等)属常识,本次未逐一抓取原始手册(【未抓取】)。

(e) 门禁见总表 #22。

2.14 §9 验收指标(#25)


3. 文档内部不一致清单

编号 位置 不一致 建议
I1 §6.3 20 万步 × bs 1024 = 2.05 亿样本次 = 300 万样本的约 68 epoch,不是 30;30 epoch 只需约 8.8 万步 二选一并重算耗时
I2 §4.5-3 / §4.6 "每条路径 50–150 个样本":route_bench 平均执行 2.46–2.60 s ≈ 130 步,每 3 步取 1 个 ≈ 43 个;A 类更短 → 总样本更可能约 200 万而非 300 万 以 M1 的 stats.json 为准
I3 §7.1 vs §8.1 vs §8.5 APG 每次迭代执行 3 步(60 ms),"H=60 个周期≈1.2 s"实为 3.6 s;部署每 20 ms 推理、只走 1 步,APG "与部署一致"不成立;§8.5 又写"150 个周期≈3 s"(按 20 ms/周期) 统一"周期"定义;APG 展开节奏与部署一致(或部署改为每 3 步推理)
I4 §8.1 末段 vs §6.1A §8.1 插补器"时间集成/交叉淡入",§6.1A 说 RTC 前缀"替代时间集成";而且淡入后的轨迹没被安全层检查过 删除淡入,或安全层检查实际执行轨迹
I5 §5.2/§6.1/§8.1/§8.3/§8.5 vs §6.1A 前者按 K=4 个模式写(含安全层耗时与前瞻计算),默认流头是 K=8 个候选 全文统一,安全层最坏情况按 8 个算
I6 §5.1/§8.2 vs §6.1A k_prev one-hot 与 log p(k) 对流头无定义;"噪声粘滞"不需要该输入 按头类型分开写
I7 §5.1 vs §8.5/§6.1A 输入表里没有子目标、已提交前缀(RTC)、当前速度,但后文都要以它们为条件 补入输入表并给维度
I8 §6.2 vs §6.1A 损失只针对 WTA;默认流头无损失定义;剩余时间 L1 与价值头重复 补流头损失
I9 §0 / §8.1 / §8.5 / §8.6 / §9.2 预算"推理+安全 < 10 ms(留一倍余量)"、P99 < 15 ms;组成:生成 2–5 ms + 前瞻 2×(2–5) ms + JS 梯度引导 + 安全检查(目标 < 5 ms,§8.3 自认最坏约 70 ms)→ 合计 9–25 ms 以上 重做预算表;WebGPU 调度开销另计(#24)
I10 §8.3 "4 候选 × 10 个采样位形"假设 3 步内 ≤ 约 3.3°;按 §4.5 时间律主导轴每步 4.4°~13°,3 步需 13–39 个采样 + 刹停段;单次 1.8 ms 是旧数据(pair2d 后为 1.25 ms) 重估
I11 §2.3/§8.3 vs 代码 文档写"1° 细验 + 半格复验"(等效 0.5°),现有 pathFine 为 EDGE_RES=1.5° + 半格(等效 0.75°) 明确口径
I12 §8.3 vs §0 刹停段"按最大减速度",但全文和 animTo 都没有加速度上限 定义 a_max
I13 §9.2 vs §4.3 held-out 有 10% 不可达(D 类)却要求到达 ≥ 98% 分母只算可达任务,D 类单独考核
I14 §7.2-6 vs §9.1 留出 2000 + 三个基准每轮用于门禁/回滚,又作最终验收 → 选择偏差 拆出独立验收集,只用一次
I15 §6.4 vs §9.2 验证超时 = 老师时长 ×2(最少 3 s),验收要求 ≤ ×1.3 验证同时报告 ×1.3 达标率
I16 §0/§2.3/§8.3 vs 仓库 "安全层保证碰撞帧 = 0"与离散检查 + 0.3 mm 余量矛盾(实测采样间偏差可达约 6 mm;仓库记录过 0.28 mm 残余侵入与夹缝漏检) 改为距离认证,或如实降级表述
I17 §10 vs §6.3 重训流程写"§6 约 4 h",§6.3 写 1.5–3 h 统一
I18 §6.3 "预热 1000 步(同 DRP 量级)":DRP 为 100 步;"步数约其 1/5",但处理的样本数是 DRP 的 40% 改表述
I19 §2.2#1 vs §8.1 "只执行前 2–4 步"与"提交 3 步、实际每周期只走 1 步"不同 统一
I20 §9.2 现状列 vs 路径规划优化报告.md 文档写 route 现状 60/60 到达;报告第三轮写"有效路径 60/60,到达 58"(2 例目标超出可达区) 在 3c7c814 上重跑核对
I21 §4.5 vs §5.1 标签由全局 smoothstep 决定,但输入里没有速度/进度 → 非马尔可夫(见 #4) 改时间律或加输入
I22 §6.1 vs §8.5 子目标头"仅冷启动用",§8.5 又说"到达子目标后切到下一个";拖拽时目标每周期都在变,"冷启动"无定义 定义触发条件(如目标跳变 > X mm)
I23 §8.1-6 局部牛顿精修段没写要过安全层 补上
I24 §8.4 fp16 约 7 MB;实算 4.13M 参数 × 2 B ≈ 8.3 MB 小问题

4. 未能核实 / 声明

5. 来源


二、一步/少步生成式动作头

一步 / 少步生成式机器人策略:全文精读与针对本项目的评估

编写日期:2026-10-17。所有数字均摘自 arXiv HTML 全文(或 PMLR PDF),并标注所在章节/表格。【未核实】 = 全文中没找到,或只能从图里定性读出。【推断】 = 我自己的分析,原文没有这么说。

0. 本项目设定(评估基准)


1. 贯穿所有论文的三个关键事实(先读)

  1. 普通 Flow Matching 做 1 步 Euler,输出的正好是条件均值。 COT 论文附录 D.1 原话:"CFM evaluated with a 1-step euler solver approximately generates the conditional mean of the two conditional distributions"。Shortcut 论文 §2 也写道:"at t=0 … the predicted velocity at t=0 points towards the dataset mean"。在我们的设定里,这就等于"从立柱中间穿过去"。所以不能直接拿 FM 做 NFE=1。
  2. 主流基准几乎测不出多模态问题。 FreqPolicy Table 4:vanilla FM 做 NFE=1,在 Robomimic Can/Square/Transport/ToolHang 上就有 0.94/0.90/0.84/0.76。FreqPolicy Table 3:OpenVLA+FM 做 NFE=1,在 LIBERO 上平均 93.5%,NFE=10 是 93.7%。普通 FM 一步就能拿高分,说明这些任务在单个观测下近似单峰。结论:各论文的成功率表对"左右绕柱"这类风险几乎没有证据力。 真正有针对性的证据只有 COT(two-moons、fork、Maze 多路径、真机 Push-T 顺/逆时针)、CP(Push-T 模态丢失)和 Shortcut(Push-T/Transport 轨迹图,定性)。
  3. 【推断】任何连续的一步映射 G(z|o) 都会把少量质量落在两个模态之间。 z 服从高斯分布,支撑集是连通的;连续映射的像也必然连通,所以总会有一部分噪声被送进"缝隙",也就是穿柱区域。方法之间的差别只在于这部分质量有多小、边界有多陡。因此无论选哪种方法,运行时都应该批量采 K 个噪声,用解析胶囊距离筛掉碰撞样本,后训练也应该专门把边界样本推离立柱。

2. 逐篇精读

2.1 MP1 — MeanFlow Policy(arXiv 2507.10543,v5,AAAI'26)

URL:https://arxiv.org/html/2507.10543

2.2 OFP — One-Step Flow Policy(arXiv 2603.12480v1,2026-03)

URL:https://arxiv.org/html/2603.12480

2.3 OMP — One-step MeanFlow Policy with Directional Alignment(arXiv 2512.19347v3)

URL:https://arxiv.org/html/2512.19347

2.4 K-MF — Kinematic MeanFlow(arXiv 2610.00864v1,2026-10-01,投稿 ICLR 2027)

URL:https://arxiv.org/html/2610.00864

2.5 DM1 — MeanFlow + Dispersive Regularization(arXiv 2510.07865v1,AAMAS 2026)

URL:https://arxiv.org/html/2510.07865

2.6 Consistency Policy(arXiv 2405.07503,RSS 2024)

URL:https://arxiv.org/html/2405.07503

2.7 OneDP — One-Step Diffusion Policy(arXiv 2410.21257)

URL:https://arxiv.org/html/2410.21257

2.8 COT Policy — Conditional OT Couplings(CoRL 2025,PMLR v305 sochopoulos25a;arXiv 2505.01179)

URL:https://raw.githubusercontent.com/mlresearch/v305/main/assets/sochopoulos25a/sochopoulos25a.pdf 、https://arxiv.org/html/2505.01179v1

2.9 Shortcut Models(Frans et al., arXiv 2410.12557, ICLR 2025)及其在 ReinFlow(arXiv 2505.22094)中的用法

URL:https://arxiv.org/html/2410.12557 、https://arxiv.org/html/2505.22094

2.10 FreqPolicy(NeurIPS 2025,arXiv 2506.08822v2)

URL:https://arxiv.org/html/2506.08822v2


3. 汇总对比表(原文数据)

方法 需要 teacher NFE 延迟(硬件,出处) 多模态证据 低维状态实验 训练风险 代码
MP1 否 1 6.8 ms,4090,含点云编码(T2) 无 无 JVP;他人报告 loss 尖峰 有
OFP 否(EMA) 1/多 17.58 ms,硬件未说明(§4.2) 无;SGR 过强会塌缩(T7c) 无 无 JVP;超参多 未找到
OMP 否 1 无 ms(Fig.1) 无;余弦损失存疑【推断】 无 JVP 显存表(T3);DDE −1.5pt 附录补充材料
K-MF 否 1 AH 6.2–63.6 ms,L40/Orin,3B(T5a) 无 无(PointNav 模态未核实) MF 1 步 Fail(T1);+27–33% 时长 仅 README
DM1 否 1/5 2.4 ms,2080(T3) 无(仅声称) 无(9 维本体 + 图像) JVP;文中数字自相矛盾 有
CP 是 1/3 1 ms,P5000;21 ms,3070Ti(T3/T11) 负面:Push-T 偏向一侧(§V) 有:Push-T 0.82,Kitchen p4 0.93 比 DP 不稳;训练更久 有
OneDP 是(+score 网络) 1 7 ms,V100(T5) mode-seeking(自述);D 版确定性 无 +2–10% 预训练成本 未找到
COT 否 1–2 无 ms;"10×" 最强:two-moons/fork/Maze/真机 Push-T 合成低维有;Maze 模态未核实 同 CFM;K 需调 有
Shortcut(+ReinFlow) 否 1/2/4 无 ms 定性(Fig.7) 有:Kitchen state 0.16M(仅曲线) +16%;可 RL 微调 有
FreqPolicy 否 1 ~10.7 ms,4090(§4.2) 无 无 2× 前向 未找到

4. 针对本项目的裁决表

评分:✅ 合适 / ⚠️ 有条件 / ❌ 不合适。所有评价都对照 §0 的设定。

方法 无 teacher 运行 训练可行性(3090,5M) 浏览器 ONNX(1 网络,单/少次前向) 多模态保真(左右绕柱) 与 APG 后训练的契合 总评
Shortcut ✅ ✅ 无 JVP,+16% ✅ 需额外输入 d ⚠️ 只有定性证据;1 步与多步有差距 ✅ 1 步时梯度直通;ReinFlow 证明可 RL 微调 首选骨架
COT 耦合 ✅ ✅ 低维条件可直接 K-means,不需要 PCA【推断】 ✅ 与普通 FM 结构相同 ✅ 唯一有直接双峰证据 ✅ 与骨架正交 首选插件(训练时加在 Shortcut/MF 上)【推断:两者组合在原文中没有实验,只在 COT §5 中作为未来方向提到】
OFP ✅ ✅ 无 JVP,但超参多 ✅;warm-start 需维护状态 ⚠️ 无测试;SGR 有塌缩风险 ✅ 次选。只借鉴 warm-start 和 FM 锚定,SGR 关闭或 λ≤0.05
MeanFlow(MP1/DM1) ✅ ✅ 在 5M MLP 上 JVP 显存不是问题【推断】,但有稳定性报告(OFP §4.2、K-MF T1) ✅ ⚠️ 无测试;CFG 可能锐化掉一个模态【推断】 ✅ 备选
OMP ✅ ✅ ✅ ⚠️ 余弦对齐在双峰下可能有偏【推断】 ✅ 不建议直接采用 L_DA
K-MF ✅ ⚠️ 为 3B VLA 设计,代码未发布 ✅ ⚠️ 无测试 ✅ 只在 MeanFlow 训练不稳时借鉴中点分解
FreqPolicy ✅ ✅(2× 前向) ✅ ⚠️ 无测试 ✅ 可作为平滑正则的辅助项(16 步 chunk 的 DCT)
CP ✅(训练需 teacher) ⚠️ 两阶段,较不稳定 ✅ ❌ 原文自述丢模态 ⚠️ 不推荐
OneDP ✅(训练需 teacher + score 网络) ⚠️ 两阶段 ✅ ❌ mode-seeking / 确定性版本 ⚠️ 不推荐。【推断】若只关心"不平均",mode-seeking 反而不会穿柱,但会失去左右选择能力,且闭环中可能左右跳变

5. 排名推荐

  1. Shortcut Model 骨架 + COT 条件耦合 + FM 锚定(d=0),NFE=1,必要时用 2 步。
  2. OFP 式自蒸馏(前向一致性 + FM 锚定 + warm-start),作为 1 的替代或补充。
  3. MeanFlow(MP1 配方,不加 CFG,或 ω=1)。在 5M 规模上 JVP 成本可接受。若出现 loss 尖峰,可以借鉴 K-MF 的中点分解,或 OMP 的 DDE。
  4. FreqPolicy 的 DCT 一致性:只作为辅助正则(降低 chunk 抖动),不单独作为主方法。
  5. 不推荐:CP、OneDP。都依赖 teacher 训练,且分别有模态丢失(CP 原文自述)和 mode-seeking(OneDP 自述)。

无论选哪种方法都应加上的工程措施【推断,均未在上述论文中验证】:


6. 明确的不确定项

  1. 没有任何一篇论文在低维状态 + 已知几何障碍 + 双峰绕行的设定下给出定量的"穿越率/模态比例"。COT 的 Maze 证据最接近,但只有图,输入模态也未核实。
  2. 所有论文的模型规模都远大于 3–5M(OFP DiT 768×12;CP/OneDP 67–256M;COT 约 240M U-Net)。只有 ReinFlow 的 state 任务(0.16–0.8M)接近我们的规模。小模型能否学出陡峭的模态边界未知。
  3. 浏览器 ONNX 延迟:所有数字都来自 GPU,没有 WASM/WebGPU 数据。5M 参数单次前向在浏览器里大约需要几毫秒【粗略推断】,必须实测。
  4. OFP 的推理硬件、OMP 和 COT 的 ms 延迟、OneDP/OFP/FreqPolicy 的代码、K-MF 的代码(尚未发布)均未核实或不可得。
  5. Shortcut 与 COT 组合、warm-start 抑制模态跳变、APG 下的模态保持,都是推断,没有文献实验。
  6. 数据质量疑点:OMP Table 1 有一行与 MP1 完全相同;DM1 附录文字自相矛盾;OFP 只有仿真结果。
  7. 各论文基准不同(Robomimic 的 ph/mh 数据、DPPO 低质量数据、点云 vs 图像),跨论文的成功率数字不可直接比较。

7. 实际抓取的来源 URL

本地提取的全文文本:/workspace/work/out/survey/src/*.txt(同目录下另有其他任务的文件,与本报告无关)。


三、代价引导与实时动作块(RTC)

代价引导扩散运动规划 + 实时分块(RTC)文献精读与对我方设定的评估

撰写:2026-10-17。全部结论来自下列已抓取的全文(HTML/PDF),引用均标注论文章节/表号。 标记约定:[原文] = 论文直接给出的数字/陈述;[推断] = 我基于原文对我方设定做的推理,论文未直接验证;[未验证] = 未抓取全文或论文中仅有图、无可读数值。

0. 我方设定(评估基准)

6-DOF 机械臂;固定且精确已知的环境(一根立柱,胶囊体碰撞模型,解析距离);低维状态;闭环 50 Hz;动作块 H=16 步(320 ms);每周期提交 s=3 步(60 ms 重规划一次);浏览器端推理;生成器计划 1 步或少步;运行时无教师/规划器;精确安全层校验已提交步。

1. 已抓取的来源

论文 URL
MPD (IROS'23) 2308.01557 https://arxiv.org/pdf/2308.01557
MPD 期刊版 2412.19948 (v3) https://arxiv.org/html/2412.19948
EDMP 2309.11414 https://arxiv.org/html/2309.11414
GPD 2501.18229 https://arxiv.org/html/2501.18229
CAMPD 2510.14615 (v2) https://arxiv.org/html/2510.14615
DiffusionSeeder 2410.16727 https://arxiv.org/html/2410.16727
RTC 2506.07339 (v2) https://arxiv.org/html/2506.07339
Training-time RTC 2512.05964 (v2) https://arxiv.org/html/2512.05964v2
BID 2408.17355 (v4) https://arxiv.org/html/2408.17355
ACT 2304.13705 https://arxiv.org/pdf/2304.13705

未抓取、仅在检索结果中出现([未验证]):Soft RTC / "Action-Prior Denoising for Smooth Real-Time Chunking"(alphaxiv 2605.25537,据摘要把训练时 RTC 的二值前缀推广为连续权重窗口);FutureRTC(2607.24008);VLASH(2512.01031)、A2C2(2509.23224,训练时 RTC 论文 §II 提及:分别用"单个未来动作条件"和"轻量校正头"解决块间不连续)。


2. 代价引导扩散运动规划

2.1 各方法要点与关键数字

MPD(IROS'23,2308.01557)

MPD 期刊版(2412.19948)

EDMP(2309.11414)

GPD(2501.18229)

CAMPD(2510.14615)——反例:不用代价引导

DiffusionSeeder(2410.16727)——扩散出种子 + 事后优化

2.2 问题逐条回答

Q1:1–2 步去噪时代价引导还有效吗?

Q2:相对无引导提升多少,代价多少延迟? | 来源 | 无引导 | 有引导 | 延迟 | |---|---|---|---| | MPD-IROS Panda Spheres(训练环境) | S 88%, I 11.5% | S 100%, I 1.2% | 0.3→1.1 s / 100 条 | | MPD-IROS Panda Spheres + 新障碍 | 78%, I 23.9% | 93%, I 12.5% | 同上 | | MPD-期刊 Warehouse + 新障碍 | 有效 18.4% | 73.5% | 0.56 s,其中网络 0.057 s | | GPD(MπNets Global) | PD 32.11% | GPD-1G 65.50% | 0.22→0.8 s | | EDMP 集成 vs 单引导 | 79.25%(单) | 89.30%(12 个) | EDMP 8.22 s(GPD Table II) | | DiffusionSeeder(条件化模型) | 80.6% | 81.1% | 在环引导 n=20/步,额外开销未报 | | CAMPD(无代价引导) | — | 3 步 86.9–87.6% vs MPD 慢 ~48× | 66 ms vs 3.165 s / 100 条 | 规律 [原文+推断]:引导的增益在"先验不知道障碍"(新障碍、分布外)时大(+15~+55 pt),在"先验已被环境条件化/训练环境已覆盖"时小(DiffusionSeeder +0.5 pt;MPD 训练环境主要是把碰撞航点比从 11.5% 压到 1.2%)。我们的环境是固定的、训练数据可完全覆盖 → 属于后一类。

Q3:失效模式

Q4:能否用"对输出块的事后梯度投影"替代引导?


3. 实时分块 RTC 与训练时前缀条件化

3.1 RTC 算法(2506.07339, §3, Alg.1)

3.2 所需推理步数与延迟

3.3 是否适用于 1 步生成器

3.4 实测收益 vs 时间集成 / 朴素分块

3.5 更简单的训练时前缀条件化是否有效(2512.05964)

3.6 对我方设定的特殊考量 [推断]


4. 对我方设定的结论表

问题 结论 证据强度 不确定性
1–2 步下用代价引导 不采用;改为"生成器输出 + 事后解析梯度投影" 无论文测过 1–2 步引导 [推断];少步引导不稳定 [原文 RTC A.2] 1 步下引导 vs 投影的差异未经实验
引导的预期增益 固定已知环境下小(先验已学会绕柱);主要收益是降低穿透/余量不足比例 DiffusionSeeder +0.5 pt;MPD 训练环境 I 11.5%→1.2% [原文] 我方先验的碰撞率需实测
引导延迟代价 论文中 3.5–50× 开销,几乎全在代价梯度 MPD/GPD/CAMPD [原文] 我方解析胶囊距离很便宜,开销会小得多 [推断,未测]
事后投影替代引导 可以,前提是障碍在训练分布内 支持:DiffusionSeeder、CAMPD;反对:MPD Dprior+Cost 37% vs 78%(仅在新障碍下)[原文] 投影修不了"走错侧"的模式错误,需多样本或安全层回退
失效模式 局部极小、离流形/jerk、模式错误 EDMP/GPD/RTC A.2/CAMPD/DiffusionSeeder [原文] —
推理时 RTC(ΠGDM 修复) 不推荐:需 VJP(浏览器难)、仅在 n=5 验证、n=1 无依据 [原文] + [推断] 若改用少步(≥3–5)可重新评估
训练时前缀条件化 推荐,对 1 步生成器天然适用、零推理开销 2512.05964 [原文](d≥2 优于 RTC,d≤1 略逊) 我方 d≈0–1,硬前缀很短;需加"软/全重叠"条件化并做消融 [推断]
时间集成 不推荐 RTC 仿真 TE 全面差、真机触发保护停机;BID 中 EMA 不稳;ACT 仅在确定性单峰下 +3.3% [原文] 若生成器近似确定性单峰,TE 危害会小
BID 可作为对照/上限,但需 N≈16 批采样 + 弱模型 +32%(+46% 配 EMA),时间约 ×2 [原文] 浏览器批量推理的实际延迟未知

5. 局限


四、后训练(APG/RL)与遗漏范式

后训练(fine-tune)方案与遗漏范式评估

范围:(A) 后训练方法(ELMP-APG、DPPO、ReinFlow、DRP/IMPACT、Neural MP TTO),以及 APG 与 RL 的对比;(B) 可能遗漏的范式(C-space 距离场、TD-MPC2、Diffusion Forcing、(VQ-)BeT、IBC、Mamba、Geometric Fabrics/RMPflow、cuRobo 式 GPU 轨迹优化做自监督精修)。 我们的设定:6-DOF 机械臂;环境固定且完全已知(一根立柱,胶囊体碰撞,有解析距离);低维状态;50 Hz 闭环;16 步 action chunk;3–5M 参数;浏览器推理;运行时不允许 teacher/planner(teacher 只能离线用于预训练数据);单张 RTX 3090 训练;近立柱困难用例必须 30/30;必须保留左/右绕行的多模态。 标注约定:[原文] = 已抓取全文并定位到章节;[摘要] = 只核对了摘要/检索摘录;[未验证] = 我的推断或背景知识,未在本次抓取的原文里核实。 原文全文(HTML 及抽取的 txt)存放在 /workspace/work/out/survey/src/<arxiv_id>.{html,txt}。


0. 结论速览

方法 结论 一句话理由
ELMP 解析策略梯度(APG) 采用(作为主后训练阶段) 我们的环境固定、距离解析可得、运动学 rollout 天然可微,正是 APG 的理想条件;不需要新增专家数据
DPPO 借鉴思路(若主干是扩散模型,用于"补最后几例") 能直接优化稀疏的 0/1 成功率,探索沿数据流形进行;但样本效率低,而且奖励不对称时会塌缩到单一模式
ReinFlow 借鉴/备选(主干若为 flow/shortcut,优先于 DPPO) 1–4 步去噪即可做 RL;墙钟时间比 DPPO 少 62.82%;推理仍是确定性的 flow,适合浏览器
DRP / IMPACT 迭代师生微调 采用其思路(离线 teacher 重标注 = 离线 DAgger) teacher 只在离线用,符合规则;论文里成功率 +45%;对"近立柱擦碰"这种失败最有效
Neural MP 测试时优化(TTO) 视规则而定:借鉴(运行时多采样 + 解析距离挑选) 用 K 个 chunk 采样再用胶囊距离打分很便宜,还能保住多模态;但它算不算"运行时 planner"需要你们拍板
CDF(C-space 距离场) 借鉴(作为 APG 损失或策略输入特征) 关节空间梯度是单位范数,比"任务空间 SDF×雅可比"条件更好;立柱固定,可以离线预计算
RDF / Neural-JSDF 否决(作为替代);Neural-JSDF 可作特征参考 我们已有精确的解析胶囊距离,学出来的距离只会更不准
TD-MPC2 否决(可借鉴"学习的价值函数"来截断 BPTT) 动力学已知,没必要学世界模型;运行时 MPPI(512 样本×6 次迭代)本质上是 planner
Diffusion Forcing 否决(可借鉴"带代价的引导采样") 优势在长序列和记忆,我们 16 步 chunk、低维、无部分可观测,用不上
VQ-BeT / BeT 借鉴(显式离散"左/右模式 token"+连续残差) 显式离散化模式,最直接地保证左右多模态;单次前向推理
IBC(能量模型/隐式 BC) 否决 无导数优化(DFO)推理只适合 ≤5 维,我们的 chunk 是 16×6=96 维
Mamba / SSM 策略 否决 优势在长历史和视觉/3D 主干;我们是低维、短历史;浏览器端选择性扫描算子支持[未验证]
Geometric Fabrics / RMPflow(+学习组件) 借鉴为离线 teacher / 安全层参考 单独用会陷入局部极小;DRP 证明"策略+fabric"作离线 teacher 很有效
cuRobo 式 GPU 轨迹优化做自监督精修 采用(离线:以策略 rollout 为初值做 L-BFGS 精修再蒸馏) 从策略样本出发精修,会留在同一同伦类(左/右),既保住多模态又补精度;离线使用符合规则

(A) 后训练方法

A1. ELMP — Efficient Learning for Motion Planning via Analytical Policy Gradients(arXiv 2607.00215,ETH RSL,2026-06-30)

来源:https://arxiv.org/abs/2607.00215 ,全文 https://arxiv.org/html/2607.00215v1 [原文]

是什么:两阶段训练。阶段 1 用约 60 万条 AIT* 专家轨迹做 BC(损失 = 动作 L2 + 碰撞球心 FK 点匹配,Eq.1)。阶段 2 用 APG 微调:把策略在可微运动学层里自回归展开 H 步,q_{t+1}=clamp(q_t+Δq_t),然后对目标、碰撞、平滑三项损失做 BPTT(Alg.1,§III-C)。

关键数字:

对我们的适配:采用(作为主后训练阶段)

A2. DPPO — Diffusion Policy Policy Optimization(arXiv 2409.00588)

来源:https://arxiv.org/html/2409.00588 [原文]

是什么:把去噪过程视为一个 MDP,嵌进环境 MDP,组成双层的 "Diffusion Policy MDP"。每个去噪步都是高斯似然,因此可以直接用 PPO(§4,Fig.3)。

关键数字和技巧:

对我们的适配:借鉴思路

A3. ReinFlow — Fine-tuning Flow Matching Policy with Online RL(arXiv 2505.22094)

来源:https://arxiv.org/html/2505.22094 [原文]

是什么:在 flow 的确定性路径上加一个可学习的噪声网络(noise injection net),把 flow 变成离散时间马尔可夫过程,得到精确、闭式的高斯似然,然后用 PPO 式裁剪目标联合训练速度网络和噪声网络(§4.1–4.3,Alg.1)。微调后丢掉噪声网络,部署的仍是确定性 flow(§4.3)。

关键数字:

对我们的适配:借鉴/备选(若走 RL 路线,优先于 DPPO)

A4. Deep Reactive Policy(DRP)/ IMPACT(arXiv 2509.06953;作业说是 CoRL 2025,arXiv 页面只写了网站链接,会议归属未验证)

来源:https://arxiv.org/html/2509.06953 [原文]

是什么:IMPACT 是一个以点云为条件、带 action chunk 的 Transformer 策略,预训练数据是 cuRobo 生成的 1000 万条轨迹(§3.1)。随后做迭代师生微调(§3.2):teacher = 冻结的 IMPACT 输出 chunk 的第一个动作作为中间目标,交给 Geometric Fabrics(用特权 SDF 的局部避障控制器)精修,得到 q_e,再用 q_e 监督 student。在 IsaacGym 里并行,每 1 万个梯度步用 student 替换 teacher 里的 base,循环往复。作者特意不用 cuRobo 当微调 teacher,因为每个仿真步、每个并行环境都调用规划器代价太高(§3.2)。运行时还叠加 DCP-RMP,处理动态障碍(§3.3)。

关键数字:

对我们的适配:采用其思路(离线 teacher 重标注 = 离线 DAgger)

A5. Neural MP 测试时优化(arXiv 2409.05864)

来源:https://arxiv.org/html/2409.05864 [原文]

是什么:PointNet++ 加 LSTM 加 GMM 输出头,用 100 万到 300 万条 AIT*(经样条平滑)轨迹蒸馏。测试时假设障碍静止、控制器能精确跟踪,用线性前向模型从策略采样 N 条完整轨迹,用机器人 SDF 统计与场景点云的穿透,选穿透最少的那条执行(§III-C,Eq.,"selecting the path with minimal objective value across 100 trajectories")。

关键数字:

对我们的适配:借鉴(视规则而定)

A6. APG 与 RL 在我们设定下的对比

维度 APG(ELMP 式) RL(DPPO / ReinFlow)
样本效率 很高:每条 rollout 都给出全参数的精确梯度。ELMP 用 1 万条示范加 APG 就超过 60 万条纯 BC(§IV-C)[原文] 低:on-policy PPO,DPPO §7 自认低于 off-policy;ReinFlow §7 同样自认 [原文]
墙钟时间(单张 3090,我们的运动学仿真) 每步计算是"前向+反传 BPTT",显存随 H×batch 线性增长;预计数小时级 [未验证估计] 仿真极便宜,可大规模并行;ReinFlow 比 DPPO 省 62.82% 墙钟时间 [原文];整体预计与 APG 同量级或更慢 [未验证估计]
稳定性 依赖 BC 初始化和梯度裁剪(ELMP §IV-B);长展开有爆炸/消失和混沌损失面的风险(ELMP 引用 Metz 2021) DPPO 和 ReinFlow 都报告微调稳定;对 clip 比例、噪声下限、噪声幅度敏感 [原文]
能处理的目标 只能处理可微的稠密代价:间隙铰链、终端位姿、平滑、路径长度 任意奖励,包括稀疏 0/1 成功和"零碰撞"这类不可微判据
跨同伦类 不能(局部梯度只侧推)[推断] 可以,但前提是探索覆盖到另一模式(DPPO 的探索停在数据流形附近)[原文 §6]
多模态保持 每个样本在自己的模式内被推;风险是方差压缩、比例漂移 [推断] 风险较大:会按奖励重塑模式(D3IL 实验)[原文];需要模式平衡
主干要求 确定性策略最简单;扩散/flow 需对采样链做重参数化反传 需要随机策略:扩散用 DPPO,flow 用 ReinFlow

BPTT 时域问题小结:ELMP 只用了"BC 初始化 + 梯度范数裁剪 ≤1 + 混合精度 + lr 1e-4 指数衰减",展开 H=69 步就稳定了(§IV-B)[原文]。我们若按 chunk 展开、总控制步 150–300,可以加这些手段 [未验证,建议]:

推荐流水线(推断):BC 预训练(含左右两模式)→ 离线 teacher 重标注 / DAgger(A4)以及 cuRobo 式离线精修蒸馏(B10)→ APG 微调稠密代价(A1)→ 若困难用例仍未到 30/30,用 ReinFlow/DPPO 加模式平衡的稀疏成功奖励补尾巴(A2/A3)→(规则允许时)运行时 K 采样加解析距离挑选(A5)作为最后的安全网。


(B) 可能遗漏的范式

B1. CDF — Configuration Space Distance Fields for Manipulation Planning(RSS 2024,arXiv 2406.01137)

来源:https://arxiv.org/html/2406.01137v1 [原文]

是什么:在关节空间定义距离场 f_c(p,q) = 从 q 到"使机器人表面接触点 p 的关节构型集合"的最小弧度距离。它满足关节空间的 eikonal 方程 ‖∇_q f_c‖=1(§III),因此一步梯度投影就能求出全身 IK。神经 CDF 用 MLP 拟合,损失 = 距离 + 梯度余弦 + eikonal + tension(§IV)。

关键数字:

对我们的适配:借鉴

B2. RDF — Representing Robot Geometry as Distance Fields(ICRA 2024,arXiv 2307.00533)[摘要]

来源:https://export.arxiv.org/api/query?id_list=2307.00533 用 Bernstein 多项式编码每个连杆的 SDF,再经运动学链组合成关节空间可查询的机器人 SDF,任务空间和关节空间都光滑可微。 否决:我们是胶囊几何加解析距离,已精确、可微,RDF 只是更精细的机器人网格表示,不带来新能力。

B3. Neural-JSDF(Koptev, Figueroa, Billard,RA-L 2023,DOI 10.1109/LRA.2022.3227860)[摘要/检索摘录]

来源:https://doi.org/10.1109/lra.2022.3227860 ,代码 https://github.com/epfl-lasa/Neural-JSDF 用神经网络学习关节空间隐式 SDF(机器人到点的距离),梯度给出关节空间排斥场。用于 QP-IK 时平均 250 Hz,用于采样式 MPC 时 92 Hz;分别比基线距离计算快 15% 和 40%(摘要)。 否决(作为替代):同上,我们有解析距离;而且它依赖运行时 QP/MPC 控制器。

B4. TD-MPC2(ICLR 2024,arXiv 2310.16828)

来源:https://arxiv.org/html/2310.16828 [原文] 是什么:在隐式(无解码器)世界模型的潜空间里,用 MPPI 做局部轨迹优化,配 TD 学习的 Q 值和最大熵策略先验。 关键数字:

B5. Diffusion Forcing(arXiv 2407.01392)

来源:https://arxiv.org/html/2407.01392 [原文] 是什么:对每个 token 使用独立的噪声水平做扩散训练,用因果模型实现"next-token + 全序列扩散"的混合。支持变长 rollout、长时域引导,以及 Monte Carlo Guidance(MCG,对多条未来样本平均引导梯度)(§3)。 证据:D4RL 2D 迷宫的 6 个环境全部超过 Diffuser(§4.2,Tab.1);真机实验是需要记忆的水果换位任务(§4.4)。 否决:它的长处(长序列稳定、记忆、部分可观测)我们用不上:16 步 chunk、低维、完全可观测。引导采样需要运行时代价梯度,性质上接近 A5 的运行时评分,规则同样存疑。

B6. BeT / VQ-BeT(arXiv 2206.11251 / 2403.03181)

来源:https://export.arxiv.org/api/query?id_list=2206.11251 [摘要] ;https://arxiv.org/html/2403.03181 [原文] 是什么:BeT 用 k-means 把动作离散化,Transformer 预测类别加连续偏移。VQ-BeT 用残差 VQ-VAE 对动作 chunk 分层离散化,主码做粗聚类、次码做细节(§3.2,N_q=2 已足够),再用 GPT 式模型预测码和偏移。 证据:无条件生成任务中 5/7 个环境超过 BC、BeT 和 Diffusion Policy(§1);条件任务中除 BlockPush 外全部最优(§4);用熵指标衡量模式覆盖(§4)。 借鉴:左/右绕行就是一个天然的二值模式。可以设计显式离散模式 token(左/右,或 VQ 主码)加连续残差头。好处有三:

B7. IBC — Implicit Behavioral Cloning(arXiv 2109.00137)

来源:https://arxiv.org/html/2109.00137 [原文] 用 InfoNCE 训练能量模型,推理时用无导数优化、Langevin 或自回归方法求 argmin 动作。能表示不连续、多值的函数(§2–3)。 否决:原文 App B.1 写明 DFO 推理"适合 y 不超过 5 维",高维需要自回归或梯度法。我们的 chunk 是 16×6=96 维,推理需要迭代优化,浏览器 50 Hz 不现实;训练需要大量负样本(批 512、每个 256 个反例),也不稳定。

B8. Mamba / SSM 策略(MaIL arXiv 2406.08234;Mamba Policy arXiv 2409.07163,IROS 2025)

来源:https://arxiv.org/html/2409.07163 [原文],https://export.arxiv.org/api/query?id_list=2406.08234 [摘要]

B9. Geometric Fabrics / RMPflow + 学习组件

来源:RMPflow https://export.arxiv.org/api/query?id_list=1811.07049 [摘要];Geometric Fabrics https://export.arxiv.org/api/query?id_list=2109.10443 [摘要];Fabric-Guided Policy https://arxiv.org/html/2405.02250v1 [原文,部分];Neural Geometric Fabrics https://proceedings.mlr.press/v205/xie23a.html [摘要];DRP(A4)[原文]

借鉴:

B10. cuRobo 式 GPU 轨迹优化作为自监督精修器(arXiv 2310.17274)

来源:https://arxiv.org/html/2310.17274 [原文] 是什么:GPU 批量 L-BFGS 加近似并行线搜索,再加粒子优化初始化(§4),配合几何规划器做种子。 关键数字:

采用(离线):把策略自己的 rollout(覆盖左右两支)作为初值,用批量 L-BFGS 在解析胶囊代价(间隙铰链、终端、平滑/最小 jerk)上做局部精修,得到同一同伦类内无碰撞、更平滑的轨迹,再回灌做 BC/蒸馏("self-improvement")。好处:

我们的问题只有 6 维、一根柱子,不需要 cuRobo 本体,用 PyTorch 自己写一个批量 L-BFGS 或 Adam 轨迹优化即可 [未验证工作量估计]。


未能确认 / 需注意