Files
Robot_Arm/docs/方案逐项核查报告.html
T

3111 lines
159 KiB
HTML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml" lang="" xml:lang="">
<head>
<meta charset="utf-8" />
<meta name="generator" content="pandoc" />
<meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=yes" />
<title>方案逐项核查报告</title>
<style>
html {
color: #1a1a1a;
background-color: #fdfdfd;
}
body {
margin: 0 auto;
max-width: 36em;
padding-left: 50px;
padding-right: 50px;
padding-top: 50px;
padding-bottom: 50px;
hyphens: auto;
overflow-wrap: break-word;
text-rendering: optimizeLegibility;
font-kerning: normal;
}
@media (max-width: 600px) {
body {
font-size: 0.9em;
padding: 12px;
}
h1 {
font-size: 1.8em;
}
}
@media print {
html {
background-color: white;
}
body {
background-color: transparent;
color: black;
font-size: 12pt;
}
p, h2, h3 {
orphans: 3;
widows: 3;
}
h2, h3, h4 {
page-break-after: avoid;
}
}
p {
margin: 1em 0;
}
a {
color: #1a1a1a;
}
a:visited {
color: #1a1a1a;
}
img {
max-width: 100%;
}
svg {
height: auto;
max-width: 100%;
}
h1, h2, h3, h4, h5, h6 {
margin-top: 1.4em;
}
h5, h6 {
font-size: 1em;
font-style: italic;
}
h6 {
font-weight: normal;
}
ol, ul {
padding-left: 1.7em;
margin-top: 1em;
}
li > ol, li > ul {
margin-top: 0;
}
blockquote {
margin: 1em 0 1em 1.7em;
padding-left: 1em;
border-left: 2px solid #e6e6e6;
color: #606060;
}
code {
font-family: Menlo, Monaco, Consolas, 'Lucida Console', monospace;
font-size: 85%;
margin: 0;
hyphens: manual;
}
pre {
margin: 1em 0;
overflow: auto;
}
pre code {
padding: 0;
overflow: visible;
overflow-wrap: normal;
}
.sourceCode {
background-color: transparent;
overflow: visible;
}
hr {
background-color: #1a1a1a;
border: none;
height: 1px;
margin: 1em 0;
}
table {
margin: 1em 0;
border-collapse: collapse;
width: 100%;
overflow-x: auto;
display: block;
font-variant-numeric: lining-nums tabular-nums;
}
table caption {
margin-bottom: 0.75em;
}
tbody {
margin-top: 0.5em;
border-top: 1px solid #1a1a1a;
border-bottom: 1px solid #1a1a1a;
}
th {
border-top: 1px solid #1a1a1a;
padding: 0.25em 0.5em 0.25em 0.5em;
}
td {
padding: 0.125em 0.5em 0.25em 0.5em;
}
header {
margin-bottom: 4em;
text-align: center;
}
#TOC li {
list-style: none;
}
#TOC ul {
padding-left: 1.3em;
}
#TOC > ul {
padding-left: 0;
}
#TOC a:not(:hover) {
text-decoration: none;
}
code{white-space: pre-wrap;}
span.smallcaps{font-variant: small-caps;}
div.columns{display: flex; gap: min(4vw, 1.5em);}
div.column{flex: auto; overflow-x: auto;}
div.hanging-indent{margin-left: 1.5em; text-indent: -1.5em;}
/* The extra [class] is a hack that increases specificity enough to
override a similar rule in reveal.js */
ul.task-list[class]{list-style: none;}
ul.task-list li input[type="checkbox"] {
font-size: inherit;
width: 0.8em;
margin: 0 0.8em 0.2em -1.6em;
vertical-align: middle;
}
.display.math{display: block; text-align: center; margin: 0.5rem auto;}
</style>
<style>
:root{--fg:#1d2733;--mut:#5b6b7c;--acc:#1f5fa8;--bd:#d9e1ea;--bg2:#f5f8fb}
body{max-width:1080px;margin:0 auto;padding:32px 28px 80px;font:15px/1.75 -apple-system,"PingFang SC","Microsoft YaHei","Noto Sans CJK SC",sans-serif;color:var(--fg)}
h1{font-size:26px;border-bottom:3px solid var(--acc);padding-bottom:10px}
h2{font-size:21px;margin-top:44px;padding-left:10px;border-left:5px solid var(--acc)}
h3{font-size:17px;margin-top:28px;color:#16324f}
table{border-collapse:collapse;width:100%;margin:14px 0;font-size:13.5px;display:block;overflow-x:auto}
th,td{border:1px solid var(--bd);padding:6px 9px;vertical-align:top}
th{background:#e9f0f7;text-align:left;white-space:nowrap}
tr:nth-child(even) td{background:var(--bg2)}
code{background:#eef2f6;padding:1px 5px;border-radius:4px;font-size:90%}
pre{background:#0f1b2a;color:#e3ecf5;padding:14px 16px;border-radius:8px;overflow-x:auto;line-height:1.5}
pre code{background:none;color:inherit;padding:0}
blockquote{margin:16px 0;padding:10px 16px;background:#fff8e6;border-left:4px solid #e0a800;color:#4a3b00}
#TOC{background:var(--bg2);border:1px solid var(--bd);border-radius:8px;padding:12px 20px;margin:20px 0;font-size:14px}
#TOC ul{margin:4px 0;padding-left:20px}
a{color:var(--acc)}
</style>
</head>
<body>
<header id="title-block-header">
<h1 class="title">方案逐项核查报告</h1>
</header>
<nav id="TOC" role="doc-toc">
<ul>
<li><a href="#方案逐项核查报告v23-证据附录"
id="toc-方案逐项核查报告v23-证据附录">方案逐项核查报告(v2.3
证据附录)</a></li>
<li><a href="#一49-逐项核查与内部不一致"
id="toc-一49-逐项核查与内部不一致">一、§4–§9 逐项核查与内部不一致</a>
<ul>
<li><a
href="#transformer-避障运动策略无老师闭环部署方案-v2249-可行性逐项核验"
id="toc-transformer-避障运动策略无老师闭环部署方案-v2249-可行性逐项核验">《Transformer
避障运动策略:无老师闭环部署方案 v2.2》§4–§9 可行性逐项核验</a>
<ul>
<li><a href="#0-结论速览" id="toc-0-结论速览">0. 结论速览</a></li>
<li><a href="#1-总表" id="toc-1-总表">1. 总表</a></li>
<li><a href="#2-逐项详述" id="toc-2-逐项详述">2. 逐项详述</a></li>
<li><a href="#3-文档内部不一致清单" id="toc-3-文档内部不一致清单">3.
文档内部不一致清单</a></li>
<li><a href="#4-未能核实--声明" id="toc-4-未能核实--声明">4. 未能核实 /
声明</a></li>
<li><a href="#5-来源" id="toc-5-来源">5. 来源</a></li>
</ul></li>
</ul></li>
<li><a href="#二一步少步生成式动作头"
id="toc-二一步少步生成式动作头">二、一步/少步生成式动作头</a>
<ul>
<li><a href="#一步--少步生成式机器人策略全文精读与针对本项目的评估"
id="toc-一步--少步生成式机器人策略全文精读与针对本项目的评估">一步 /
少步生成式机器人策略:全文精读与针对本项目的评估</a>
<ul>
<li><a href="#0-本项目设定评估基准" id="toc-0-本项目设定评估基准">0.
本项目设定(评估基准)</a></li>
<li><a href="#1-贯穿所有论文的三个关键事实先读"
id="toc-1-贯穿所有论文的三个关键事实先读">1.
贯穿所有论文的三个关键事实(先读)</a></li>
<li><a href="#2-逐篇精读" id="toc-2-逐篇精读">2. 逐篇精读</a></li>
<li><a href="#3-汇总对比表原文数据" id="toc-3-汇总对比表原文数据">3.
汇总对比表(原文数据)</a></li>
<li><a href="#4-针对本项目的裁决表" id="toc-4-针对本项目的裁决表">4.
针对本项目的裁决表</a></li>
<li><a href="#5-排名推荐" id="toc-5-排名推荐">5. 排名推荐</a></li>
<li><a href="#6-明确的不确定项" id="toc-6-明确的不确定项">6.
明确的不确定项</a></li>
<li><a href="#7-实际抓取的来源-url" id="toc-7-实际抓取的来源-url">7.
实际抓取的来源 URL</a></li>
</ul></li>
</ul></li>
<li><a href="#三代价引导与实时动作块rtc"
id="toc-三代价引导与实时动作块rtc">三、代价引导与实时动作块(RTC)</a>
<ul>
<li><a
href="#代价引导扩散运动规划--实时分块rtc文献精读与对我方设定的评估"
id="toc-代价引导扩散运动规划--实时分块rtc文献精读与对我方设定的评估">代价引导扩散运动规划
+ 实时分块(RTC)文献精读与对我方设定的评估</a>
<ul>
<li><a href="#0-我方设定评估基准" id="toc-0-我方设定评估基准">0.
我方设定(评估基准)</a></li>
<li><a href="#1-已抓取的来源" id="toc-1-已抓取的来源">1.
已抓取的来源</a></li>
<li><a href="#2-代价引导扩散运动规划" id="toc-2-代价引导扩散运动规划">2.
代价引导扩散运动规划</a></li>
<li><a href="#3-实时分块-rtc-与训练时前缀条件化"
id="toc-3-实时分块-rtc-与训练时前缀条件化">3. 实时分块 RTC
与训练时前缀条件化</a></li>
<li><a href="#4-对我方设定的结论表" id="toc-4-对我方设定的结论表">4.
对我方设定的结论表</a></li>
<li><a href="#5-局限" id="toc-5-局限">5. 局限</a></li>
</ul></li>
</ul></li>
<li><a href="#四后训练apgrl与遗漏范式"
id="toc-四后训练apgrl与遗漏范式">四、后训练(APG/RL)与遗漏范式</a>
<ul>
<li><a href="#后训练fine-tune方案与遗漏范式评估"
id="toc-后训练fine-tune方案与遗漏范式评估">后训练(fine-tune)方案与遗漏范式评估</a>
<ul>
<li><a href="#0-结论速览-1" id="toc-0-结论速览-1">0. 结论速览</a></li>
<li><a href="#a-后训练方法" id="toc-a-后训练方法">(A)
后训练方法</a></li>
<li><a href="#b-可能遗漏的范式" id="toc-b-可能遗漏的范式">(B)
可能遗漏的范式</a></li>
<li><a href="#未能确认--需注意" id="toc-未能确认--需注意">未能确认 /
需注意</a></li>
</ul></li>
</ul></li>
</ul>
</nav>
<h1 id="方案逐项核查报告v23-证据附录">方案逐项核查报告(v2.3
证据附录)</h1>
<blockquote>
<p>2026-10-17。四路全文精读 +
沙箱实验。各节原样收录,正文结论见《Transformer轨迹拟合训练方案》§0A。</p>
</blockquote>
<hr />
<h1 id="一49-逐项核查与内部不一致">一、§4–§9 逐项核查与内部不一致</h1>
<h2
id="transformer-避障运动策略无老师闭环部署方案-v2249-可行性逐项核验">《Transformer
避障运动策略:无老师闭环部署方案 v2.2》§4–§9 可行性逐项核验</h2>
<blockquote>
<p>撰写:2026-10-17。审查对象:<code>/workspace/work/Robot_Arm/docs/Transformer轨迹拟合训练方案.md</code>(v2.2,基于
<code>main@3c7c814</code>)。 <strong>范围</strong>:§4–§9
中除"动作头选型(一步流/MeanFlow/WTA)、代价引导、RTC/前缀条件、APG/ReinFlow/DPPO
本身"之外的全部方案(那几项由其他报告负责:<code>guidance_rtc.md</code>、<code>finetune_alternatives.md</code>、<code>onestep.md</code>)。涉及它们的地方只核对<strong>接口与数字是否自洽</strong>。
<strong>判定口径</strong>:有充分证据 =
有论文/系统在相近设定下做过且给出数字;有部分证据 =
做过但设定差异大,或只证明了一部分;仅推断 = 无直接文献,靠推理;有反证
= 文献或本仓库数据直接与方案说法冲突。 <strong>标注</strong>:【原文】=
已抓取全文并定位章节/表号;【仓库】= 本仓库代码/文档/本次实测;【推断】=
我的推理;【未抓取】= 背景知识,未在本次全文中核实。
全文与抽取文本存放:<code>/workspace/work/out/survey/src_v/</code>(本报告新抓取)与
<code>/workspace/work/out/survey/src/</code>(其他报告已抓取的 DRP/ELMP
等)。杠杆臂实测脚本:<code>/workspace/work/out/survey/src_v/lever.cjs</code>。</p>
</blockquote>
<hr />
<h3 id="0-结论速览">0. 结论速览</h3>
<p><strong>整体判断</strong>:§4–§9 的大框架(老师离线造数据 →
切成"状态→动作块"做行为克隆 → 无老师后训练 → 闭环滚动执行 +
安全层)有充分的同类先例(MπNets、DRP/IMPACT、ELMP)。但有 <strong>4
个硬伤</strong>必须在写代码前改掉,否则验收标准无法成立:</p>
<ol type="1">
<li><strong>安全层的"保证"不成立(有反证)</strong>:§8.3 用
1°(+半格)离散采样 + 0.3 mm 余量做检查。本次实测本机械臂各关节杠杆:TCP
每度最大位移 J1 9.0 mm、J2 6.9 mm、J3/J4 4.2 mm、J5 2.3 mm,六轴同时动
1°(L∞)时最多 24.3 mm。即便 0.5°
间距,两采样点之间某点可偏离最近采样位形约 6 mm,远大于 0.3 mm
余量。仓库自己的报告也记录了"贴立柱时薄薄一层干涉整个夹在采样点之间"以及
0.28 mm 的残余侵入。"碰撞帧 = 0"目前只是"在离散检查口径下 = 0"。</li>
<li><strong>时间参数化会产生非马尔可夫标签(有反证)</strong>:§4.5 沿用
<code>animTo</code>:整条折线一次全局
smoothstep,总时长按路径长度缩放,并夹在 [372 ms, 2170 ms]。于是同一 (q,
目标)
状态下,标签速度取决于"整条路径有多长、走到了第几成",而这两样输入里都没有。起步段
Δq≈0,闭环每 20 ms 只执行第 1
步,可能<strong>永远起不了步</strong>。Diffusion Policy
报告过单步策略在"停顿动作"上过拟合、卡住的现象;MπNets
专门把老师路径重定时为匀速。</li>
<li><strong>§8.1
的插补器交叉淡入/时间集成与安全层矛盾(有反证)</strong>:实际执行的是两块的混合,不是安全层检查过的那
3 步。左绕块与右绕块平均后可能正好穿过立柱。BID 与 π0
都报告时间集成在多模态下会掉性能(π0 早期试过后放弃)。</li>
<li><strong>训练/部署口径不一致</strong>:APG 每次迭代执行 3 步(60
ms)再推理,部署是每 20 ms 推理、只走 1 步;"H=60 周期≈1.2 s"按 3
步/周期算其实是 3.6 s;§8.5 又写 150 周期≈3
s。此外,K=4(§5/§6.1/§8.1/§8.3/§8.5)与流匹配头的 K=8
候选(§6.1A)在多处混用。</li>
</ol>
<p><strong>30/30 的统计含义</strong>:30 次全对,失败率 95%
单侧置信上界约 9.5%(实算 1−0.05^(1/30)=0.095)。而且这 30 例在 §7.2
每轮门禁里都被用来挑模型,存在选择偏差。30/30
不能证明"无老师也可靠"。</p>
<hr />
<h3 id="1-总表">1. 总表</h3>
<table>
<thead>
<tr class="header">
<th>#</th>
<th>§</th>
<th>方案(一句话)</th>
<th>最佳证据(详见 §2)</th>
<th>判定</th>
<th>主要残余风险</th>
<th>门禁测试(本仓库) / 不过时的回退</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>1</td>
<td>§4.1–4.3</td>
<td>用 <code>solveDyn</code> 离线造 5
万条任务(A45/B30/C15/D10,pos/pose 各半)</td>
<td>MπNets 3.27M 问题、DRP 10M 条、ELMP 60 万/1 万条【原文】;ELMP:1
万条+APG 胜 60 万条纯 BC</td>
<td>有部分证据</td>
<td>老师是采样式(Lazy
RRT-Connect+随机捷径),<strong>一致性差</strong>。MπNets
用全局规划器做老师时碰撞率 13.78%,换一致的混合老师降到 0.94%</td>
<td>门禁:同一任务换 5 个种子跑老师,同类任务左右绕选择一致率 ≥
90%、行程 CV &lt; 10%。不过就改用确定性种子 +
固定绕行偏好(如"先选行程最短的同伦类"),或用 PRM 路网 A*
作老师(确定、最短)</td>
</tr>
<tr class="even">
<td>2</td>
<td>§4.3 D 类</td>
<td>目标不可达时,标签 = 停在离目标最近的安全位形(停靠)</td>
<td>DRP 加了"目标被挡→停在最近安全处"的数据(原文 §1
表述,具体数据量未核)</td>
<td>有部分证据</td>
<td>"最近安全位形"不唯一、不连续:目标移动 1
mm,停靠点可能跳到立柱另一侧 → 拖拽中抖动</td>
<td>门禁:rt_drag_bench 中目标扫过立柱时,停靠点 TCP 连续性(相邻 20 ms
跳变 &lt; 5
mm)。不过就给停靠标签加连续性正则(选与上一停靠点最近的候选)</td>
</tr>
<tr class="odd">
<td>3</td>
<td>§4.4</td>
<td>路径 1° 细验+半格复验过滤;行程&gt;1.5×routeRT 先统计</td>
<td>MπNets 拒收撞、超限、高 jerk、末端偏 &gt;5 cm 的轨迹【原文
§4.2】</td>
<td>有部分证据</td>
<td>同一离散检查口径(见 #19);过滤阈值未定</td>
<td>门禁:被丢弃率按类别统计(C 类丢弃率 &gt; 20%
说明老师在贴柱场景不可靠)。回退:贴柱类改用 0.25° 细验 +
距离下界认证</td>
</tr>
<tr class="even">
<td>4</td>
<td>§4.5 ①</td>
<td>按 <code>animTo</code>(VREL 轴速比 + 全局 smoothstep +
总时长夹取)把路径时间参数化成 20 ms 步</td>
<td>MπNets:"fit a spline and retime it to have steady velocity"【原文
App/§4.2】;DP:"单步策略容易过拟合停顿动作,BC-RNN、IBC
在真机上会卡住"【原文 §3】</td>
<td><strong>有反证</strong></td>
<td>① 标签速度取决于整条路径长度与进度,输入里看不到 → 非马尔可夫;②
起步/收尾 Δq≈0 → 闭环"起不了步";③ 每步最多约
4.4°(J1)~13°(J6),远大于安全层预算假设</td>
<td>门禁:标签一致性测试——在 (q, 目标) 近邻(关节 &lt;0.5°、目标 &lt;2
mm)内比较 16 步标签的方差,要求 &lt; 每轴步长的 10%。同时跑 1000 个
held-out 闭环,"10 个周期内 TCP 位移 &lt; 1 mm"的起步失败率 =
0。不过就改为<strong>局部可观测</strong>的时间律:匀速巡航 +
只按"剩余路程"决定的梯形减速;或把当前速度 q_t−q_{t−1} 作为输入</td>
</tr>
<tr class="odd">
<td>5</td>
<td>§4.5 ②</td>
<td>每 3 步取 1 个样本,标签 = 未来 16 步 Δq(相对
q_t,到终点补零)</td>
<td>DRP:10 步关节增量、MSE、转绝对目标【原文
§3.1】;DP:位置式动作块明显优于速度式【原文 §4.2】</td>
<td>有充分证据(表示本身)</td>
<td>补零 = 大量"停住"标签,到达附近可能早停;样本数估计偏高(见不一致
I2)</td>
<td>门禁:<code>stats.json</code>
统计每条路径的实际样本数,以及补零样本占比(&gt; 30% 需降权)</td>
</tr>
<tr class="even">
<td>6</td>
<td>§4.5 ④</td>
<td>"路径后缀天然覆盖从半路出发,等于免费的 DAgger 种子"</td>
<td>DAgger(Ross 2011)的核心正是:BC
只在老师状态上训练,误差随时域二次累积;必须在<strong>学生自己访问的</strong>状态上取标签【未抓取,背景】;MπNets:"单步训练、递归推理,累积噪声等价协变量偏移",用关节角高斯噪声增广【原文
§3.4】;DART:在老师演示中注噪,比 BC 平均提升 62%【原文摘要】</td>
<td><strong>有反证</strong>(说法错误)</td>
<td>后缀仍是老师轨迹上的状态,不是偏离状态;不能替代 DAgger</td>
<td>门禁:闭环 vs 开环误差对比——held-out 上"闭环到达率 −
单步回放准确率"的差距。回退/缓解:① 输入加关节噪声(σ≈0.5–1°)+
由老师离线重标(允许,老师只在离线);② 依赖 §7 的 APG/挖错补偏移</td>
</tr>
<tr class="odd">
<td>7</td>
<td>§5.1</td>
<td>关节 sin/cos(12) + 限位轴归一化(3) + TCP 位置与 6D 姿态 + 目标 +
差值 + 模式 + k_prev + 8 个胶囊距离</td>
<td>6D 旋转:连续表示,不连续表示的平均误差最高达 6–14 倍【原文 Zhou
2019 §1】;MπNets 关节归一化到 [−1,1]【原文 §3.1】;ELMP 目标 12
维(位置+展平旋转矩阵)【原文 §IV】</td>
<td>有部分证据</td>
<td>① k_prev one-hot 对流匹配头无意义;② 缺子目标、前缀、速度输入(见
I7);③ 最小距离特征在对子切换处梯度不连续;④ 以位姿为目标时多 IK
分支带来<strong>额外多峰</strong>(不只左/右绕)</td>
<td>门禁:消融——去掉胶囊距离特征,near_column 闭环到达率差异 ≥ 3
个百分点才保留。IK 多峰门禁:同一目标位姿下不同肘/腕分支的 held-out
子集到达率 ≥ 主集 −2
个百分点;不过就加"目标分支标志"或改为以老师终点关节角为条件(DRP
做法,需离线 IK)</td>
</tr>
<tr class="even">
<td>8</td>
<td>§5.2/5.3</td>
<td>输出 16×6 Δq(按每轴最大步长归一化);连续轴 <code>unwrapTo</code>
统一</td>
<td>DRP 同类表示【原文】;连续轴展开为本仓库已有实现</td>
<td>有充分证据</td>
<td>每轴最大步长取决于 #4 的时间律,时间律一改,归一化要跟着改</td>
<td>门禁:§6.4 对拍,预处理与部署 unwrap 结果逐位一致(10 万样本 0
差异)</td>
</tr>
<tr class="odd">
<td>9</td>
<td>§6.1</td>
<td>IMPACT 式编码器-解码器,去掉点云;d=192,4+4 层,约 3–4M 参数</td>
<td>IMPACT:6+6 层、隐层 128、FFN 1024、8 头、10 个动作 token、4.67M
参数、300 Hz(4090)【原文 App G 表 7】</td>
<td>有充分证据(结构)/ 仅推断(去点云后够不够)</td>
<td>实算参数 ≈ 4.13M(编码 1.77M + 解码
2.36M),略超"3–4M";浏览器延迟未证(见 #24)</td>
<td>门禁:M4 小数据过拟合(1000 样本训练损失 → 0)+ M5 后 held-out
闭环到达率 ≥ 95%(APG 前)</td>
</tr>
<tr class="even">
<td>10</td>
<td>§6.2</td>
<td>WTA-L1 + CE + FK 胶囊端点损失(0.5) + 二阶平滑(0.05) + 剩余时间
L1(0.1)</td>
<td>ELMP 的 BC 损失 = 动作项 +
λ_fk·Σ‖FK_i(q_pred)−FK_i(q_gt)‖(碰撞球中心)【原文 §III-B 式(2)】;DRP
用 MSE【原文】</td>
<td>有部分证据</td>
<td>只写了 WTA 头的损失;默认的流匹配头没有损失定义(FK
损失加在哪个输出上?),见 I8;权重未调</td>
<td>门禁:FK 损失消融,C 类闭环碰撞率(关安全层)下降 ≥ 20% 才保留</td>
</tr>
<tr class="odd">
<td>11</td>
<td>§6.3</td>
<td>AdamW(0.9,0.95)、lr 1e-3、bs 1024、bf16、20 万步("30 epoch"),3090
约 1.5–3 h</td>
<td>DRP:AdamW 同参、bs 512、100 万步、4090 上 3 天(含点云)【原文表
7】</td>
<td>仅推断(时间)</td>
<td><strong>20 万步×1024 = 2.05 亿样本次 ≈ 68 epoch,不是
30</strong>(I1);WTA 头每样本约 1.0 GFLOP(训练)→ 共 2.0e17
FLOP,3090 实际 10–35 TFLOPS 时需 1.6–5.6 h;流头约 0.5–1.8 h,但
MeanFlow/OFP 有额外前向/JVP 开销</td>
<td>门禁:先跑 2000 步测吞吐(样本/秒),据此重算;目标 ≥ 2
万样本/s。不过就降到 30 epoch(8.8 万步)或 bs 2048</td>
</tr>
<tr class="even">
<td>12</td>
<td>§6.4</td>
<td>胶囊距离 PyTorch 可微版与 JS 对拍 10 万位形 0 误差;每 epoch 1000
任务闭环验证</td>
<td>仓库已有"4000/20000 位形与旧实现 0 差异"的对拍惯例【仓库】</td>
<td>有充分证据(工程可行)</td>
<td>"0 误差"对浮点距离不现实,应为布尔判定 0 差异 + 距离误差 &lt; 1e-4
mm;对拍只证明一致,不证明连续安全</td>
<td>门禁即所述;附加:可微版梯度与有限差分相对误差 &lt; 1e-3</td>
</tr>
<tr class="odd">
<td>13</td>
<td>§6.1/§8.5</td>
<td>子目标头:冷启动输出 1–2 个关节途经点,标签取老师路径拐点</td>
<td>AWE:用动态规划在误差预算内选最少航点,把 DP/ACT 成功率最多提升
25%【原文 §1、§3】;SHAC/分层规划一类思路【推断】</td>
<td>有部分证据</td>
<td>① §5.1 输入没有子目标字段(I7);② "冷启动"在拖拽中无定义(I22);③
单输出子目标头无法给出"另一侧"的备选(卡死换向需要它);④
捷径平滑后的拐点不稳定</td>
<td>门禁:子目标头 top-2 方向覆盖率(老师同伦类在前 2 个子目标中)≥
98%(C 类)。回退:子目标改为 K 个离散"绕行锚点"分类(左/右/上),标签用
AWE 式 DP 提取</td>
</tr>
<tr class="even">
<td>14</td>
<td>§6.1/§8.5</td>
<td>价值头:预测剩余时间/代价;APG 展开时"有真实值可监督"</td>
<td>SHAC:用学到的 critic 截断可微仿真的 BPTT 时域(h=32 对
H=1000),同时缓解局部极小与梯度爆炸【原文 §1、§4】</td>
<td>有部分证据</td>
<td>截断展开内多数任务到不了目标 → 没有"真实剩余时间",必须用 TD
自举(SHAC 式),文中没写;价值头偏差会直接误导短前瞻与卡死检测</td>
<td>门禁:held-out 上价值头预测的剩余时间与实际闭环用时的 Spearman ≥
0.8,C 类 ≥ 0.7。不过就让卡死检测只用几何进度(TCP
到目标距离、子目标距离)</td>
</tr>
<tr class="odd">
<td>15</td>
<td>§8.5-3</td>
<td>短前瞻:对每个候选再推一块(32 步终态),用碰撞 + 价值打分</td>
<td>Neural MP 测试时"采样多条选穿透最少"【原文,见
<code>finetune_alternatives.md</code>】;BID:每步采 N=16
个样本按前后一致性选择,相对提升 32%【原文 §5.2.1】</td>
<td>有部分证据</td>
<td>计算翻倍(见 I9 延迟预算);第二块基于预测状态,误差叠加</td>
<td>门禁:A/B(有/无前瞻)在 near_column + C 类 held-out
上,前瞻必须把卡死率降低 ≥ 50%,且 P99 周期耗时仍 &lt; 15 ms</td>
</tr>
<tr class="even">
<td>16</td>
<td>§7.2</td>
<td>挖错循环:出题→闭环作答(关安全层)→GPU 验算→E1–E6 分类→邻域加权进
APG 池;E2 才少量请老师;门禁回滚</td>
<td>Avoid Everything/MπFormer 困难负样本挖掘;DRP 迭代师生微调 +45%(每
1 万步替换一次基模型,共 5 轮,10 h)【原文 §3.2、表 7】</td>
<td>有部分证据</td>
<td>① 门禁用的 held-out 2000 与 3 个基准同时是 §9 的验收集 →
选择偏差(I14);② 挖错样本过采样 → 灾难性遗忘(门禁"95%
修好的仍对"只防一部分)</td>
<td>门禁拆分:<strong>新造</strong>"门禁集"(2000)与"验收集"(2000 +
新造 near_column 扩展 1000 例),验收集只在最后用一次。遗忘门禁:A
类到达率每轮不降 &gt; 0.5 个百分点</td>
</tr>
<tr class="odd">
<td>17</td>
<td>§7.3</td>
<td>拒绝采样自蒸馏:多样本闭环,只保留验算通过且最短的一条做 BC</td>
<td>ReST:Grow/Improve 循环,逐步提高过滤阈值【原文 §2】;RoboCat
式自我改进【未抓取】;ELMP 证据:加笛卡尔路径长度项后碰撞率由 8.9% 升到
10.9%【原文表 I】</td>
<td>有部分证据</td>
<td>选"最短" → 系统性贴着立柱走,余量变小 →
安全层刹停率上升;多样性塌缩(只剩一种绕法)</td>
<td>门禁:自蒸馏后 C 类最小间隙中位数不得低于自蒸馏前的
80%;刹停率不升。选择准则改为"通过 + 间隙 ≥ 阈值的样本中最短"</td>
</tr>
<tr class="even">
<td>18</td>
<td>§8.2</td>
<td>模式粘滞:分数 = log p(k) −
c·[k≠k_prev];流头改为"噪声粘滞"(保留上周期噪声)</td>
<td>BID:Warmstart(沿用上一决策的噪声)"平均小幅提升,但 7 个任务里有 3
个变差";BID 后向一致性准则(与上一块的加权 L2)+ N=16 采样,相对提升
32%【原文 §5.2.1、图 6】;DP:独立逐步采样会在两种模式间来回跳【原文
§3】</td>
<td>有部分证据(噪声粘滞<strong>有反证</strong>:BID 中不稳健)</td>
<td>一步生成器下"同一噪声 → 同一模式"在状态变化后不保证成立;log p(k)
对流头无定义</td>
<td>门禁:E5(≥3 次切换)&lt; 1% 任务,rt_drag_bench
摇摆计数。若噪声粘滞不过,改用 BID
式后向一致性打分(与上周期已提交块的重叠步加权 L2)作为排序项</td>
</tr>
<tr class="odd">
<td>19</td>
<td>§8.3</td>
<td>安全层:候选前 3 步按 1°+半格离散细验 + 可刹停不变式(第 3
步末按最大减速度刹停段也细验)</td>
<td>不变式本身:Thumm &amp; Althoff 的 failsafe
盾——每步只在"意图段安全且其末端存在已验证的刹停轨迹"时执行,否则执行<strong>上一条已验证</strong>刹停轨迹【原文
§III、图 3】,有充分证据;离散检查:Schwarzer
等证明离散分辨率检查会漏检,提出"两端距离之和 &gt;
各点轨迹长度上界"的充分条件,"never
fails"【原文式(1)】;LARC(胶囊+速度上界的连续认证):MoveIt/FCL
抽样审计在 21 条直接插值轨迹中发现碰撞;139 条"抽样无碰撞"的轨迹里有 27
条无法认证【原文摘要】;ELMP 评测用离散检查时余量取 30 mm【原文
§IV-A】</td>
<td>不变式:有充分证据;<strong>按现有离散实现"保证零碰撞":有反证</strong></td>
<td>杠杆实测:0.5° 间距下采样点间偏差上界 ≈ 24.3×0.25 ≈ 6 mm ≫ 0.3
mm;仓库报告 0.28/0.08 mm
残余侵入、"贴柱薄层整个夹在采样点间";刹停段"最大减速度"未定义;§8.1
交叉淡入使执行轨迹 ≠ 检查轨迹</td>
<td>门禁:①离线审计:10^5 个随机提交段(3 步+刹停),用 0.01° 细采样(或
Schwarzer 式距离认证)复核,漏检 = 0;②在 near_column
上统计"认证拒绝率"(认证判不安全而离散判安全的比例)。修正:静态障碍对(臂×立柱/台架)改用<strong>距离下界认证</strong>:d(q_a)+d(q_b)
&gt; Σ_j r_j·</td>
</tr>
<tr class="even">
<td>20</td>
<td>§8.3 耗时</td>
<td>预筛 + 逐个检查 + 首个通过即停,目标 &lt; 5 ms;不达标放 Web
Worker</td>
<td>仓库:collideFree 2.9→1.8→1.25 ms/次(pair2d 后);每帧守卫约 1.2
ms【仓库】</td>
<td>仅推断</td>
<td>贴柱时预筛基本失效(正是难例所在);样本数被低估(每步 4–13°,3 步
13–39 个采样点 + 刹停段),见 I10</td>
<td>门禁:M7 在 near_column 30 例 × 全程逐周期计时,安全层 P99 &lt; 5
ms;不过就做距离认证(一次距离查询覆盖整段,通常比 N
次布尔更省),或把提交步数降到 2</td>
</tr>
<tr class="odd">
<td>21</td>
<td>§8.5-4</td>
<td>卡死检测:0.3 s 价值不降或连续 2 周期刹停 → 强制换向并锁定 1 s</td>
<td>势场法局部极小的经典逃逸(随机游走/换向,Barraquand &amp; Latombe
RPP)【未抓取】;MπNets 指出局部控制器(STORM、Geometric
Fabrics)在复杂几何中会卡在局部极小【原文 §5.1】</td>
<td>仅推断</td>
<td>① 两个方向都被挡 → 1 s 锁定后来回切换(活锁);②
流头没有离散"另一方向",依赖子目标头备选(#13);③ 1 s
锁定可能与目标拖拽冲突</td>
<td>门禁:构造"两侧都要绕很远"的 50 个对抗用例 + near_column,卡死后 3 s
内恢复进度的比例 ≥ 95%,活锁(换向 ≥ 3 次仍无进度)=
0。回退:卡死时允许跟随离线路网"锚点表"(<strong>注意</strong>:这等于部分老师,需用户同意)</td>
</tr>
<tr class="even">
<td>22</td>
<td>§8.6</td>
<td>策略层 50 Hz、提交 3 步、伺服层另行插补;浏览器 rAF 60 Hz 也能稳定跑
50 Hz</td>
<td>π0:50 Hz 机器人每 0.5 s 推理一次(执行 25/50 步),时间集成"hurt
policy performance"故不用【原文 App D】;DP:10 Hz、预测 16 执行 8
最优,可承受 4 步延迟【原文 §5.3】;MπNets 9 Hz;ELMP 30 Hz【原文】</td>
<td>有部分证据</td>
<td>① <strong>每 20 ms 重推理只执行 1 步 = 动作时域 1</strong>,BID
证明这会破坏块内一致性、导致来回摆动【原文 §4.1】;② rAF 16.7 ms 帧与 20
ms 周期不整除 → 周期抖动(16.7/33.3 ms
交替),后台标签页定时器会被节流【推断】</td>
<td>门禁:A/B"每 1 步重推理"与"每 3 步重推理"(执行 3 步)在 E5
摇摆率、到达率、拖拽跟随误差上的对比。若后者不差,就默认每 3
步重推理(顺带把推理预算放宽到 60 ms)。周期抖动:用 Worker +
自有时钟按实际 dt 插值,测 P99 周期误差 &lt; 2 ms</td>
</tr>
<tr class="odd">
<td>23</td>
<td>§8.1-6</td>
<td>到达判据 TCP &lt; 1 mm(pose &lt; 0.5°),近目标做 1–3
次局部牛顿</td>
<td>ELMP-APG 也只有 89.0% 在 1 cm 内、72.6% 在 5° 内【原文表 I】;MπNets
98.94% 在 1 cm 内【原文表 3】</td>
<td>有部分证据(必须依赖牛顿精修)</td>
<td>精修段本身要过安全层(文中没写);牛顿步可能跨分支</td>
<td>门禁:held-out 中精修前误差 &lt; 5 mm 的比例 ≥ 99%;精修后 &lt; 1 mm
的比例 ≥ 99.5%;精修段 100% 经过安全层</td>
</tr>
<tr class="even">
<td>24</td>
<td>§0/§8.1/§9.2</td>
<td>每周期推理 2–5 ms、推理+安全 &lt; 10 ms(P99 &lt; 15 ms),浏览器
onnxruntime-web,WebGPU 优先</td>
<td>WebGPU 每次 dispatch 的开销:Chrome 33–67
μs(连续);带同步的单次操作 2–3 ms(Chrome)【原文 2604.02344 表
6】;社区多例小模型 WebGPU 比 wasm 慢【未抓取,检索摘要】</td>
<td>仅推断(且偏乐观)</td>
<td>8 层 Transformer 约 150–300 次 dispatch → 仅调度开销就有 5–20
ms,外加每周期一次 GPU→CPU 回读;wasm 下 8 候选 × 前瞻 = 约 0.6–1.3
GFLOP/周期</td>
<td>门禁:M4 后<strong>立即</strong>导出 ONNX,在目标浏览器测
batch=8(含前瞻 batch=16)延迟 P99。若 &gt; 5 ms,就用 wasm-SIMD
多线程或 fp32 小算子融合;仍不行就缩小解码 token(B 样条 6 个控制点而非
16 步)、去掉前瞻,或改为每 3 步推理一次</td>
</tr>
<tr class="odd">
<td>25</td>
<td>§9</td>
<td>验收:碰撞帧 0;route 60/60、near pos/rt 30/30、held-out ≥ 98%;用时
≤ 老师×1.3;行程 ≤ 现有×1.10;刹停 &lt; 2%;摇摆 &lt; 1%;关安全层碰撞
&lt; 3%</td>
<td>ELMP-APG 关安全层碰撞 8.9%、DRP
10.16%(环境不同)【原文】;ELMP:APG 使末端路径长度由 0.69 m 增至 0.85
m(+23%)【原文表 I】</td>
<td>有部分证据 / 部分指标<strong>不可达</strong></td>
<td>① held-out 含 10% 不可达(D 类),"到达 ≥ 98%"按定义不可能(I13);②
30/30 统计力弱(上界 9.5%);③ "碰撞帧
0"由离散检查测量,测不到采样点之间的穿模;④ APG 有拉长路径的先例,与
≤1.10× 行程冲突</td>
<td>改:到达率分母只算可达任务,D 类单独考核"停靠距离 ≤ 老师 + 5
mm";near_column 另造 ≥ 1000 例的验收扩展集(0 失败 ⇒ 失败率上界约
0.3%);碰撞审计用 0.01° 或距离认证;行程门禁按类别分别报告</td>
</tr>
</tbody>
</table>
<hr />
<h3 id="2-逐项详述">2. 逐项详述</h3>
<h4 id="21-4-老师离线造数据13">2.1 §4 老师离线造数据(#1–#3)</h4>
<p><strong>(a)</strong> §4.1–4.4:<code>solveDyn</code>(松手口径)为 5
万条采样任务(A 均匀 45%/B 直线被挡 30%/C 贴柱 15%/D 不可达
10%)生成折线,细验过滤后入库。</p>
<p><strong>(b) 证据</strong></p>
<ul>
<li>MπNets【原文 <a
href="https://arxiv.org/abs/2210.12209">https://arxiv.org/abs/2210.12209</a>
§4、表 1、表 3、§5.2】:3.27M 问题 / 575k
环境。关键发现是<strong>老师一致性</strong>:用全局规划器(IK + AIT* +
样条平滑)当老师训出的 MπNets-G,在两种老师都能解的问题上环境碰撞率
<strong>13.78%</strong>;用一致性强的混合老师(Hybrid Expert)只有
<strong>0.94%</strong>(表 3)。作者明确把差异归因于"consistency of the
expert"。</li>
<li>DRP【原文 <a
href="https://arxiv.org/abs/2509.06953">https://arxiv.org/abs/2509.06953</a>
§3.1】:cuRobo 生成 10M 条;预训练的 IMPACT "often incurs minor
collisions"。</li>
<li>ELMP【原文 <a
href="https://arxiv.org/abs/2607.00215">https://arxiv.org/abs/2607.00215</a>
表 I、图 6】:1 万条老师 + APG 胜过 60 万条纯 BC;200k APG 问题采样 4.5
CPU 小时,同量老师轨迹 &gt;1194 CPU 小时。</li>
<li>本仓库【仓库
<code>docs/路径规划优化报告.md</code>】:<code>solveDyn</code> 的核心是
Lazy RRT-Connect + 50 次随机捷径 + 逐轴拉直,定种子 LCG,平均规划
662–837 ms。</li>
</ul>
<p><strong>(c) 判定</strong>:有部分证据。数据量(5 万)在"固定环境 +
后续 APG"的前提下合理(ELMP 先例);但老师属于"全局采样规划器"类型,正是
MπNets 中一致性差、导致策略碰撞多的那类。</p>
<p><strong>(d)
残余风险</strong>:同一类任务里老师有时左绕、有时右绕(随机捷径的结果),会给多峰头制造"人为多峰",WTA/流头都会把容量浪费在拟合老师的随机性上。D
类"最近安全位形"在目标连续变化时不连续。§4.6 的 0.7 s/条对 C/D
类(难例、失败时搜到超时)偏乐观。</p>
<p><strong>(e) 缓解与门禁</strong>:老师一致性门禁(见总表
#1)。可选的更一致老师:离线 PRM 路网(15103 条边、单一连通分量)+ A*
最短路 + 确定性平滑。确定、可复现,且已在仓库里。按类别计时:先跑 1000
条(M1),C/D 类 P90 规划时间 &gt; 3 s 时重估 §4.6。</p>
<h4 id="22-45-时间参数化与切片46本节问题最大">2.2 §4.5
时间参数化与切片(#4–#6)——本节问题最大</h4>
<p><strong>(a)</strong> 按 <code>animTo</code> 的 VREL
轴速比做时间参数化(dt=20 ms),每 3 步取一个"(q_t, 目标) → 未来 16 步
Δq"样本;声称后缀"等于免费的 DAgger 种子"。</p>
<p><strong>(b) 证据</strong></p>
<ul>
<li>本仓库实现【仓库 <code>webapp/js/ik-glue.js</code>
L376–L401】:各段时长 ∝ 该段"最慢轴所需时间"(<code>|Δq_j|/VREL_j</code>
的最大值);<strong>整条折线做一次全局
smoothstep</strong>(<code>u*u*(3-2u)</code>);总时长 =
<code>ms·sum/150</code>,夹在 <code>[0.6ms, 3.5ms]</code>(ms=620 →
372–2170 ms)。按此推算主导轴的每步位移:平均
2.9°(J1/J2)~8.7°(J6),峰值(smoothstep 导数 1.5
倍)4.4°~13.1°/步;长路径被夹到 2170 ms 时还会更快。</li>
<li>MπNets【原文 §4.2 附近】:"we fit a spline to the path and retime it
to have steady velocity",即特意匀速化。</li>
<li>Diffusion Policy【原文 <a
href="https://arxiv.org/abs/2303.04137">https://arxiv.org/abs/2303.04137</a>
§3 "Robustness to idle actions"】:"single-step policies can easily
overfit to this pausing behavior… BC-RNN and IBC often get stuck"。</li>
<li>MπNets【原文 §3.4】:"trained for single-step prediction… compounded
noise… equates covariate shift",用关节角高斯噪声增广。</li>
<li>DART【原文 <a
href="https://arxiv.org/abs/1703.09327">https://arxiv.org/abs/1703.09327</a>
摘要】:向老师注噪造数据,平均比 BC 提升 62%。</li>
<li>DAgger(Ross, Gordon, Bagnell, AISTATS 2011)【未抓取,背景】:BC
误差随时域 O(εT²) 累积,需要在学生自己访问的状态分布上取标签。</li>
</ul>
<p><strong>(c) 判定</strong>:切片做法本身有充分证据(DRP、DP
都这样做);<strong>沿用 <code>animTo</code>
的时间律有反证</strong>;"免费
DAgger"的说法<strong>有反证</strong>(概念错误)。</p>
<p><strong>(d) 残余风险</strong></p>
<ol type="1">
<li><strong>非马尔可夫标签</strong>:smoothstep 是对整条路径的进度 u
做的,同一 (q, 目标)
在短路径与长路径里的标签速度不同,在路径前段与后段也不同,而输入里没有速度、进度或路径长度。模型只能学到条件平均。</li>
<li><strong>起步停滞</strong>:u≈0 时 Δq_{t+1}≈0。闭环每 20 ms 只执行第
1 步,下一周期状态几乎不变,标签又是"几乎不动",可能形成不动点。</li>
<li>每步位移远大于安全层预算假设(I10)。</li>
<li>后缀样本仍是老师分布,对偏离状态没有监督;§7 的
APG/挖错能补一部分,但 APG
要从预训练模型出发,预训练崩了(如起步停滞)会拖累后训练。</li>
</ol>
<p><strong>(e) 缓解与门禁</strong></p>
<ul>
<li>时间律改为局部可观测的:匀速(按 VREL 归一化的恒定巡航速度)+
只在终点前按剩余路程梯形减速、起点按已行路程加速;或把
q_t−q_{t−1}(以及前缀块,若用 RTC)加入输入。</li>
<li>噪声增广:输入关节加 σ=0.5–1°
噪声,由老师离线从扰动状态重规划一段作为标签(DART
式;老师只在离线,符合约束)。</li>
<li>门禁:标签一致性测试 + 起步失败率 = 0(总表
#4);闭环/开环差距(#6)。</li>
</ul>
<h4 id="23-5-输入输出表示78">2.3 §5 输入/输出表示(#7–#8)</h4>
<p><strong>(a)</strong> 输入:关节 sin/cos + 限位轴归一化、TCP 位置与 6D
姿态、目标位置/6D 姿态/差值、模式 one-hot、k_prev、8
个胶囊对最小距离;输出 16×6 Δq,按每轴最大步长归一化,连续轴
unwrap。</p>
<p><strong>(b) 证据</strong></p>
<ul>
<li>Zhou 等《On the Continuity of Rotation Representations》【原文 <a
href="https://arxiv.org/abs/1812.07035">https://arxiv.org/abs/1812.07035</a>
§1】:3D 旋转在 ≤4 维下都不连续;不连续表示的平均误差最高达连续 6D
表示的 6–14 倍。</li>
<li>MπNets【原文 §3.1】:关节归一化到 [−1,1],输出归一化空间里的位移并
clamp。</li>
<li>ELMP【原文 §IV "Architecture"】:目标 12 维 = 位置 +
展平旋转矩阵;关节 7 维直接进 MLP。</li>
<li>DRP【原文 §3.1】:以<strong>目标关节角</strong>为条件,避开 IK
多解。</li>
<li>胶囊距离作输入:无直接先例。C-space 距离场(CDF)作特征的讨论见
<code>finetune_alternatives.md</code>【其他报告】。</li>
</ul>
<p><strong>(c) 判定</strong>:6D、sin/cos、Δq
块均有充分证据;胶囊距离特征仅推断;"以位姿为目标让模型连 IK
一起学"有部分证据(ELMP 这样做,但 ELMP 的 1 cm 内到达率只有 89%)。</p>
<p><strong>(d) 残余风险</strong>:位姿目标 → 多个 IK
分支(肘上/肘下、腕翻转)带来比"左/右绕"更多的模式,K=4 的 WTA
可能不够;k_prev 对流头无意义;缺子目标/前缀/速度输入;min
距离特征在最近对子切换处不可导。</p>
<p><strong>(e) 门禁</strong>:见总表 #7、#8。</p>
<h4 id="24-61-结构9">2.4 §6.1 结构(#9)</h4>
<p><strong>(a)</strong> 条件 MLP → 8 个条件 token(d=192)→ 4
层编码器;K×16 个可学习动作 token → 4
层非自回归解码器;另有动作、模式、价值、子目标四个头。</p>
<p><strong>(b) 证据</strong>:IMPACT【原文 DRP App G 表 7】:编码 6
层/解码 6 层、隐层 128、FFN 1024、8 头、sin-cos 位置编码、动作块
10;场景点云 128 token + 机器人点云 16 token;4.67M 参数(含 PointNet++
SA);300 Hz@4090、冷启动 3.48 ms。</p>
<p><strong>(c) 判定</strong>:结构有充分证据;去掉点云后条件只剩约 60
维,用 8 个 token 表示属于设计选择(仅推断),属低风险。</p>
<p><strong>(d) 残余风险</strong>:参数实算 ≈
4.13M(<code>4·(4d²+2·d·FFN)</code> +
<code>4·(8d²+2·d·FFN)</code>),fp16 约 8.3 MB(文中写约 7
MB),影响不大;浏览器推理延迟是真风险(#24)。</p>
<p><strong>(e) 门禁</strong>:总表 #9、#24。</p>
<h4 id="25-62-损失10">2.5 §6.2 损失(#10)</h4>
<p><strong>(b)</strong> ELMP【原文 §III-B】:L_BC =
λ_action·‖Δq_pred−Δq_gt‖ + λ_fk·Σ_i‖FK_i(q_pred)−FK_i(q_gt)‖(i
为碰撞球中心),与我们的"胶囊端点 FK 损失"同构;ELMP 未单独报告 FK
项的消融数字。MπNets【原文 §3.3】也用任务空间几何损失。</p>
<p><strong>(c)</strong> 有部分证据。</p>
<p><strong>(d)</strong> 损失只对 WTA
头写明;默认的流匹配头需要另定(例如在一步生成的 x̂ 上加 FK 项,见
<code>onestep.md</code>),否则 §6.2 对默认配置无效(I8)。剩余时间 L1
与价值头重复定义。</p>
<h4 id="26-63-训练配置与耗时11">2.6 §6.3 训练配置与耗时(#11)</h4>
<p><strong>(a)</strong> bs 1024、20 万步、bf16,3090 约 1.5–3 h。</p>
<p><strong>(b)</strong> DRP【原文表 7】:bs 512 × 100 万步 = 5.12
亿样本次,4090 上 3 天 ≈ 1975 样本/s(瓶颈主要是点云)。本方案:20 万 ×
1024 = <strong>2.05 亿样本次(DRP 的 40%,不是 1/5)</strong>。FLOP
估算【推断,见 <code>lever.cjs</code> 同目录脚本的计算】:WTA 头(64
个解码 token)训练约 0.99 GFLOP/样本 → 合计 2.0e17 FLOP;3090 bf16
稠密峰值约 71 TFLOPS,小模型实际 10–35 TFLOPS → <strong>1.6–5.6
h</strong>。流头(16 个 token)约 0.31 GFLOP/样本 → 0.5–1.8 h,但
MeanFlow 的 JVP、OFP 的自蒸馏额外前向会乘 1.5–3 倍。</p>
<p><strong>(c)</strong> 仅推断:1.5–3 h 落在估算区间的乐观一侧。</p>
<p><strong>(d)</strong> epoch 数自相矛盾(I1);每 epoch 1000
任务闭环验证也要计入。APG 显存【推断】:每个展开周期每样本激活约 4
MB,H=60 时约 0.27 GB/样本,150 周期时约 0.66 GB/样本 → 24 GB 卡 batch
只有约 30–80,需要激活检查点。ELMP 在 6×3090 上 APG 的 batch 只有
48,H=69【原文 §IV-A】。</p>
<p><strong>(e)</strong> 门禁:吞吐实测后重算(总表 #11);APG 先跑
H=60、bs 32 的显存测试。</p>
<h4 id="27-6185-子目标头价值头短前瞻1315">2.7 §6.1/§8.5
子目标头、价值头、短前瞻(#13–#15)</h4>
<ul>
<li>子目标头:AWE【原文 <a
href="https://arxiv.org/abs/2307.14326">https://arxiv.org/abs/2307.14326</a>
§1/§3】把"预测下一动作"变为"预测下一航点",用 DP
在误差预算内选最少航点,最多 +25%
成功率。直接支持"以途经点为锚",而且给出了比"老师拐点"更稳定的标签提取方法。</li>
<li>价值头:SHAC【原文 <a
href="https://arxiv.org/abs/2204.07137">https://arxiv.org/abs/2204.07137</a>
§1、§4】用学到的 critic 截断可微仿真展开(h=32 对
H=1000),兼治局部极小与梯度爆炸。本方案的"APG
展开时有真实值"只在展开内到达时成立,其余必须 TD 自举,文中缺失。</li>
<li>短前瞻:BID【原文 <a
href="https://arxiv.org/abs/2408.17355">https://arxiv.org/abs/2408.17355</a>
§4、表 2】:每步采 16 个样本按后向一致性 + 前向对比选择,推理时间 13.2
ms → 25.9 ms(A5000),相对提升 32%。说明"多采样 + 打分"有效,但代价约 2
倍。</li>
</ul>
<p>判定:子目标头、价值头有部分证据;短前瞻有部分证据。风险与门禁见总表
#13–#15。</p>
<h4 id="28-72-挖错循环与门禁16">2.8 §7.2 挖错循环与门禁(#16)</h4>
<p><strong>(b)</strong> DRP 迭代师生微调【原文 §3.2】:每 1
万梯度步后学生替换基模型,共 5 轮,4090 上 10 h,成功率比预训练
<strong>+45%</strong>(表 6)。Avoid Everything/MπFormer
的困难负样本挖掘(DRP 文中引述)。</p>
<p><strong>(c)</strong> 有部分证据:DRP 的循环用局部控制器(Geometric
Fabrics)当"老师",本方案改用 APG 代价,这一替换由 ELMP
支持;"错题邻域加权进 APG 池"本身无直接先例(仅推断)。</p>
<p><strong>(d)</strong> 门禁集与验收集重叠(I14);E2
的老师补数据把"无老师"变成"少量离线老师"(文中已说明,合规)。</p>
<h4 id="29-73-拒绝采样自蒸馏17">2.9 §7.3 拒绝采样自蒸馏(#17)</h4>
<p><strong>(b)</strong> ReST【原文 <a
href="https://arxiv.org/abs/2308.08998">https://arxiv.org/abs/2308.08998</a>
§2】:Grow(策略生成多样本)/
Improve(按分数过滤后微调,阈值逐步提高);作者也提到基于奖励的方法有
reward hacking 风险。ELMP【原文表
I】:加入笛卡尔路径长度惩罚后,碰撞率从 8.9% 升到 10.9%。这是"偏好短路径
→ 更贴障碍"的直接证据。</p>
<p><strong>(c)</strong> 有部分证据。门禁见总表 #17。</p>
<h4 id="210-82-模式粘滞18">2.10 §8.2 模式粘滞(#18)</h4>
<p><strong>(b)</strong> DP【原文
§3】:逐步独立采样会在左右两种策略间来回跳。BID【原文
§5.2.1】:Warmstart(从上一决策热启动噪声,即本方案的"噪声粘滞")"mild
gains on average, but degrades performance on 3 out of 7
tasks";EMA/时间集成在 2
个任务上变差,原因是相邻块属于不同潜在策略,平均后"may not yield a
plausible strategy";BID 后向一致性 + 前向对比在全部任务上提升,相对
+32%。</p>
<p><strong>(c)</strong>
切换代价/一致性选择有部分证据;<strong>单靠噪声粘滞有反证</strong>(BID
中不稳健)。</p>
<p><strong>(e)</strong> 改为 BID
式后向一致性打分(与上周期已提交块重叠步的加权 L2)+ 安全层,门禁见总表
#18。</p>
<h4 id="211-83-安全层与可刹停不变式1920重点核查是否真的保证不撞">2.11
§8.3 安全层与可刹停不变式(#19–#20)——重点核查"是否真的保证不撞"</h4>
<p><strong>(a)</strong> 候选前 3 步 1° 细验 + 半格复验 + 关节限位;从第
3
步末按"最大减速度"停下的刹停段也要细验;全部不过就沿已验证刹停轨迹停下。</p>
<p><strong>(b) 证据</strong></p>
<ul>
<li><strong>不变式</strong>:Thumm &amp; Althoff, ICRA 2022【原文 <a
href="https://arxiv.org/abs/2205.06311">https://arxiv.org/abs/2205.06311</a>
§III、图 3】:"During the execution of a trajectory between t_k and
t_{k+1}, we calculate a failsafe trajectory starting from t_{k+2}. If
this failsafe trajectory cannot be verified as safe, we execute the
previously verified failsafe trajectory starting from t_{k+1}."
与本方案同构。但他们的验证用的是<strong>连续时间可达集过近似</strong>(胶囊包络),不是离散采样。</li>
<li><strong>离散检查会漏</strong>:Schwarzer, Saha, Latombe, IEEE T-RO
2005【原文 <a
href="http://ai.stanford.edu/~mitul/papers/SSLtro05.pdf">http://ai.stanford.edu/~mitul/papers/SSLtro05.pdf</a>
式(1)】:若两端位形下的距离之和 d(q_a)+d(q_b)
大于各点所走曲线长度的上界(≤ Σ_j
r_j|Δθ_j|),整段无碰撞;固定分辨率法会漏检,自适应法 "never fails to
detect collision"。</li>
<li>LARC 2026【原文 <a
href="https://arxiv.org/abs/2608.29767">https://arxiv.org/abs/2608.29767</a>
摘要】:胶囊 + 分量速度上界做连续认证,160 条 PIPER
轨迹上与固定细分辨率决策一致,工作量仅 24.8%;但 139
条"抽样无碰撞"的轨迹中 27
条无法认证。认证天然保守,会拒掉一些贴边路径。</li>
<li>ELMP 评测【原文 §IV-A】:离散检查(插值 3 倍,约 150
个位形)时安全余量取 <strong>30 mm</strong>。</li>
<li>本仓库【仓库】:<code>collide.json</code> 的
<code>margin_mm = 0.3</code>;<code>ik-solver.js</code> L2777
注释原话:"贴立柱时薄薄一层干涉能整个夹在两个采样点之间(贴立柱测试
ci0:119.5° 的长边在 0.76 处 1°
复验撞)";<code>路径规划优化报告.md</code>:1° 细验后仍有 2
条路径最大侵入 0.28/0.08 mm。</li>
<li><strong>本次实测杠杆</strong>【仓库,<code>src_v/lever.cjs</code>,19219
个无干涉随机位形】:TCP 每度最大位移 J1 9.02 / J2 6.93 / J3 4.17 / J4
4.17 / J5 2.25 / J6 ≈0 mm;六轴同时 1°(L∞)的上界最大 24.3 mm,中位
19.4 mm。工具法兰胶囊可能比 TCP 更远,上界只会更大。</li>
</ul>
<p><strong>(c)
判定</strong>:不变式的逻辑结构有充分证据;"按现有离散实现保证零碰撞"<strong>有反证</strong>。</p>
<p><strong>(d) 残余风险(逐条)</strong></p>
<ol type="1">
<li>采样间隙:采样间距 δ(L∞)时,两采样之间任意点距最近采样位形的位移 ≤
L·δ/2。δ=0.5°(1°+半格)时约 6 mm,δ=0.75°(现有 pathFine 等效)时约 9
mm,δ=1° 时约 12 mm,都 ≫ 0.3
mm。立柱是实心大体,漏检的是"擦边几毫米"而不是"整个穿过",但"碰撞帧 =
0"的承诺不成立。</li>
<li>"最大减速度"在全文没有数值(§0 说插补器负责,<code>animTo</code>
只有 smoothstep,没有加速度上限),刹停段长度无从计算(I12)。</li>
<li>§8.1
的交叉淡入:执行轨迹是新旧两块的混合,不等于任一被检查过的块(I4)。</li>
<li>局部牛顿精修段(§8.1-6)没写要过安全层。</li>
<li>验收里的"碰撞帧"本身也用离散口径测,测不到问题。</li>
</ol>
<p><strong>(e) 修正与门禁</strong></p>
<ul>
<li>静态障碍对(臂×立柱、臂×台架)改用 Schwarzer/LARC
式距离下界认证:每段先算两端胶囊距离,满足 d_a + d_b &gt; Σ_j
r_j|Δθ_j|(r_j
取各连杆到各关节轴的最大距离,可离线算好)即放行,否则二分。自碰撞对复用已有
pair2d 杠杆界。</li>
<li>删掉插补层交叉淡入(或让安全层检查淡入后的实际轨迹)。</li>
<li>定义刹停:按每轴加速度上限 a_max
做梯形减速,写进配置并在训练数据时间律中使用同一 a_max。</li>
<li>门禁:10^5 个随机"3 步 + 刹停"段做 0.01° 超细采样审计,漏检 =
0;near_column 上"认证拒绝率"&lt; 5%,否则把训练余量(§7.1 的 margin+5
mm)提高到 ≥ 采样偏差上界,让策略本身留出足够间隙。</li>
</ul>
<h4 id="212-85-卡死检测与强制换向21">2.12 §8.5
卡死检测与强制换向(#21)</h4>
<p><strong>(b)</strong> MπNets【原文 §5.1】:STORM 与 Geometric Fabrics
等局部方法在复杂几何中会卡在局部极小,"struggle to retract from a drawer
and then reach into another drawer… without intermediate
waypoints"。经典逃逸方法(随机游走/换向)【未抓取】。没有找到"神经闭环策略
+ 规则换向"的直接先例。</p>
<p><strong>(c)</strong> 仅推断。风险与门禁见总表 #21。</p>
<h4 id="213-86-控制周期22">2.13 §8.6 控制周期(#22)</h4>
<p><strong>(b)</strong> π0【原文 <a
href="https://arxiv.org/abs/2410.24164">https://arxiv.org/abs/2410.24164</a>
App D】:"We tried temporal ensembling early on and found that it hurt
policy performance… 50Hz… inference every 0.5 seconds (after executing
25 actions)"。DP【原文 §5.3】:预测 16 步、执行 8 步最优,可承受 4
步延迟。BID【原文 §4.1】:每步重采样、只执行第 1 个动作 "destroys the
consistency preserved within each chunk, potentially leading to
oscillations"。</p>
<p><strong>(c)</strong> 50 Hz 策略层有部分证据;"每 20 ms 重推理、只走 1
步"与主流(π0 执行 25/50、DP 执行 8/16)相反,属于动作时域 h=1
的极端,有反证风险。§8.6 表中工业接口周期(Franka 1 kHz、UR e 系列 500
Hz 等)属常识,本次未逐一抓取原始手册(【未抓取】)。</p>
<p><strong>(e)</strong> 门禁见总表 #22。</p>
<h4 id="214-9-验收指标25">2.14 §9 验收指标(#25)</h4>
<ul>
<li>held-out 含 D 类 10% 不可达任务 → "到达 ≥
98%"按定义不可达(I13)。</li>
<li>30/30 的 95% 单侧失败率上界 ≈ 9.5%;要把上界压到 1%,需要约 300 例 0
失败;压到 0.3% 需要约 1000 例。</li>
<li>ELMP 表 I:APG 后末端路径长度 0.69 → 0.85 m(+23%),关节路径 4.09 →
3.90
rad(−5%)。关节行程门禁(≤1.10×)在关节空间可能过得了,但需按类别报告。</li>
<li>关安全层碰撞 &lt; 3%:ELMP/DRP 的 8.9%/10.2%
是在未知、多变环境;固定环境下更低是合理推断,但没有直接证据。</li>
</ul>
<hr />
<h3 id="3-文档内部不一致清单">3. 文档内部不一致清单</h3>
<table>
<thead>
<tr class="header">
<th>编号</th>
<th>位置</th>
<th>不一致</th>
<th>建议</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>I1</td>
<td>§6.3</td>
<td>20 万步 × bs 1024 = 2.05 亿样本次 = 300 万样本的约 <strong>68
epoch</strong>,不是 30;30 epoch 只需约 8.8 万步</td>
<td>二选一并重算耗时</td>
</tr>
<tr class="even">
<td>I2</td>
<td>§4.5-3 / §4.6</td>
<td>"每条路径 50–150 个样本":route_bench 平均执行 2.46–2.60 s ≈ 130
步,每 3 步取 1 个 ≈ 43 个;A 类更短 → 总样本更可能约 200 万而非 300
万</td>
<td>以 M1 的 stats.json 为准</td>
</tr>
<tr class="odd">
<td>I3</td>
<td>§7.1 vs §8.1 vs §8.5</td>
<td>APG 每次迭代执行 3 步(60 ms),"H=60 个周期≈1.2 s"实为 3.6
s;部署每 20 ms 推理、只走 1 步,APG "与部署一致"不成立;§8.5 又写"150
个周期≈3 s"(按 20 ms/周期)</td>
<td>统一"周期"定义;APG 展开节奏与部署一致(或部署改为每 3 步推理)</td>
</tr>
<tr class="even">
<td>I4</td>
<td>§8.1 末段 vs §6.1A</td>
<td>§8.1 插补器"时间集成/交叉淡入",§6.1A 说 RTC
前缀"替代时间集成";而且淡入后的轨迹没被安全层检查过</td>
<td>删除淡入,或安全层检查实际执行轨迹</td>
</tr>
<tr class="odd">
<td>I5</td>
<td>§5.2/§6.1/§8.1/§8.3/§8.5 vs §6.1A</td>
<td>前者按 K=4 个模式写(含安全层耗时与前瞻计算),默认流头是 K=8
个候选</td>
<td>全文统一,安全层最坏情况按 8 个算</td>
</tr>
<tr class="even">
<td>I6</td>
<td>§5.1/§8.2 vs §6.1A</td>
<td>k_prev one-hot 与 log p(k) 对流头无定义;"噪声粘滞"不需要该输入</td>
<td>按头类型分开写</td>
</tr>
<tr class="odd">
<td>I7</td>
<td>§5.1 vs §8.5/§6.1A</td>
<td>输入表里没有子目标、已提交前缀(RTC)、当前速度,但后文都要以它们为条件</td>
<td>补入输入表并给维度</td>
</tr>
<tr class="even">
<td>I8</td>
<td>§6.2 vs §6.1A</td>
<td>损失只针对 WTA;默认流头无损失定义;剩余时间 L1 与价值头重复</td>
<td>补流头损失</td>
</tr>
<tr class="odd">
<td>I9</td>
<td>§0 / §8.1 / §8.5 / §8.6 / §9.2</td>
<td>预算"推理+安全 &lt; 10 ms(留一倍余量)"、P99 &lt; 15 ms;组成:生成
2–5 ms + 前瞻 2×(2–5) ms + JS 梯度引导 + 安全检查(目标 &lt; 5 ms,§8.3
自认最坏约 70 ms)→ 合计 9–25 ms 以上</td>
<td>重做预算表;WebGPU 调度开销另计(#24)</td>
</tr>
<tr class="even">
<td>I10</td>
<td>§8.3</td>
<td>"4 候选 × 10 个采样位形"假设 3 步内 ≤ 约 3.3°;按 §4.5
时间律主导轴每步 4.4°~13°,3 步需 13–39 个采样 + 刹停段;单次 1.8 ms
是旧数据(pair2d 后为 1.25 ms)</td>
<td>重估</td>
</tr>
<tr class="odd">
<td>I11</td>
<td>§2.3/§8.3 vs 代码</td>
<td>文档写"1° 细验 + 半格复验"(等效 0.5°),现有 <code>pathFine</code>
为 EDGE_RES=1.5° + 半格(等效 0.75°)</td>
<td>明确口径</td>
</tr>
<tr class="even">
<td>I12</td>
<td>§8.3 vs §0</td>
<td>刹停段"按最大减速度",但全文和 <code>animTo</code>
都没有加速度上限</td>
<td>定义 a_max</td>
</tr>
<tr class="odd">
<td>I13</td>
<td>§9.2 vs §4.3</td>
<td>held-out 有 10% 不可达(D 类)却要求到达 ≥ 98%</td>
<td>分母只算可达任务,D 类单独考核</td>
</tr>
<tr class="even">
<td>I14</td>
<td>§7.2-6 vs §9.1</td>
<td>留出 2000 + 三个基准每轮用于门禁/回滚,又作最终验收 → 选择偏差</td>
<td>拆出独立验收集,只用一次</td>
</tr>
<tr class="odd">
<td>I15</td>
<td>§6.4 vs §9.2</td>
<td>验证超时 = 老师时长 ×2(最少 3 s),验收要求 ≤ ×1.3</td>
<td>验证同时报告 ×1.3 达标率</td>
</tr>
<tr class="even">
<td>I16</td>
<td>§0/§2.3/§8.3 vs 仓库</td>
<td>"安全层保证碰撞帧 = 0"与离散检查 + 0.3 mm
余量矛盾(实测采样间偏差可达约 6 mm;仓库记录过 0.28 mm
残余侵入与夹缝漏检)</td>
<td>改为距离认证,或如实降级表述</td>
</tr>
<tr class="odd">
<td>I17</td>
<td>§10 vs §6.3</td>
<td>重训流程写"§6 约 4 h",§6.3 写 1.5–3 h</td>
<td>统一</td>
</tr>
<tr class="even">
<td>I18</td>
<td>§6.3</td>
<td>"预热 1000 步(同 DRP 量级)":DRP 为 100 步;"步数约其
1/5",但处理的样本数是 DRP 的 40%</td>
<td>改表述</td>
</tr>
<tr class="odd">
<td>I19</td>
<td>§2.2#1 vs §8.1</td>
<td>"只执行前 2–4 步"与"提交 3 步、实际每周期只走 1 步"不同</td>
<td>统一</td>
</tr>
<tr class="even">
<td>I20</td>
<td>§9.2 现状列 vs <code>路径规划优化报告.md</code></td>
<td>文档写 route 现状 60/60 到达;报告第三轮写"有效路径 60/60,到达
58"(2 例目标超出可达区)</td>
<td>在 <code>3c7c814</code> 上重跑核对</td>
</tr>
<tr class="odd">
<td>I21</td>
<td>§4.5 vs §5.1</td>
<td>标签由全局 smoothstep 决定,但输入里没有速度/进度 → 非马尔可夫(见
#4)</td>
<td>改时间律或加输入</td>
</tr>
<tr class="even">
<td>I22</td>
<td>§6.1 vs §8.5</td>
<td>子目标头"仅冷启动用",§8.5
又说"到达子目标后切到下一个";拖拽时目标每周期都在变,"冷启动"无定义</td>
<td>定义触发条件(如目标跳变 &gt; X mm)</td>
</tr>
<tr class="odd">
<td>I23</td>
<td>§8.1-6</td>
<td>局部牛顿精修段没写要过安全层</td>
<td>补上</td>
</tr>
<tr class="even">
<td>I24</td>
<td>§8.4</td>
<td>fp16 约 7 MB;实算 4.13M 参数 × 2 B ≈ 8.3 MB</td>
<td>小问题</td>
</tr>
</tbody>
</table>
<hr />
<h3 id="4-未能核实--声明">4. 未能核实 / 声明</h3>
<ul>
<li>§8.6 工业接口周期表(Franka、UR、ABB EGM、KUKA RSI、FANUC
DPM、MoveIt
Servo)本次未逐一抓取原始手册,沿用文档原值(【未抓取】)。</li>
<li>DAgger 原文、Barraquand &amp; Latombe RPP、RoboCat
未抓取,只作背景引用。</li>
<li>DRP
中"目标被挡→停在最近安全处"的数据量与效果,本次未定位到具体表格。</li>
<li>浏览器端实际推理延迟没有任何本项目实测;WebGPU 结论来自 LLM
场景的调度开销测量(2604.02344),迁移到 4M 参数模型属推断。</li>
<li>杠杆实测用 TCP
代替全部胶囊端点,工具法兰胶囊可能更远,上界只会更大;同时假设关节空间线性插值,与
§4.5 时间参数化后的 20 ms 步相符。</li>
<li>训练耗时 FLOP 估算假设 3090 实际 10–35 TFLOPS,未实测。</li>
</ul>
<h3 id="5-来源">5. 来源</h3>
<ul>
<li>MπNets <a
href="https://arxiv.org/abs/2210.12209(§3.4、§4.2、表">https://arxiv.org/abs/2210.12209(§3.4、§4.2、表</a>
1、表 3、§5.1–5.2)</li>
<li>DRP/IMPACT <a
href="https://arxiv.org/abs/2509.06953(§3.1、§3.2、表">https://arxiv.org/abs/2509.06953(§3.1、§3.2、表</a>
6、App G 表 7)</li>
<li>ELMP <a
href="https://arxiv.org/abs/2607.00215(§III-B、表">https://arxiv.org/abs/2607.00215(§III-B、表</a>
I、§IV-A 实现细节、图 6)</li>
<li>Diffusion Policy <a
href="https://arxiv.org/abs/2303.04137(§3">https://arxiv.org/abs/2303.04137(§3</a>
时间一致性/停顿动作、§4.2 位置控制、§5.3 动作时域与延迟)</li>
<li>BID <a
href="https://arxiv.org/abs/2408.17355(§4.1–4.2、§5.2.1、表">https://arxiv.org/abs/2408.17355(§4.1–4.2、§5.2.1、表</a>
1–2)</li>
<li>π0 <a
href="https://arxiv.org/abs/2410.24164(App">https://arxiv.org/abs/2410.24164(App</a>
D 推理与执行)</li>
<li>Zhou et al. 旋转表示 <a
href="https://arxiv.org/abs/1812.07035(§1)">https://arxiv.org/abs/1812.07035(§1)</a></li>
<li>SHAC <a
href="https://arxiv.org/abs/2204.07137(§1、§4)">https://arxiv.org/abs/2204.07137(§1、§4)</a></li>
<li>AWE <a
href="https://arxiv.org/abs/2307.14326(§1、§3)">https://arxiv.org/abs/2307.14326(§1、§3)</a></li>
<li>DART <a
href="https://arxiv.org/abs/1703.09327(摘要、§1)">https://arxiv.org/abs/1703.09327(摘要、§1)</a></li>
<li>ReST <a
href="https://arxiv.org/abs/2308.08998(§2)">https://arxiv.org/abs/2308.08998(§2)</a></li>
<li>Schwarzer, Saha, Latombe, T-RO 2005 <a
href="http://ai.stanford.edu/~mitul/papers/SSLtro05.pdf(式(1))">http://ai.stanford.edu/~mitul/papers/SSLtro05.pdf(式(1))</a></li>
<li>Thumm &amp; Althoff, ICRA 2022 <a
href="https://arxiv.org/abs/2205.06311(§III、图">https://arxiv.org/abs/2205.06311(§III、图</a>
3)</li>
<li>LARC <a
href="https://arxiv.org/abs/2608.29767(摘要)">https://arxiv.org/abs/2608.29767(摘要)</a></li>
<li>WebGPU 调度开销 <a
href="https://arxiv.org/abs/2604.02344(表">https://arxiv.org/abs/2604.02344(表</a>
6、§4.4)</li>
<li>本仓库:<code>docs/路径规划优化报告.md</code>;<code>webapp/js/ik-solver.js</code>(L2376
EDGE_RES、L2777–2810
pathFine);<code>webapp/js/ik-glue.js</code>(L376–401
animTo);<code>docs/collide.json</code>(margin_mm=0.3);<code>docs/travel.json</code>;杠杆实测脚本
<code>/workspace/work/out/survey/src_v/lever.cjs</code></li>
</ul>
<hr />
<h1 id="二一步少步生成式动作头">二、一步/少步生成式动作头</h1>
<h2 id="一步--少步生成式机器人策略全文精读与针对本项目的评估">一步 /
少步生成式机器人策略:全文精读与针对本项目的评估</h2>
<blockquote>
<p>编写日期:2026-10-17。所有数字均摘自 arXiv HTML 全文(或 PMLR
PDF),并标注所在章节/表格。<strong>【未核实】</strong> =
全文中没找到,或只能从图里定性读出。<strong>【推断】</strong> =
我自己的分析,原文没有这么说。</p>
</blockquote>
<h3 id="0-本项目设定评估基准">0. 本项目设定(评估基准)</h3>
<ul>
<li>6-DOF
机械臂。环境固定且完全已知:一根立柱障碍,碰撞模型为胶囊体。</li>
<li>输入为低维状态,约 60 维:q、TCP、目标位置/rot6d、胶囊距离。闭环 50
Hz,action chunk = 16 步。</li>
<li>模型 3–5M 参数,浏览器内 ONNX 推理,运行时没有 teacher,在 RTX 3090
上训练。</li>
<li>后训练:通过可微胶囊距离做解析策略梯度(APG)。</li>
<li><strong>核心风险</strong>:必须保住多模态(从立柱左侧绕还是右侧绕)。一旦把两个模态平均掉,轨迹就会直接穿过立柱。</li>
</ul>
<hr />
<h3 id="1-贯穿所有论文的三个关键事实先读">1.
贯穿所有论文的三个关键事实(先读)</h3>
<ol type="1">
<li><strong>普通 Flow Matching 做 1 步
Euler,输出的正好是条件均值。</strong> COT 论文附录 D.1 原话:"CFM
evaluated with a 1-step euler solver approximately generates the
conditional mean of the two conditional distributions"。Shortcut 论文 §2
也写道:"at t=0 … the predicted velocity at t=0 points towards the
dataset
mean"。在我们的设定里,这就等于"从立柱中间穿过去"。所以不能直接拿 FM 做
NFE=1。</li>
<li><strong>主流基准几乎测不出多模态问题。</strong> FreqPolicy Table
4:<em>vanilla</em> FM 做 NFE=1,在 Robomimic
Can/Square/Transport/ToolHang 上就有 0.94/0.90/0.84/0.76。FreqPolicy
Table 3:OpenVLA+FM 做 NFE=1,在 LIBERO 上平均 93.5%,NFE=10 是
93.7%。普通 FM
一步就能拿高分,说明这些任务在单个观测下近似单峰。<strong>结论:各论文的成功率表对"左右绕柱"这类风险几乎没有证据力。</strong>
真正有针对性的证据只有 COT(two-moons、fork、Maze 多路径、真机 Push-T
顺/逆时针)、CP(Push-T 模态丢失)和 Shortcut(Push-T/Transport
轨迹图,定性)。</li>
<li><strong>【推断】任何连续的一步映射 G(z|o)
都会把少量质量落在两个模态之间。</strong> z
服从高斯分布,支撑集是连通的;连续映射的像也必然连通,所以总会有一部分噪声被送进"缝隙",也就是穿柱区域。方法之间的差别只在于这部分质量有多小、边界有多陡。因此无论选哪种方法,<strong>运行时都应该批量采
K
个噪声,用解析胶囊距离筛掉碰撞样本</strong>,后训练也应该专门把边界样本推离立柱。</li>
</ol>
<hr />
<h3 id="2-逐篇精读">2. 逐篇精读</h3>
<h4 id="21-mp1--meanflow-policyarxiv-250710543v5aaai26">2.1 MP1 —
MeanFlow Policy(arXiv 2507.10543,v5,AAAI'26)</h4>
<p>URL:<a
href="https://arxiv.org/html/2507.10543">https://arxiv.org/html/2507.10543</a></p>
<ul>
<li><strong>方法</strong>:用 MeanFlow 学习区间平均速度 u(z,r,t),通过
MeanFlow Identity 构造带 stop-grad 的回归目标(需要 JVP),推理时 A0 =
A1 − u(A1,0,1)。同时加 CFG(ω 混合有/无条件速度),并在 U-Net
下采样块上加 Dispersive Loss(λ=0.5,τ=1)(§Method,式 1–8)。</li>
<li><strong>teacher</strong>:不需要,从头训练。</li>
<li><strong>NFE</strong>:1。</li>
<li><strong>延迟/硬件</strong>:平均 6.8 ms,RTX 4090,其中 Adroit
Hammer 7.1±0.2 ms;FlowPolicy 12.6 ms,DP3 132.2 ms(Table
2)。注意这是含点云编码器的延迟。</li>
<li><strong>多模态证据</strong>:<strong>没有</strong>任何双峰测试,也没讨论模态平均。Dispersive
Loss
针对的是"表征塌缩"(不同状态映射到相近特征),不是动作模态塌缩。【推断】CFG(ω&gt;1)本身有锐化、削减多样性的倾向。</li>
<li><strong>低维状态结果</strong>:没有。输入为点云 +
状态,Adroit/Meta-World 共 37 任务,平均 78.9%(Table 1)。</li>
<li><strong>训练成本/稳定性</strong>:需要 JVP。flow ratio=1.0(全部
r≠t)时平均成功率塌到 2.4%;ratio=0(退化为 FM)为 72.6%,0.5 最好,为
82.4%(Table 4)。第三方报告:OFP §4.2 称 MP1 训练"high variance and
frequent loss spikes",OFP Fig.4 显示 MP1 在 150 条示教时性能下降。</li>
<li><strong>代码</strong>:<a
href="https://github.com/LogSSim/MP1">https://github.com/LogSSim/MP1</a>
(已确认仓库存在,含代码目录)。</li>
</ul>
<h4 id="22-ofp--one-step-flow-policyarxiv-260312480v12026-03">2.2 OFP —
One-Step Flow Policy(arXiv 2603.12480v1,2026-03)</h4>
<p>URL:<a
href="https://arxiv.org/html/2603.12480">https://arxiv.org/html/2603.12480</a></p>
<ul>
<li><strong>方法</strong>:不用外部 teacher,用 EMA
自蒸馏学习区间平均速度。目标为 û=(ẑ_r − z_t)/(r−t),只用前向、不需要
JVP,并配合"时间收缩"课程(§3.1,式 4–6)。另加 FM 边界锚定损失(式
7),以及基于 CFG 的 self-guidance(只用 CA 项,§3.2,式
12–13)。推理时用上一个 chunk 未执行的后缀做
warm-start,t_w=0.15(§3.3)。</li>
<li><strong>teacher</strong>:不需要,用的是 EMA 自身。</li>
<li><strong>NFE</strong>:1,也支持 4 等多步(Table 3)。</li>
<li><strong>延迟</strong>:每个 chunk 17.58 ms;DP3(100 步)3225.67
ms,FM(100 步)1865.72
ms(§4.2)。<strong>推理硬件【未核实】</strong>,全文只写了训练用单卡
A100(App. B.3)。warm-start 使它略慢于 OneDP/MP1。</li>
<li><strong>多模态证据</strong>:<strong>没有</strong>双峰测试。只有论述:"CP
的轨迹匹配目标偏 mode-covering,会平均多模态;OneDP 的 score
distillation 偏 mode-seeking,会降低多样性"(§1、App. E.2)。消融里只用
SCT 时 NFE=1 为 68.7%,作者解释为"one-step predictions often average
over multiple valid modes"(App. D.1,Table 6),加 SGR 后升到
71.4%。<strong>风险信号</strong>:λ_sg=0.5 时 "forcing the model into
mode collapse",SR 降到 68.7%,最优是 0.05(Table 7c)。warm-start 的
t_w 过大(0.75)会"heavily suppress necessary generative
randomness"(Table 7d)。</li>
<li><strong>低维状态结果</strong>:没有。输入为 2D 图像 + 24/32
维本体状态,或点云(App. B.1)。56 任务 3D 平均 71.6%,DP3(100 步)为
66.4%(Table 2)。2D 7 任务为 68.3%(Table 1)。</li>
<li><strong>训练成本/稳定性</strong>:用子批策略,p_sc=0.2、p_sg=0.1(Table
7a)。A100 上 3000 epoch,batch 64,主干 DiT 12 层/768 维(App.
B.2–B.3)。作者声称比 MeanFlow
稳定,但<strong>没有</strong>给出内存/时长数字。只有仿真,没有真机(§6
Limitation)。</li>
<li><strong>代码</strong>:全文<strong>没有</strong>找到代码链接,GitHub
搜索也无结果。</li>
</ul>
<h4
id="23-omp--one-step-meanflow-policy-with-directional-alignmentarxiv-251219347v3">2.3
OMP — One-step MeanFlow Policy with Directional Alignment(arXiv
2512.19347v3)</h4>
<p>URL:<a
href="https://arxiv.org/html/2512.19347">https://arxiv.org/html/2512.19347</a></p>
<ul>
<li><strong>方法</strong>:在 MP1 的基础上加方向对齐损失 L_DA =
−log((cos α+1)/2),α 是预测平均速度与 v0=z_T−z_0 的夹角(§4.3.1,式
12)。另提供 DDE:用中心差分近似 du/dt,替代 JVP(式 14)。总损失 = MSE
+ λ_Disp·L_Disp + λ_DA·L_DA(式 13)。</li>
<li><strong>teacher</strong>:不需要。</li>
<li><strong>NFE</strong>:1。</li>
<li><strong>延迟</strong>:只有 Fig.1 的 FPS 散点图,<strong>没有具体 ms
数字【未核实】</strong>。训练/测试在 RTX 4090(§5.1)。</li>
<li><strong>多模态证据</strong>:<strong>没有</strong>。理论部分讨论的是"频谱偏置"和"低速区梯度饥饿",不是模态问题。<strong>【推断】隐患</strong>:L_DA
是对逐样本条件目标做余弦对齐。在双峰条件下,不同样本的目标方向相反,余弦损失的总体最优解并不等于边缘速度场(与
MSE
不同,余弦损失不满足"条件期望即最优"的性质),可能引入偏置。论文没有分析这一点。</li>
<li><strong>低维状态结果</strong>:没有。输入为点云,平均 82.3%(JVP)/
80.8%(DDE),MP1 为 78.9%(Table
1)。<strong>数据可疑点</strong>:Table 1 中 "OMP-JVP −L_DA" 一行与 MP1
一行逐项完全相同。</li>
<li><strong>训练成本</strong>:JVP 与 DDE 的显存对比(Table 3):Adroit
Hammer(H=4)6.60 vs 5.35 GB;Place Bottle(H=16)26.71 vs 19.19 GB。DDE
平均成功率掉 1.5 个点,Very Hard 任务上 77.8%→70.6%。作者证明 JVP
训练会使每层激活显存翻倍(App. B.3)。H=16 时 JVP 为 76.6%,DDE 为
78.2%(App. E.1,Table 5)。</li>
<li><strong>代码</strong>:"Codes are included in our supplementary
material"(App. D)。公开仓库**【未核实】**。</li>
</ul>
<h4
id="24-k-mf--kinematic-meanflowarxiv-261000864v12026-10-01投稿-iclr-2027">2.4
K-MF — Kinematic MeanFlow(arXiv 2610.00864v1,2026-10-01,投稿 ICLR
2027)</h4>
<p>URL:<a
href="https://arxiv.org/html/2610.00864">https://arxiv.org/html/2610.00864</a></p>
<ul>
<li><strong>方法</strong>:利用运动学恒等式
u_{t,r}=(1−λ)u_{t,c}+λu_{c,r},把 MeanFlow
的时间导数项拆成两个子区间项(式 5–7)。c
的取法有三种:随机、固定中点、或由一个 3 层 MLP 学出 λ=G_φ(t,r)(式
8)。仍用 JVP,两个子区间在 batch 维拼接后一次算完(§3.2
Implementation)。</li>
<li><strong>teacher</strong>:不需要,支持从头训练,也支持微调 FM
预训练的 RFM。</li>
<li><strong>NFE</strong>:1。</li>
<li><strong>延迟(GR00T-N1.6,3B)</strong>:action head 在 L40 上 eager
28.0 ms(FM 为 109.3),compiled 6.2 ms(FM 19.1);在 Jetson Orin 上
eager 63.6 ms、compiled 23.3 ms(Table 5a)。</li>
<li><strong>多模态证据</strong>:<strong>没有</strong>双峰测试。它关注的是
VLA 速度场后期"局部加速度"激增(t=1 处达初值 76
倍)以及跨样本发散(§1),属于训练稳定性问题。</li>
<li><strong>低维状态结果</strong>:没有。GR00T/SimVLA 输入为图像 + 语言
+ 本体状态。PointNav(COMPASS,Unitree G1)的输入模态**【未核实】**,FM
73.8% vs K-MF 74.0%(Table 3)。</li>
<li><strong>训练成本/稳定性(重要)</strong>:原生 MeanFlow 在 GR00T
上不加梯度裁剪就 Fail;加裁剪后 6.5%;再加渐进时间采样和 60K 步才到
87.0%(NFE=2);<strong>NFE=1 时 Fail</strong>。MVP 在 NFE=1 时也
Fail;α-Flow NFE=1 为 84.5%(Table 1)。K-MF 训练时长比 FM 多
33%(GR00T)/27%(SimVLA),GR00T 峰值显存 53.7 GB(FM 35.6,MF
52.4)(Table 5b)。LIBERO 平均:GR00T 微调 97.9%(FM 4 步
97.3%);SimVLA 从头训练 95.1%(FM 10 步 94.2%)(Table 2)。</li>
<li><strong>代码</strong>:<a
href="https://github.com/IntelChina-AI/K-MF">https://github.com/IntelChina-AI/K-MF</a>
。2026-10-17 检查时仓库只有 README 和
imgs,<strong>代码尚未发布</strong>。</li>
</ul>
<h4
id="25-dm1--meanflow--dispersive-regularizationarxiv-251007865v1aamas-2026">2.5
DM1 — MeanFlow + Dispersive Regularization(arXiv 2510.07865v1,AAMAS
2026)</h4>
<p>URL:<a
href="https://arxiv.org/html/2510.07865">https://arxiv.org/html/2510.07865</a></p>
<ul>
<li><strong>方法</strong>:MeanFlow(JVP),把 4 种 dispersive
正则(InfoNCE-L2/Cos、Hinge、Covariance)加在多个中间嵌入层上(§3.3–3.4)。训练中
ρ=0.5 的样本强制 r=t(App. B.2)。</li>
<li><strong>teacher</strong>:不需要。</li>
<li><strong>NFE</strong>:1 或 5。</li>
<li><strong>延迟</strong>:Franka 真机,RTX 2080 上网络推理 MF(1)=2.4
ms,MF(5)=10.5–13.8 ms,ShortCut(32) 约 77 ms,ReFlow(128) 约 306–313
ms(Table 3)。仿真里"0.07 s vs 2–3.5 s"是 50
个并行环境的总时间(§4.2.2)。</li>
<li><strong>多模态证据</strong>:<strong>没有</strong>双峰测试。摘要和引言声称
dispersive 能"捕获多样多模态行为",但实验只有成功率和奖励。</li>
<li><strong>低维状态结果</strong>:没有。输入为 ViT 图像 + 9
维本体状态(§4.3)。Robomimic 1 步(α_disp=0.1):Lift 0.975、Can
0.740、Square 0.350、Transport 0.280(App. D.0.1)。数据集为 DPPO
版的低质量数据,绝对值不能和 CP/OneDP
直接比较。<strong>数据可疑点</strong>:App. D 的文字有自相矛盾之处,例如
"decline from 0.700 at two steps to 0.775 at five steps"。</li>
<li><strong>训练成本</strong>:只有复杂度论述(App.
B.4),<strong>没有</strong>实测内存/时长。</li>
<li><strong>代码</strong>:项目页 <a
href="https://guowei-zou.github.io/dm1/">https://guowei-zou.github.io/dm1/</a>
,仓库 <a
href="https://github.com/guowei-zou/dm1-release">https://github.com/guowei-zou/dm1-release</a>
(已确认含代码目录)。</li>
</ul>
<h4 id="26-consistency-policyarxiv-240507503rss-2024">2.6 Consistency
Policy(arXiv 2405.07503,RSS 2024)</h4>
<p>URL:<a
href="https://arxiv.org/html/2405.07503">https://arxiv.org/html/2405.07503</a></p>
<ul>
<li><strong>方法</strong>:先训练 EDM teacher,再用 CTM-local 目标(相邻
t,u,任意 s)加 DSM 损失蒸馏出学生(§III-B)。支持 1 步,或在 {t_{2N/3},
t_{N/3}} 处做 3 步 chaining(§III-C)。初始噪声用低方差 N(0,1/T²)。</li>
<li><strong>teacher</strong>:<strong>需要</strong>预训练 EDM
teacher(仅训练期需要,运行时不需要)。</li>
<li><strong>NFE</strong>:1 或 3。</li>
<li><strong>延迟</strong>:仿真在 P5000 上 1 步 1 ms、3 步 2 ms,DDPM
110 ms(Table III)。真机在 3070 Ti 笔记本 GPU 上总计 21 ms,其中网络
13.5 ms(Table IV、XI)。</li>
<li><strong>多模态证据(直接负面证据)</strong>:§V Limitations
写道:"both the teacher EDM policy and Consistency Policy lose some of
Diffusion Policy's multimodality, e.g., by favoring one side of the
Push-T task over the other",原因归于 ODE 蒸馏是确定性的。Table
VI:低方差初始噪声在 1 步时 0.92 vs
0.90;作者自己也承认高方差的好处是"expressivity and
multimodality"。</li>
<li><strong>低维状态结果(有)</strong>:Push-T(state)1 步 0.82、3 步
0.84,DDPM 为 0.87(Table I);Franka Kitchen(state)1 步 p4=0.93,DDPM
为 0.98(Table II)。</li>
<li><strong>训练成本/稳定性</strong>:"slightly less stable during
training than Diffusion Policy",需要更长训练,每步还要跑
teacher(§V)。CTM 比 CTM-local 慢 40% 以上(A5000)(§IV-D)。dropout
0.2 很关键,去掉 s→0 段的 dropout 后从 0.92 降到 0.86(Table IX)。不用
teacher 的 CT 版本在 Square 上只有 0.55(Table X)。</li>
<li><strong>代码</strong>:<a
href="https://github.com/Aaditya-Prasad/consistency-policy">https://github.com/Aaditya-Prasad/consistency-policy</a>
(已确认存在)。</li>
</ul>
<h4 id="27-onedp--one-step-diffusion-policyarxiv-241021257">2.7 OneDP —
One-Step Diffusion Policy(arXiv 2410.21257)</h4>
<p>URL:<a
href="https://arxiv.org/html/2410.21257">https://arxiv.org/html/2410.21257</a></p>
<ul>
<li><strong>方法</strong>:在整条扩散链上最小化生成器分布与预训练 DP
分布的反向 KL(类似 SDS/VSD),配一个辅助生成器 score 网络(式
4–6)。OneDP-S 带噪声输入(随机策略);OneDP-D 不带噪声(确定性,等价于
Dirac 分布)。</li>
<li><strong>teacher</strong>:<strong>需要</strong>预训练
DP,以及一个额外的 score 网络;三者都从 DP 权重初始化。</li>
<li><strong>NFE</strong>:1。</li>
<li><strong>延迟</strong>:真机在 V100 上动作生成 7 ms + 观测编码 9
ms;DDIM-10 为 66 ms,DDPM-100 为 660 ms(Table 5)。</li>
<li><strong>多模态证据</strong>:<strong>没有</strong>双峰测试。作者主动选择了
mode-seeking:"reverse KL divergence typically induces mode-seeking
behavior"(§2 Distillation Discussion)。【推断】OneDP-D
是确定性映射,按定义就没有多模态。OneDP-S 理论上可以保留,但反向 KL
天然倾向丢模态,OFP §1 也这么评价。</li>
<li><strong>低维状态结果</strong>:没有。全部为视觉输入:Robomimic +
PushT(图像)。DDPM 设定下 OneDP-S 平均 0.843,DP 为 0.829(Table
1);EDM 设定下 OneDP-S 为 0.830,CP 1 步(450 ep)为 0.672(Table
2)。</li>
<li><strong>训练成本</strong>:只需在 DP 预训练的基础上额外花 2%–10%(20
epoch,CP 为 450 epoch)(§1、§3.1)。网络规模:仿真 DDPM 256M、EDM
67M(App.)。</li>
<li><strong>代码</strong>:全文<strong>没有</strong>找到链接,GitHub
搜索无果**【未核实】**。</li>
</ul>
<h4
id="28-cot-policy--conditional-ot-couplingscorl-2025pmlr-v305-sochopoulos25aarxiv-250501179">2.8
COT Policy — Conditional OT Couplings(CoRL 2025,PMLR v305
sochopoulos25a;arXiv 2505.01179)</h4>
<p>URL:<a
href="https://raw.githubusercontent.com/mlresearch/v305/main/assets/sochopoulos25a/sochopoulos25a.pdf">https://raw.githubusercontent.com/mlresearch/v305/main/assets/sochopoulos25a/sochopoulos25a.pdf</a>
、<a
href="https://arxiv.org/html/2505.01179v1">https://arxiv.org/html/2505.01179v1</a></p>
<ul>
<li><strong>方法</strong>:对每个 minibatch 计算 OT 配对,代价为
‖x0−x1‖² + ‖γ(c0−c1)‖²(式 4),其中噪声侧的条件 c0 是 c1
的随机置换。连续观测先 PCA 降维,再用 K-means 离散化(K≈batch size,默认
64)。之后做普通 CFM 训练(Alg. 1),推理用 midpoint 2 步或 Euler 1
步。</li>
<li><strong>teacher</strong>:不需要,单阶段训练。</li>
<li><strong>NFE</strong>:1–2。主表用 midpoint,NFE=2。</li>
<li><strong>延迟</strong>:摘要称"10× speed-up compared to Diffusion
Policy"。全文<strong>没有给出 ms 数字【未核实】</strong>。真机推理用 RTX
2080(App. C.4)。</li>
<li><strong>多模态证据(最强、最相关)</strong>:
<ul>
<li>two-moons/fork(y=U{x,−x})低维任务:COT-CFM 在 NFE=1 时
W2²=0.345,CFM 1.490,OT-CFM 0.777(Euler);且只有 COT 在 NFE=1
时能还原出两个月牙。<strong>CFM 1 步 ≈ 条件均值</strong>(App.
D.1,Table 5,Fig. 1/8)。</li>
<li>Maze2D:起点和终点都固定,q
值加噪声后得到多条路径。这和"左右绕柱"同构。Fig. 3 显示 COT 在 NFE=1/2
下都能覆盖多条路径,Trajectory Variance 高于
CFM(§3.2)。<strong>只有图,没有表格数值【定量部分未核实】</strong>。</li>
<li>真机 Push-T:NFE=1 Euler 能同时复现顺时针和逆时针两种推法(App.
C.3,Fig. 7)。</li>
<li>反例:朴素 OT-CFM(不考虑条件)会得到有偏样本(Fig. 1)。K
太小时退化成 OT-CFM(Fig. 4)。</li>
</ul></li>
<li><strong>低维状态结果</strong>:two-moons/fork 是纯低维(4×64 SELU
MLP,App. B.1)。Maze2D 的输入模态**【未核实】**。MimicGen/push-t
用图像。6 任务平均:COT(NFE=2)0.818 vs DP
DDIM(NFE=20)0.781,CFM(NFE=2)0.790(Table 1)。</li>
<li><strong>训练成本</strong>:与 CFM/DP 相同,收敛速度也相近(Fig.
5)。OT 用 EMD。PCA 特征向量矩阵会占显存(App. B.2)。作者承认的局限:K
需要调;高维时低 NFE 与高 NFE 仍有差距(§5)。</li>
<li><strong>代码</strong>:<a
href="https://github.com/ansocho/cot_policy">https://github.com/ansocho/cot_policy</a>
(已确认存在)。</li>
</ul>
<h4
id="29-shortcut-modelsfrans-et-al-arxiv-241012557-iclr-2025及其在-reinflowarxiv-250522094中的用法">2.9
Shortcut Models(Frans et al., arXiv 2410.12557, ICLR 2025)及其在
ReinFlow(arXiv 2505.22094)中的用法</h4>
<p>URL:<a
href="https://arxiv.org/html/2410.12557">https://arxiv.org/html/2410.12557</a>
、<a
href="https://arxiv.org/html/2505.22094">https://arxiv.org/html/2505.22094</a></p>
<ul>
<li><strong>方法</strong>:网络同时以步长 d 为条件。d=0 时就是 FM
损失;d&gt;0 时用自洽目标 s(x_t,t,2d)=½s(x_t,t,d)+½s(x'_{t+d},t+d,d) 做
bootstrap(Shortcut §3,式 4–5)。batch 中 k=1/4 的样本做自洽,其余做
FM。ReinFlow
在流轨迹中注入可学习噪声,把它变成离散时间马尔可夫过程,得到精确似然,再用
PPO 微调;微调后丢掉噪声网络(ReinFlow §4.1–4.3)。</li>
<li><strong>teacher</strong>:不需要,单网络、单阶段。不需要
JVP,自洽目标只需额外两次前向。</li>
<li><strong>NFE</strong>:任意,1/2/4 均可。ReinFlow 在 Can/Square 上用
1 步,在 Transport 上用 4 步(ReinFlow §5.2)。</li>
<li><strong>延迟</strong>:两篇论文都<strong>没有给出
ms</strong>。ReinFlow 只给出每次迭代的 wall-time,在 RTX 3090
上测(ReinFlow App. D,Table 3)。</li>
<li><strong>多模态证据</strong>:Shortcut Fig. 7 的说明称"Shortcut
models can represent multimodal policies in a similar manner as
diffusion policies"。1 步结果:Push-T 0.87、Transport 0.80;DP 1 步为
0.12/0.00(§5.5)。<strong>只有定性轨迹图,没有双峰统计</strong>。作者自承局限:"the
mapping between noise and data is entirely dependent on an expectation
over the dataset",且 1 步与多步之间仍有差距(§6)。</li>
<li><strong>低维状态结果</strong>:ReinFlow 中 Franka Kitchen(state
输入)用 Shortcut 策略,参数仅 0.16M actor;同时测了 K=1/2/4 的 RL
微调(App. Table 2、Fig.
13,<strong>只有曲线【数值未核实】</strong>)。Gym
运动控制任务(state)用的是 1-ReFlow 策略,0.55–0.80M 参数。</li>
<li><strong>训练成本</strong>:约比扩散模型多 16% 计算(Shortcut §3
脚注)。若自洽损失不稳定,可降低其占比;推荐使用非零 weight decay(§6
Best practices)。ReinFlow 的稳定性技巧:裁剪 log-ratio(state 任务
ε=0.01)、裁剪去噪动作、critic warm-up(ReinFlow App. D.2)。</li>
<li><strong>代码</strong>:<a
href="https://github.com/kvfrans/shortcut-models">https://github.com/kvfrans/shortcut-models</a>
、<a
href="https://github.com/ReinFlow/ReinFlow">https://github.com/ReinFlow/ReinFlow</a>
(均已确认存在)。</li>
</ul>
<h4 id="210-freqpolicyneurips-2025arxiv-250608822v2">2.10
FreqPolicy(NeurIPS 2025,arXiv 2506.08822v2)</h4>
<p>URL:<a
href="https://arxiv.org/html/2506.08822v2">https://arxiv.org/html/2506.08822v2</a></p>
<ul>
<li><strong>重名提醒</strong>:NeurIPS 2025 有两篇 FreqPolicy。另一篇是
arXiv 2506.01583 "Frequency Autoregressive Visuomotor
Policy"(4DVLab),属于自回归方法,不是一步生成器。本文按"一步/少步"的范围评估
2506.08822。</li>
<li><strong>方法</strong>:FM
损失之外,加一项频域一致性损失:在两个任意时刻 s,r 的速度上做 type-II
DCT 后对齐(§3.3,式 9–14),并按频段方差自适应加权。</li>
<li><strong>teacher</strong>:不需要。</li>
<li><strong>NFE</strong>:1。</li>
<li><strong>延迟</strong>:真机在 RTX 4090 上 93.5 Hz(约 10.7 ms),DP
19.8 Hz,FM 20.2 Hz(§4.2)。OpenVLA 头为 6.05 Hz(Table 3)。</li>
<li><strong>多模态证据</strong>:<strong>没有</strong>双峰测试。</li>
<li><strong>低维状态结果</strong>:没有。输入为图像、点云或
VLA。Robomimic(图像)1 步:Can 0.98、Square 0.92、Transport
0.90、ToolHang 0.85(Table 1)。3D 53 任务平均 78.5%(Table 2)。消融里
vanilla FM 1 步为 0.94/0.90/0.84/0.76(Table 4),见 §1 第 2 点。</li>
<li><strong>训练成本</strong>:每个样本需要两次前向,"demands more
computational resources"(§5 Limitation)。在单卡 A100 上训练(App.
A.3)。</li>
<li><strong>代码</strong>:全文<strong>没有</strong>找到官方链接,GitHub
搜索只命中重名的另一篇**【未核实】**。</li>
</ul>
<hr />
<h3 id="3-汇总对比表原文数据">3. 汇总对比表(原文数据)</h3>
<table>
<thead>
<tr class="header">
<th>方法</th>
<th>需要 teacher</th>
<th>NFE</th>
<th>延迟(硬件,出处)</th>
<th>多模态证据</th>
<th>低维状态实验</th>
<th>训练风险</th>
<th>代码</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>MP1</td>
<td>否</td>
<td>1</td>
<td>6.8 ms,4090,含点云编码(T2)</td>
<td>无</td>
<td>无</td>
<td>JVP;他人报告 loss 尖峰</td>
<td>有</td>
</tr>
<tr class="even">
<td>OFP</td>
<td>否(EMA)</td>
<td>1/多</td>
<td>17.58 ms,硬件未说明(§4.2)</td>
<td>无;SGR 过强会塌缩(T7c)</td>
<td>无</td>
<td>无 JVP;超参多</td>
<td>未找到</td>
</tr>
<tr class="odd">
<td>OMP</td>
<td>否</td>
<td>1</td>
<td>无 ms(Fig.1)</td>
<td>无;余弦损失存疑【推断】</td>
<td>无</td>
<td>JVP 显存表(T3);DDE −1.5pt</td>
<td>附录补充材料</td>
</tr>
<tr class="even">
<td>K-MF</td>
<td>否</td>
<td>1</td>
<td>AH 6.2–63.6 ms,L40/Orin,3B(T5a)</td>
<td>无</td>
<td>无(PointNav 模态未核实)</td>
<td>MF 1 步 Fail(T1);+27–33% 时长</td>
<td>仅 README</td>
</tr>
<tr class="odd">
<td>DM1</td>
<td>否</td>
<td>1/5</td>
<td>2.4 ms,2080(T3)</td>
<td>无(仅声称)</td>
<td>无(9 维本体 + 图像)</td>
<td>JVP;文中数字自相矛盾</td>
<td>有</td>
</tr>
<tr class="even">
<td>CP</td>
<td><strong>是</strong></td>
<td>1/3</td>
<td>1 ms,P5000;21 ms,3070Ti(T3/T11)</td>
<td><strong>负面</strong>:Push-T 偏向一侧(§V)</td>
<td><strong>有</strong>:Push-T 0.82,Kitchen p4 0.93</td>
<td>比 DP 不稳;训练更久</td>
<td>有</td>
</tr>
<tr class="odd">
<td>OneDP</td>
<td><strong>是</strong>(+score 网络)</td>
<td>1</td>
<td>7 ms,V100(T5)</td>
<td>mode-seeking(自述);D 版确定性</td>
<td>无</td>
<td>+2–10% 预训练成本</td>
<td>未找到</td>
</tr>
<tr class="even">
<td>COT</td>
<td>否</td>
<td>1–2</td>
<td>无 ms;"10×"</td>
<td><strong>最强</strong>:two-moons/fork/Maze/真机 Push-T</td>
<td>合成低维有;Maze 模态未核实</td>
<td>同 CFM;K 需调</td>
<td>有</td>
</tr>
<tr class="odd">
<td>Shortcut(+ReinFlow)</td>
<td>否</td>
<td>1/2/4</td>
<td>无 ms</td>
<td>定性(Fig.7)</td>
<td><strong>有</strong>:Kitchen state 0.16M(仅曲线)</td>
<td>+16%;可 RL 微调</td>
<td>有</td>
</tr>
<tr class="even">
<td>FreqPolicy</td>
<td>否</td>
<td>1</td>
<td>~10.7 ms,4090(§4.2)</td>
<td>无</td>
<td>无</td>
<td>2× 前向</td>
<td>未找到</td>
</tr>
</tbody>
</table>
<hr />
<h3 id="4-针对本项目的裁决表">4. 针对本项目的裁决表</h3>
<p>评分:✅ 合适 / ⚠️ 有条件 / ❌ 不合适。所有评价都对照 §0 的设定。</p>
<table>
<thead>
<tr class="header">
<th>方法</th>
<th>无 teacher 运行</th>
<th>训练可行性(3090,5M)</th>
<th>浏览器 ONNX(1 网络,单/少次前向)</th>
<th>多模态保真(左右绕柱)</th>
<th>与 APG 后训练的契合</th>
<th>总评</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td><strong>Shortcut</strong></td>
<td>✅</td>
<td>✅ 无 JVP,+16%</td>
<td>✅ 需额外输入 d</td>
<td>⚠️ 只有定性证据;1 步与多步有差距</td>
<td>✅ 1 步时梯度直通;ReinFlow 证明可 RL 微调</td>
<td><strong>首选骨架</strong></td>
</tr>
<tr class="even">
<td><strong>COT 耦合</strong></td>
<td>✅</td>
<td>✅ 低维条件可直接 K-means,不需要 PCA【推断】</td>
<td>✅ 与普通 FM 结构相同</td>
<td>✅ 唯一有直接双峰证据</td>
<td>✅ 与骨架正交</td>
<td><strong>首选插件</strong>(训练时加在 Shortcut/MF
上)【推断:两者组合在原文中没有实验,只在 COT §5
中作为未来方向提到】</td>
</tr>
<tr class="odd">
<td>OFP</td>
<td>✅</td>
<td>✅ 无 JVP,但超参多</td>
<td>✅;warm-start 需维护状态</td>
<td>⚠️ 无测试;SGR 有塌缩风险</td>
<td>✅</td>
<td>次选。只借鉴 warm-start 和 FM 锚定,SGR 关闭或 λ≤0.05</td>
</tr>
<tr class="even">
<td>MeanFlow(MP1/DM1)</td>
<td>✅</td>
<td>✅ 在 5M MLP 上 JVP 显存不是问题【推断】,但有稳定性报告(OFP
§4.2、K-MF T1)</td>
<td>✅</td>
<td>⚠️ 无测试;CFG 可能锐化掉一个模态【推断】</td>
<td>✅</td>
<td>备选</td>
</tr>
<tr class="odd">
<td>OMP</td>
<td>✅</td>
<td>✅</td>
<td>✅</td>
<td>⚠️ 余弦对齐在双峰下可能有偏【推断】</td>
<td>✅</td>
<td>不建议直接采用 L_DA</td>
</tr>
<tr class="even">
<td>K-MF</td>
<td>✅</td>
<td>⚠️ 为 3B VLA 设计,代码未发布</td>
<td>✅</td>
<td>⚠️ 无测试</td>
<td>✅</td>
<td>只在 MeanFlow 训练不稳时借鉴中点分解</td>
</tr>
<tr class="odd">
<td>FreqPolicy</td>
<td>✅</td>
<td>✅(2× 前向)</td>
<td>✅</td>
<td>⚠️ 无测试</td>
<td>✅</td>
<td>可作为平滑正则的辅助项(16 步 chunk 的 DCT)</td>
</tr>
<tr class="even">
<td>CP</td>
<td>✅(训练需 teacher)</td>
<td>⚠️ 两阶段,较不稳定</td>
<td>✅</td>
<td>❌ 原文自述丢模态</td>
<td>⚠️</td>
<td>不推荐</td>
</tr>
<tr class="odd">
<td>OneDP</td>
<td>✅(训练需 teacher + score 网络)</td>
<td>⚠️ 两阶段</td>
<td>✅</td>
<td>❌ mode-seeking / 确定性版本</td>
<td>⚠️</td>
<td>不推荐。【推断】若只关心"不平均",mode-seeking
反而不会穿柱,但会失去左右选择能力,且闭环中可能左右跳变</td>
</tr>
</tbody>
</table>
<hr />
<h3 id="5-排名推荐">5. 排名推荐</h3>
<ol type="1">
<li><strong>Shortcut Model 骨架 + COT 条件耦合 + FM
锚定(d=0),NFE=1,必要时用 2 步。</strong>
<ul>
<li>理由:不需要 teacher,不需要 JVP,单阶段训练,开销约
16%。同一个网络支持 1/2/4 步,可以按浏览器实测延迟取舍。ReinFlow
已在低维 state 任务(Kitchen,0.16M)上用它做过 RL 微调。COT
是唯一用双峰任务(fork、two-moons、Maze 多路径)证明"1
步不取均值"的方法,而且训练成本与 CFM 相同。</li>
<li>低维 60 维状态可直接做 K-means(K≈batch),γ 按 COT App. E.1
选。【推断】最好把"同一状态下的左右样本"放进同一簇,这样 OT
才能把噪声空间按模态切开。</li>
</ul></li>
<li><strong>OFP 式自蒸馏(前向一致性 + FM 锚定 +
warm-start)</strong>,作为 1 的替代或补充。
<ul>
<li>【推断】warm-start(上一 chunk 后缀加噪,t_w≈0.15)对 50 Hz
闭环特别有价值:它让相邻决策沿用同一模态,抑制左右跳变。但这只是推断,论文没有测模态一致性。</li>
<li>SGR 建议关闭,或 λ≤0.05,因为原文 λ=0.5 时出现模态塌缩。</li>
</ul></li>
<li><strong>MeanFlow(MP1 配方,不加 CFG,或 ω=1)</strong>。在 5M
规模上 JVP 成本可接受。若出现 loss 尖峰,可以借鉴 K-MF 的中点分解,或
OMP 的 DDE。</li>
<li><strong>FreqPolicy 的 DCT 一致性</strong>:只作为辅助正则(降低
chunk 抖动),不单独作为主方法。</li>
<li><strong>不推荐:CP、OneDP</strong>。都依赖 teacher
训练,且分别有模态丢失(CP 原文自述)和 mode-seeking(OneDP
自述)。</li>
</ol>
<p><strong>无论选哪种方法都应加上的工程措施【推断,均未在上述论文中验证】:</strong></p>
<ul>
<li><strong>运行时多样本 + 解析碰撞筛选</strong>:把 K 个噪声(如
8–32)打成一个 batch
做一次前向,用可微胶囊距离挑出无碰撞且代价最小的样本。这直接针对 §1 第 3
点(连续映射必然有样本落入缝隙)。</li>
<li><strong>模态一致性</strong>:在一次绕柱过程中锁定噪声,或使用
warm-start,避免每 20 ms 重采样时左右翻转。</li>
<li><strong>APG 后训练时保住双模态</strong>:只对 reward
求梯度会把整个分布推向单一模态。必须保留 FM/BC 锚定损失(类似 OFP 式
7、ReinFlow 的 W2/熵正则),并分别监控左/右样本比例。理想情况下,APG
应只把"缝隙样本"推离立柱(锐化分界),而不是改变左右比例。</li>
<li><strong>专门的多模态评估</strong>:成功率不够(见 §1 第 2
点)。应在同一状态下采 N
个样本,统计左/右/穿柱三类比例,以及立柱附近状态的最小胶囊距离分布。</li>
</ul>
<hr />
<h3 id="6-明确的不确定项">6. 明确的不确定项</h3>
<ol type="1">
<li>没有任何一篇论文在<strong>低维状态 + 已知几何障碍 +
双峰绕行</strong>的设定下给出定量的"穿越率/模态比例"。COT 的 Maze
证据最接近,但只有图,输入模态也未核实。</li>
<li>所有论文的模型规模都远大于 3–5M(OFP DiT 768×12;CP/OneDP
67–256M;COT 约 240M U-Net)。只有 ReinFlow 的 state
任务(0.16–0.8M)接近我们的规模。小模型能否学出陡峭的模态边界<strong>未知</strong>。</li>
<li>浏览器 ONNX 延迟:所有数字都来自 GPU,<strong>没有</strong>
WASM/WebGPU 数据。5M
参数单次前向在浏览器里大约需要几毫秒【粗略推断】,必须实测。</li>
<li>OFP 的推理硬件、OMP 和 COT 的 ms 延迟、OneDP/OFP/FreqPolicy
的代码、K-MF 的代码(尚未发布)均<strong>未核实或不可得</strong>。</li>
<li>Shortcut 与 COT 组合、warm-start 抑制模态跳变、APG
下的模态保持,都是<strong>推断</strong>,没有文献实验。</li>
<li>数据质量疑点:OMP Table 1 有一行与 MP1 完全相同;DM1
附录文字自相矛盾;OFP 只有仿真结果。</li>
<li>各论文基准不同(Robomimic 的 ph/mh 数据、DPPO 低质量数据、点云 vs
图像),跨论文的成功率数字<strong>不可直接比较</strong>。</li>
</ol>
<hr />
<h3 id="7-实际抓取的来源-url">7. 实际抓取的来源 URL</h3>
<ul>
<li><a
href="https://arxiv.org/html/2507.10543">https://arxiv.org/html/2507.10543</a>
(MP1)</li>
<li><a
href="https://arxiv.org/html/2603.12480">https://arxiv.org/html/2603.12480</a>
(OFP)</li>
<li><a
href="https://arxiv.org/html/2512.19347">https://arxiv.org/html/2512.19347</a>
(OMP)</li>
<li><a
href="https://arxiv.org/html/2610.00864">https://arxiv.org/html/2610.00864</a>
(K-MF)</li>
<li><a
href="https://arxiv.org/html/2510.07865">https://arxiv.org/html/2510.07865</a>
(DM1)</li>
<li><a
href="https://arxiv.org/html/2405.07503">https://arxiv.org/html/2405.07503</a>
(Consistency Policy)</li>
<li><a
href="https://arxiv.org/html/2410.21257">https://arxiv.org/html/2410.21257</a>
(OneDP)</li>
<li><a
href="https://raw.githubusercontent.com/mlresearch/v305/main/assets/sochopoulos25a/sochopoulos25a.pdf">https://raw.githubusercontent.com/mlresearch/v305/main/assets/sochopoulos25a/sochopoulos25a.pdf</a>
(COT,PMLR 版全文)</li>
<li><a
href="https://arxiv.org/html/2505.01179v1">https://arxiv.org/html/2505.01179v1</a>
(COT,arXiv 版)</li>
<li><a
href="https://arxiv.org/html/2410.12557">https://arxiv.org/html/2410.12557</a>
(Shortcut Models)</li>
<li><a
href="https://arxiv.org/html/2505.22094">https://arxiv.org/html/2505.22094</a>
(ReinFlow)</li>
<li><a
href="https://arxiv.org/html/2506.08822v2">https://arxiv.org/html/2506.08822v2</a>
(FreqPolicy)</li>
<li>GitHub
存在性检查:LogSSim/MP1、guowei-zou/dm1-release、Aaditya-Prasad/consistency-policy、ansocho/cot_policy、kvfrans/shortcut-models、ReinFlow/ReinFlow、IntelChina-AI/K-MF(仅
README)</li>
<li>proceedings.mlr.press/v305/sochopoulos25a
摘要页通过搜索结果确认;全文使用上面的 PMLR PDF。</li>
</ul>
<p>本地提取的全文文本:/workspace/work/out/survey/src/*.txt(同目录下另有其他任务的文件,与本报告无关)。</p>
<hr />
<h1 id="三代价引导与实时动作块rtc">三、代价引导与实时动作块(RTC)</h1>
<h2
id="代价引导扩散运动规划--实时分块rtc文献精读与对我方设定的评估">代价引导扩散运动规划
+ 实时分块(RTC)文献精读与对我方设定的评估</h2>
<blockquote>
<p>撰写:2026-10-17。全部结论来自下列已抓取的全文(HTML/PDF),引用均标注论文章节/表号。
标记约定:<strong>[原文]</strong> =
论文直接给出的数字/陈述;<strong>[推断]</strong> =
我基于原文对我方设定做的推理,论文未直接验证;<strong>[未验证]</strong>
= 未抓取全文或论文中仅有图、无可读数值。</p>
</blockquote>
<h3 id="0-我方设定评估基准">0. 我方设定(评估基准)</h3>
<p>6-DOF
机械臂;固定且精确已知的环境(一根立柱,胶囊体碰撞模型,解析距离);低维状态;闭环
50 Hz;动作块 H=16 步(320 ms);每周期提交 s=3 步(60 ms
重规划一次);浏览器端推理;生成器计划 1
步或少步;运行时无教师/规划器;精确安全层校验已提交步。</p>
<h3 id="1-已抓取的来源">1. 已抓取的来源</h3>
<table>
<thead>
<tr class="header">
<th>论文</th>
<th>URL</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>MPD (IROS'23) 2308.01557</td>
<td><a
href="https://arxiv.org/pdf/2308.01557">https://arxiv.org/pdf/2308.01557</a></td>
</tr>
<tr class="even">
<td>MPD 期刊版 2412.19948 (v3)</td>
<td><a
href="https://arxiv.org/html/2412.19948">https://arxiv.org/html/2412.19948</a></td>
</tr>
<tr class="odd">
<td>EDMP 2309.11414</td>
<td><a
href="https://arxiv.org/html/2309.11414">https://arxiv.org/html/2309.11414</a></td>
</tr>
<tr class="even">
<td>GPD 2501.18229</td>
<td><a
href="https://arxiv.org/html/2501.18229">https://arxiv.org/html/2501.18229</a></td>
</tr>
<tr class="odd">
<td>CAMPD 2510.14615 (v2)</td>
<td><a
href="https://arxiv.org/html/2510.14615">https://arxiv.org/html/2510.14615</a></td>
</tr>
<tr class="even">
<td>DiffusionSeeder 2410.16727</td>
<td><a
href="https://arxiv.org/html/2410.16727">https://arxiv.org/html/2410.16727</a></td>
</tr>
<tr class="odd">
<td>RTC 2506.07339 (v2)</td>
<td><a
href="https://arxiv.org/html/2506.07339">https://arxiv.org/html/2506.07339</a></td>
</tr>
<tr class="even">
<td>Training-time RTC 2512.05964 (v2)</td>
<td><a
href="https://arxiv.org/html/2512.05964v2">https://arxiv.org/html/2512.05964v2</a></td>
</tr>
<tr class="odd">
<td>BID 2408.17355 (v4)</td>
<td><a
href="https://arxiv.org/html/2408.17355">https://arxiv.org/html/2408.17355</a></td>
</tr>
<tr class="even">
<td>ACT 2304.13705</td>
<td><a
href="https://arxiv.org/pdf/2304.13705">https://arxiv.org/pdf/2304.13705</a></td>
</tr>
</tbody>
</table>
<p>未抓取、仅在检索结果中出现(<strong>[未验证]</strong>):Soft RTC /
"Action-Prior Denoising for Smooth Real-Time Chunking"(alphaxiv
2605.25537,据摘要把训练时 RTC
的二值前缀推广为连续权重窗口);FutureRTC(2607.24008);VLASH(2512.01031)、A2C2(2509.23224,训练时
RTC 论文 §II
提及:分别用"单个未来动作条件"和"轻量校正头"解决块间不连续)。</p>
<hr />
<h3 id="2-代价引导扩散运动规划">2. 代价引导扩散运动规划</h3>
<h4 id="21-各方法要点与关键数字">2.1 各方法要点与关键数字</h4>
<p><strong>MPD(IROS'23,2308.01557)</strong></p>
<ul>
<li>算法(§III-D, Alg.1):每个去噪步先算先验均值 μ_t,再在 μ_t
处加代价梯度 g=−Σλ_i∇c_i,<strong>丢弃协方差 Σ_t 缩放</strong>(否则 t→0
时引导消失)。训练/推理 <strong>25 个扩散步</strong>(§IV-A "trained for
25 diffusion steps")。</li>
<li>结果(Table I,100 个上下文×每上下文 100 条轨迹,RTX 3090;S =
批内至少一条无碰撞):
<ul>
<li>Panda Spheres(训练环境):DPrior 0.3 s / S 88% / 碰撞航点比 I 11.5%
→ MPD 1.1 s / S 100% / I 1.2%。</li>
<li>Panda Spheres-Extra Obstacles(新障碍):DPrior 0.3 s / 78% / I
23.9% → MPD 1.1 s / 93% / I 12.5%;CVAE-Posterior(先采样后优化)0.8 s /
45%。</li>
<li>Panda Shelf(训练环境):DPrior 100%/I 3.6% → MPD 100%/I 0.6%。</li>
<li>PointMass3D Maze-Extra:DPrior 51% → MPD 82%(I 14.8%→3.1%)。</li>
<li>代价:引导使时间约 0.3 s → 1.0–1.1
s(≈3.5×),作者称主要开销在代价梯度而非网络(§IV-B)。</li>
</ul></li>
<li>真机(§IV-C):25 条无碰撞规划执行后 19/25
无碰撞,归因于球体碰撞近似误差。</li>
</ul>
<p><strong>MPD 期刊版(2412.19948)</strong></p>
<ul>
<li>B 样条控制点空间扩散;<strong>DDIM 15 步 +
二次时间表</strong>;<strong>只在最后 i_cost=3 步施加代价梯度,每步 M=4
次内梯度步,共 12 次代价梯度步</strong>;用信赖域 δ=0.15
约束偏离先验均值(式 15),λ_prior∈[0.25,0.5](附录
B)。作者原话:高噪声水平下"this gradient produces little
effect",所以只在末段引导(§III-F)。</li>
<li>延迟(§IV-D, Fig.7):EnvSpheres3D-Panda,100 条轨迹总计 ≈0.56
s,其中扩散采样仅 0.057 s(≈3.8
ms/次网络前向),<strong>其余几乎全是代价梯度</strong>。</li>
<li>新障碍下有效轨迹占比(§IV-D):EnvWarehouse-Panda,Dprior 18.4% →
MPD 73.5%;vs 无信息 GP 先验+代价(≈CHOMP)成功率 67.8% → 96.0%。</li>
<li><strong>"先采样再优化"对照(与我们的"事后梯度投影"最接近)</strong>:基线
Dprior+Cost 使用<strong>相同数量</strong>的代价优化步(§IV-B)。真机
Table I:Dprior 成功 0%;Dprior+Cost 成功 100%、有效占比 37.0%、多样性
27.95;MPD 成功 100%、有效占比 78.0%、多样性 59.50。§IV-E/Fig.11
解释:轨迹大段已在障碍内时,事后梯度"更难把它移出碰撞"。</li>
<li>局限(§V):提到可用"每步投影到安全流形"替代分类器式引导,但"projection
can be computationally expensive"——未实验。</li>
</ul>
<p><strong>EDMP(2309.11414)</strong></p>
<ul>
<li>在 MPD 基础上用 <strong>12 个代价函数集成</strong>(5 个相交体积 + 7
个扫掠体积),并行跑多条引导扩散,取最小碰撞代价(§III, Alg.1)。GPD
论文指出 EDMP 使用 T=256 去噪步(GPD §IV)。</li>
<li>结果(Table I/II,MπNets 测试集,成功率%):EDMP Global/Hybrid/Both
= 75.93/86.13/85.06;对比 MπNets(Hybrid 训练) 75.78/95.33/95.06。Table
III:单引导平均 79.25% vs 集成 89.30%。</li>
<li>失效模式(§III):SDF
型碰撞代价"在起终点之间有窄架子时挣扎";需"障碍膨胀"技巧才能诱出回撤行为(Fig.3)——即<strong>局部极小值、需手工调代价</strong>。</li>
</ul>
<p><strong>GPD(2501.18229)</strong></p>
<ul>
<li>在 Bernstein 系数(8 个控制点)空间扩散,梯度经 Bᵀ 预条件(式
5)使整条轨迹"像拉绳子一样"整体移动;T=64(EDMP 为 256)。</li>
<li>Table I(单代价引导,成功率%
Global/Hybrid/Both,时间):PD(无引导多项式先验)32.11/40.38/41.54,0.22
s;MPD 51.33/62.27/67.12,7.32 s;EDMP-1G 53.11/66.50/68.88,7.95
s;<strong>GPD-1G 65.50/72.89/73.00,0.8 s</strong>。→
在同一参数化下,引导比无引导 +33 个百分点(Global),延迟 ×3.6。</li>
<li>Table II:GPD-7G 81.94/90.88/90.24(0.85
s);GPDS(单引导+RRT-Connect 拼接)87/92.83/92.61(1.9 s);单独
RRT-Connect 83.33/90.83/90.60(7.14 s)。</li>
<li>失效模式(§III-B,
Fig.3):航点空间引导只把个别航点推出碰撞,整条轨迹仍不可行;高噪声步的引导被去噪"拉回先验"所压倒。</li>
</ul>
<p><strong>CAMPD(2510.14615)——反例:不用代价引导</strong></p>
<ul>
<li>无分类器引导(CFG),以障碍参数(球/长方体的位置尺寸)通过注意力条件化,无代价梯度(§III)。附录:T_train=25;DPM-Solver++
推理仅 <strong>T_inf=3 步</strong>;输出加高斯滤波。</li>
<li>Table I(随机球环境,100 条/批):0.066 s / 批,S
97.5%(w=1),可行轨迹率 FTR 79.4–82.8%;对比 MPD 3.165 s、S 80.7%、FTR
59.6%(部分随机球)。CFG 强度 w=5 时 FTR 降到
67.9%、平滑性变差(<strong>过强引导→离流形</strong>)。</li>
<li>Table II(MπNet 测试集,N_batch=12):DDPM 25 步 成功 90.7%(7+20
ms,IK+规划);<strong>DPM-Solver++ 3 步 w=1/2/5:86.9%/87.6%/78.9%(8+5
ms)</strong>;N_batch=64:DDPM 98.3%,3 步 96.2%/97.2%/93.3%(8+7
ms);cuRobo 92.0%(N=12, 26 ms)/93.8%(N=64, 111 ms)。→
<strong>少步(3 步)条件化生成器比 25 步只掉 ~1–4
个百分点</strong>。</li>
</ul>
<p><strong>DiffusionSeeder(2410.16727)——扩散出种子 +
事后优化</strong></p>
<ul>
<li>深度图条件 DDPM,<strong>DDIM 5 步</strong>、12 条种子,6 ms(RTX
4090,含 ViT);然后 cuRobo 优化 N_iters 次(§4.3, §5)。</li>
<li>Table 1(部分观测):25 次迭代 85.1% / 15 ms 规划;50 次 85.8%;475
次 86.2%;cuRobo-100 77.9% / 207 ms。</li>
<li><strong>附录 7.8.3:在环代价引导(k=60, n=20
步/时刻,扫参最优)只把成功率从 80.6% 提到
81.1%</strong>;作者解释:条件化模型已输出低代价区域的种子。</li>
<li><strong>附录 7.8.9(无优化器)</strong>:纯扩散输出无碰撞率仅
≈38%,最大 jerk ≈270 rad/s³,经 cuRobo 优化降到 ≈106。→
事后优化是主要"纠错"手段。</li>
<li>分布外(附录 7.8.1,窄通道):DiffusionSeeder 与 cuRobo 同为
52.4%。</li>
</ul>
<h4 id="22-问题逐条回答">2.2 问题逐条回答</h4>
<p><strong>Q1:1–2 步去噪时代价引导还有效吗?</strong></p>
<ul>
<li><strong>[原文] 没有任何一篇在 1–2 步下测试过代价引导。</strong>
最少的是:MPD 期刊版 15 步 DDIM 且只在最后 3 步引导(每步 4
次内梯度),DiffusionSeeder 5 步(引导仅 +0.5 pt),CAMPD 3 步但用的是
CFG 不是代价梯度,RTC 用 5 步(是前缀修复引导,不是碰撞代价)。</li>
<li><strong>[原文] 少步会让梯度引导变得不稳定</strong>:RTC 附录
A.2——n=5 时引导权重 β 过大导致动作块发散、最大加速度上升(Fig.7),β
需夹到 5;作者明说图像修复常用 n=100,控制里 n=5 才需要夹紧。GPD/MPD
都说高噪声阶段的梯度基本无效。</li>
<li><strong>[推断]</strong> 在 1
步生成器上,"引导"在数学上退化为:一次网络前向 + 在输出(或其 x̂₁
估计)上做若干梯度步——等价于事后梯度投影;在 2
步时,只有第二步之前一次机会,与 MPD"仅末段 3
步引导、每步多次内迭代"的有效方案在结构上相同,即本质上也是"先验输出 +
局部优化"。所以对我们而言,"1–2 步 + 引导"与"1 步 +
事后投影"区别很小,选后者更简单。</li>
</ul>
<p><strong>Q2:相对无引导提升多少,代价多少延迟?</strong> | 来源 |
无引导 | 有引导 | 延迟 | |---|---|---|---| | MPD-IROS Panda
Spheres(训练环境) | S 88%, I 11.5% | S 100%, I 1.2% | 0.3→1.1 s / 100
条 | | MPD-IROS Panda Spheres + 新障碍 | 78%, I 23.9% | 93%, I 12.5% |
同上 | | MPD-期刊 Warehouse + 新障碍 | 有效 18.4% | 73.5% | 0.56
s,其中网络 0.057 s | | GPD(MπNets Global) | PD 32.11% | GPD-1G 65.50%
| 0.22→0.8 s | | EDMP 集成 vs 单引导 | 79.25%(单) | 89.30%(12 个) |
EDMP 8.22 s(GPD Table II) | | DiffusionSeeder(条件化模型) | 80.6% |
81.1% | 在环引导 n=20/步,额外开销未报 | | CAMPD(无代价引导) | — | 3
步 86.9–87.6% vs MPD 慢 ~48× | 66 ms vs 3.165 s / 100 条 | <strong>规律
[原文+推断]</strong>:引导的增益在"先验不知道障碍"(新障碍、分布外)时大(+15~+55
pt),在"先验已被环境条件化/训练环境已覆盖"时小(DiffusionSeeder +0.5
pt;MPD 训练环境主要是把碰撞航点比从 11.5% 压到
1.2%)。我们的环境是固定的、训练数据可完全覆盖 → 属于后一类。</p>
<p><strong>Q3:失效模式</strong></p>
<ul>
<li>局部极小:EDMP §III(SDF
代价在窄架子间失败,需障碍膨胀、多代价集成);MPD-期刊
§I(优化方法依赖初始化);GPD Fig.3(逐航点推不出整段碰撞)。</li>
<li>离流形 / 分布偏移:MPD-期刊式 15 用 δ
信赖域"防止偏离先验太远导致分布偏移";RTC A.2:β 过大 → 发散、jerk
↑;CAMPD:CFG w=5 → FTR 82.8%→67.9%、平滑性变差。</li>
<li>高噪声阶段引导无效、被先验压倒(MPD-期刊 §III-F;GPD §III-B)。</li>
<li>未经优化的扩散输出动力学质量差:DiffusionSeeder 纯输出 jerk ≈270
rad/s³、无碰撞率 ≈38%(附录 7.8.9)。</li>
<li>分布外场景无优势:DiffusionSeeder 窄通道 52.4% = cuRobo。</li>
</ul>
<p><strong>Q4:能否用"对输出块的事后梯度投影"替代引导?</strong></p>
<ul>
<li><strong>[原文] 反对证据</strong>:MPD-期刊
Dprior+Cost(同等梯度步数)真机有效占比 37% vs MPD 78%,多样性 27.95 vs
59.50;CVAE-Posterior(先采样后优化)在 Panda+新障碍仅 45% vs MPD
93%。原因:先验样本大段穿过<strong>训练时不存在</strong>的障碍时,事后梯度难以把它推出来。</li>
<li><strong>[原文] 支持证据</strong>:DiffusionSeeder(环境条件化先验 +
事后优化 25–50 次)85–86%,在环引导几乎无增益;CAMPD 条件化 3
步无引导即达 87–97%。</li>
<li><strong>[推断] 对我方的结论:可以替代,而且更合适。</strong>
反对证据的前提是"推理时出现了先验没见过的障碍";我们的立柱是固定且已知的,先验在训练中就学会了绕柱的两种模式,事后投影只需修补小幅穿透/余量不足——正是事后局部优化擅长的。并且我们有解析胶囊距离,16×6=96
维块上做几次投影梯度步在 JS
中是亚毫秒级(未测)。唯一要防的是"整块已在柱子错误一侧"这类模式错误——投影修不了,应交给生成器多样本+安全层拒绝/回退。</li>
</ul>
<hr />
<h3 id="3-实时分块-rtc-与训练时前缀条件化">3. 实时分块 RTC
与训练时前缀条件化</h3>
<h4 id="31-rtc-算法250607339-3-alg1">3.1 RTC 算法(2506.07339, §3,
Alg.1)</h4>
<ul>
<li>异步:执行当前块的同时生成下一块;推理延迟 d=⌊δ/Δt⌋ 内必然执行的前 d
个动作被"冻结",其余"修复"(inpainting)。约束 d ≤ s ≤
H−d(Fig.3)。</li>
<li>修复方法:基于 ΠGDM 的伪逆引导(式 2–4):v ← v + min(β,
(1−τ)/(τ·r_τ²))·(Y−¹)ᵀ diag(W)
∂¹/∂A^τ,<strong>每个去噪步需一次向量-雅可比积(反向传播)</strong>。β
为作者新增的权重夹紧,β=5。</li>
<li>软掩码(§3.2,式 5):前 d 步权重 1,之后到 H−s 指数衰减,最后 s
步为 0;作者称在 d
小时"critical"。A.4:指数衰减最好,线性几乎一样;Diffuser
式"硬覆盖"修复更便宜、"仍有一些收益"但不如引导式。</li>
<li>延迟估计:取最近 b=10 次延迟的最大值;s=max(d, s_min)。</li>
</ul>
<h4 id="32-所需推理步数与延迟">3.2 所需推理步数与延迟</h4>
<ul>
<li><strong>[原文]</strong> 仿真与真机都用 n=5(Table 4)。π0.5
上:每次去噪 14 ms→35 ms(2.5×),模型总延迟 76 ms→97 ms(Table 3);BID
N=16 为 115–223 ms(Table 1)。</li>
</ul>
<h4 id="33-是否适用于-1-步生成器">3.3 是否适用于 1 步生成器</h4>
<ul>
<li><strong>[原文]</strong> 作者:仅适用于扩散/流策略(§6);未测
n=1。A.2:τ=0 时权重无穷大必须夹紧;n=5、β≥4.25
时夹紧只决定第一步权重。</li>
<li><strong>[推断]</strong> n=1 时整个输出就由"τ=0 处夹紧的一步 + 一次
VJP"决定,引导强度完全由 β 人工设定,属于无依据的外推;Pokle 等从 τ&gt;0
起步的变体作者未尝试。而且浏览器端推理(ONNX Runtime Web
等)做反向传播不方便。→ 对我们 <strong>不推荐推理时 RTC</strong>。</li>
</ul>
<h4 id="34-实测收益-vs-时间集成--朴素分块">3.4 实测收益 vs 时间集成 /
朴素分块</h4>
<ul>
<li><strong>Kinetix 仿真(§4.1, Fig.5,H=8,2048
次/点)[原文定性,具体数值仅在图中,未读出]</strong>:TE "across the
board" 表现差,<strong>即使
d=0</strong>(多模态下有效动作的平均不一定有效);RTC 对延迟最鲁棒,领先
BID 且差距随 d 增大;硬掩码弱于软掩码(d 小时更明显);RTC
执行步长越短越好。</li>
<li><strong>真机(§4.2, Fig.6,π0.5,6 任务,480
回合)</strong>:吞吐量在所有延迟下最佳,+100/+200 ms 时显著;RTC
对注入延迟"完全鲁棒",同步推理线性退化;<strong>两种 TE 在 +100/+200 ms
下振荡到触发保护停机</strong>;Fig.1:同样动作比同步快 20%,比 TE
更平滑;点蜡烛任务最终得分优势大。</li>
<li><strong>BID(2408.17355)</strong>:N=16, K=3;相对 vanilla 闭环
+32%,与 EMA(=TE) 组合 +46%(§5.2, Fig.7);EMA 在 7 任务中 2
个下降,且最优衰减率因任务而异(附录 A.4);VQ-BeT 上 1→16 样本成功
49.1%→54.2%,时间 13.2→25.9 ms(Table 2)。RTC 论文称 BID 在仿真不如 RTC
且算力高很多。</li>
<li><strong>ACT 原文(2304.13705, §VI-A, Fig.8b)</strong>:TE 对 ACT
+3.3%,对 BC-ConvMLP +4%,对 VINN 下降;注意 ACT 测试时把 CVAE 的 z 设为
0(确定性解码,§IV),即 <strong>TE
在"单峰确定性"预测上才有效</strong>——这正是它在多模态扩散/流策略上失效的原因。</li>
</ul>
<h4 id="35-更简单的训练时前缀条件化是否有效251205964">3.5
更简单的训练时前缀条件化是否有效(2512.05964)</h4>
<ul>
<li>方法(§IV):训练时随机采样延迟
d,前缀用真值非噪声动作并把其流匹配时间设为 1,只对后缀算损失;需允许逐
token 不同时间步(adaLN 的 scale/shift/gate 逐
token);推理零额外开销(Alg.1 代码几行)。</li>
<li>结果 <strong>[原文]</strong>:仿真中 d≥2 时优于推理时 RTC,差距随 d
增大而扩大;<strong>d=0、1 时"very marginally
worse"</strong>(Fig.3,数值仅在图中)。真机
π0.6(盒子组装、意式咖啡):成功率与时长与推理时 RTC 持平,端到端延迟
108 ms(d≈5)vs 135 ms(d≈7)。</li>
<li>局限 <strong>[原文]</strong>:只支持"硬"前缀(d
个动作),不能像软掩码那样软利用剩余重叠;需按预期延迟选训练延迟分布(仿真用
{0..4} 指数递减权重,真机 U[0,10])。</li>
<li><strong>[推断]</strong> 对 1
步生成器天然适用:它只是"条件输入",与积分步数无关。</li>
</ul>
<h4 id="36-对我方设定的特殊考量-推断">3.6 对我方设定的特殊考量
<strong>[推断]</strong></h4>
<ul>
<li>我们 H=16、s=3;若浏览器单次推理 &lt;20 ms,则 d=0–1,硬前缀只有 0–1
个动作——恰好是训练时 RTC
相对最弱、软掩码最有价值的区间。建议:把上一块的<strong>全部剩余重叠</strong>(16−3=13
步)作为条件输入,并按 RTC 式 5
的衰减思路在训练中随机截断/加噪("软前缀"),或参考 Soft
RTC(<strong>[未验证]</strong>)。这是对两篇论文的组合外推,需自己做消融。</li>
<li><strong>时间集成在我们场景有硬伤</strong>:立柱左右绕行是典型双模态;两条各自无碰撞的块取平均可能正好穿柱(RTC
Fig.2 正是此例)。安全层会拒掉,但会造成频繁回退/停顿。不建议用
TE。</li>
<li>安全层与 RTC
互补:前缀条件化保证块间连续性(减少安全层因加速度跳变而拒绝),安全层保证已提交
3 步的硬安全。</li>
</ul>
<hr />
<h3 id="4-对我方设定的结论表">4. 对我方设定的结论表</h3>
<table>
<thead>
<tr class="header">
<th>问题</th>
<th>结论</th>
<th>证据强度</th>
<th>不确定性</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>1–2 步下用代价引导</td>
<td><strong>不采用</strong>;改为"生成器输出 + 事后解析梯度投影"</td>
<td>无论文测过 1–2 步引导 <strong>[推断]</strong>;少步引导不稳定 [原文
RTC A.2]</td>
<td>1 步下引导 vs 投影的差异未经实验</td>
</tr>
<tr class="even">
<td>引导的预期增益</td>
<td>固定已知环境下小(先验已学会绕柱);主要收益是降低穿透/余量不足比例</td>
<td>DiffusionSeeder +0.5 pt;MPD 训练环境 I 11.5%→1.2% [原文]</td>
<td>我方先验的碰撞率需实测</td>
</tr>
<tr class="odd">
<td>引导延迟代价</td>
<td>论文中 3.5–50× 开销,几乎全在代价梯度</td>
<td>MPD/GPD/CAMPD [原文]</td>
<td>我方解析胶囊距离很便宜,开销会小得多
<strong>[推断,未测]</strong></td>
</tr>
<tr class="even">
<td>事后投影替代引导</td>
<td><strong>可以</strong>,前提是障碍在训练分布内</td>
<td>支持:DiffusionSeeder、CAMPD;反对:MPD Dprior+Cost 37% vs
78%(仅在新障碍下)[原文]</td>
<td>投影修不了"走错侧"的模式错误,需多样本或安全层回退</td>
</tr>
<tr class="odd">
<td>失效模式</td>
<td>局部极小、离流形/jerk、模式错误</td>
<td>EDMP/GPD/RTC A.2/CAMPD/DiffusionSeeder [原文]</td>
<td>—</td>
</tr>
<tr class="even">
<td>推理时 RTC(ΠGDM 修复)</td>
<td><strong>不推荐</strong>:需 VJP(浏览器难)、仅在 n=5 验证、n=1
无依据</td>
<td>[原文] + <strong>[推断]</strong></td>
<td>若改用少步(≥3–5)可重新评估</td>
</tr>
<tr class="odd">
<td>训练时前缀条件化</td>
<td><strong>推荐</strong>,对 1 步生成器天然适用、零推理开销</td>
<td>2512.05964 [原文](d≥2 优于 RTC,d≤1 略逊)</td>
<td>我方 d≈0–1,硬前缀很短;需加"软/全重叠"条件化并做消融
<strong>[推断]</strong></td>
</tr>
<tr class="even">
<td>时间集成</td>
<td><strong>不推荐</strong></td>
<td>RTC 仿真 TE 全面差、真机触发保护停机;BID 中 EMA 不稳;ACT
仅在确定性单峰下 +3.3% [原文]</td>
<td>若生成器近似确定性单峰,TE 危害会小</td>
</tr>
<tr class="odd">
<td>BID</td>
<td>可作为对照/上限,但需 N≈16 批采样 + 弱模型</td>
<td>+32%(+46% 配 EMA),时间约 ×2 [原文]</td>
<td>浏览器批量推理的实际延迟未知</td>
</tr>
</tbody>
</table>
<h3 id="5-局限">5. 局限</h3>
<ul>
<li>多篇关键数值只在图中(RTC Fig.5/6、训练时 RTC Fig.3/5、MPD-期刊
Fig.6、BID Fig.6/7),文本未给具体数字,本文只引用了定性结论。</li>
<li>所有运动规划论文都是 7-DOF Panda、离线规划整条轨迹(H=32–64),而非
16
步闭环滚动块;成功率口径多为"批内至少一条成功",与我们单样本闭环不同。</li>
<li>没有任何来源测试浏览器推理、1 步生成器 + 代价引导、或 50 Hz 下 d≈0–1
的 RTC。</li>
</ul>
<hr />
<h1 id="四后训练apgrl与遗漏范式">四、后训练(APG/RL)与遗漏范式</h1>
<h2
id="后训练fine-tune方案与遗漏范式评估">后训练(fine-tune)方案与遗漏范式评估</h2>
<blockquote>
<p>范围:(A) 后训练方法(ELMP-APG、DPPO、ReinFlow、DRP/IMPACT、Neural MP
TTO),以及 APG 与 RL 的对比;(B) 可能遗漏的范式(C-space
距离场、TD-MPC2、Diffusion Forcing、(VQ-)BeT、IBC、Mamba、Geometric
Fabrics/RMPflow、cuRobo 式 GPU 轨迹优化做自监督精修)。
我们的设定:6-DOF
机械臂;环境固定且完全已知(一根立柱,胶囊体碰撞,有解析距离);低维状态;50
Hz 闭环;16 步 action chunk;3–5M 参数;浏览器推理;<strong>运行时不允许
teacher/planner</strong>(teacher 只能离线用于预训练数据);单张 RTX
3090 训练;近立柱困难用例必须 30/30;必须保留左/右绕行的多模态。
标注约定:<strong>[原文]</strong> =
已抓取全文并定位到章节;<strong>[摘要]</strong> =
只核对了摘要/检索摘录;<strong>[未验证]</strong> =
我的推断或背景知识,未在本次抓取的原文里核实。 原文全文(HTML 及抽取的
txt)存放在
<code>/workspace/work/out/survey/src/&lt;arxiv_id&gt;.{html,txt}</code>。</p>
</blockquote>
<hr />
<h3 id="0-结论速览-1">0. 结论速览</h3>
<table>
<thead>
<tr class="header">
<th>方法</th>
<th>结论</th>
<th>一句话理由</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>ELMP 解析策略梯度(APG)</td>
<td><strong>采用(作为主后训练阶段)</strong></td>
<td>我们的环境固定、距离解析可得、运动学 rollout 天然可微,正是 APG
的理想条件;不需要新增专家数据</td>
</tr>
<tr class="even">
<td>DPPO</td>
<td><strong>借鉴思路</strong>(若主干是扩散模型,用于"补最后几例")</td>
<td>能直接优化稀疏的 0/1
成功率,探索沿数据流形进行;但样本效率低,而且奖励不对称时会塌缩到单一模式</td>
</tr>
<tr class="odd">
<td>ReinFlow</td>
<td><strong>借鉴/备选</strong>(主干若为 flow/shortcut,优先于
DPPO)</td>
<td>1–4 步去噪即可做 RL;墙钟时间比 DPPO 少 62.82%;推理仍是确定性的
flow,适合浏览器</td>
</tr>
<tr class="even">
<td>DRP / IMPACT 迭代师生微调</td>
<td><strong>采用其思路</strong>(离线 teacher 重标注 = 离线
DAgger)</td>
<td>teacher 只在离线用,符合规则;论文里成功率
+45%;对"近立柱擦碰"这种失败最有效</td>
</tr>
<tr class="odd">
<td>Neural MP 测试时优化(TTO)</td>
<td><strong>视规则而定:借鉴</strong>(运行时多采样 +
解析距离挑选)</td>
<td>用 K 个 chunk
采样再用胶囊距离打分很便宜,还能保住多模态;但它算不算"运行时
planner"需要你们拍板</td>
</tr>
<tr class="even">
<td>CDF(C-space 距离场)</td>
<td><strong>借鉴</strong>(作为 APG 损失或策略输入特征)</td>
<td>关节空间梯度是单位范数,比"任务空间
SDF×雅可比"条件更好;立柱固定,可以离线预计算</td>
</tr>
<tr class="odd">
<td>RDF / Neural-JSDF</td>
<td><strong>否决</strong>(作为替代);Neural-JSDF 可作特征参考</td>
<td>我们已有精确的解析胶囊距离,学出来的距离只会更不准</td>
</tr>
<tr class="even">
<td>TD-MPC2</td>
<td><strong>否决</strong>(可借鉴"学习的价值函数"来截断 BPTT)</td>
<td>动力学已知,没必要学世界模型;运行时 MPPI(512 样本×6
次迭代)本质上是 planner</td>
</tr>
<tr class="odd">
<td>Diffusion Forcing</td>
<td><strong>否决</strong>(可借鉴"带代价的引导采样")</td>
<td>优势在长序列和记忆,我们 16 步
chunk、低维、无部分可观测,用不上</td>
</tr>
<tr class="even">
<td>VQ-BeT / BeT</td>
<td><strong>借鉴</strong>(显式离散"左/右模式 token"+连续残差)</td>
<td>显式离散化模式,最直接地保证左右多模态;单次前向推理</td>
</tr>
<tr class="odd">
<td>IBC(能量模型/隐式 BC)</td>
<td><strong>否决</strong></td>
<td>无导数优化(DFO)推理只适合 ≤5 维,我们的 chunk 是 16×6=96 维</td>
</tr>
<tr class="even">
<td>Mamba / SSM 策略</td>
<td><strong>否决</strong></td>
<td>优势在长历史和视觉/3D
主干;我们是低维、短历史;浏览器端选择性扫描算子支持[未验证]</td>
</tr>
<tr class="odd">
<td>Geometric Fabrics / RMPflow(+学习组件)</td>
<td><strong>借鉴为离线 teacher / 安全层参考</strong></td>
<td>单独用会陷入局部极小;DRP 证明"策略+fabric"作离线 teacher
很有效</td>
</tr>
<tr class="even">
<td>cuRobo 式 GPU 轨迹优化做自监督精修</td>
<td><strong>采用</strong>(离线:以策略 rollout 为初值做 L-BFGS
精修再蒸馏)</td>
<td>从策略样本出发精修,会留在同一同伦类(左/右),既保住多模态又补精度;离线使用符合规则</td>
</tr>
</tbody>
</table>
<hr />
<h3 id="a-后训练方法">(A) 后训练方法</h3>
<h4
id="a1-elmp--efficient-learning-for-motion-planning-via-analytical-policy-gradientsarxiv-260700215eth-rsl2026-06-30">A1.
ELMP — Efficient Learning for Motion Planning via Analytical Policy
Gradients(arXiv 2607.00215,ETH RSL,2026-06-30)</h4>
<p>来源:<a
href="https://arxiv.org/abs/2607.00215">https://arxiv.org/abs/2607.00215</a>
,全文 <a
href="https://arxiv.org/html/2607.00215v1">https://arxiv.org/html/2607.00215v1</a>
<strong>[原文]</strong></p>
<p><strong>是什么</strong>:两阶段训练。阶段 1 用约 60 万条 AIT*
专家轨迹做 BC(损失 = 动作 L2 + 碰撞球心 FK 点匹配,Eq.1)。阶段 2 用
APG 微调:把策略在可微运动学层里自回归展开 H
步,<code>q_{t+1}=clamp(q_t+Δq_t)</code>,然后对目标、碰撞、平滑三项损失做
BPTT(Alg.1,§III-C)。</p>
<ul>
<li>目标项:位置平方误差 +
λ_rot·‖R_pred−R_tgt‖_F²(弦距离,避免四元数损失的梯度消失),<strong>只作用在终端
q_H</strong>(Alg.1 第 15–16 行)。</li>
<li>碰撞项:<code>Σ_t Σ_k ReLU(ε_margin − Φ_env(x_k(q_t)))</code>,用机器人球体近似和解析的原语
SDF(盒子、圆柱),并对非相邻连杆加自碰撞铰链损失(Eq.4,§III-D)。</li>
<li>平滑项:速度和加速度的二次惩罚(Eq.5)。</li>
</ul>
<p><strong>关键数字</strong>:</p>
<ul>
<li>训练稳定性的处理(§IV-B):明确承认"长时域 BPTT
容易梯度消失或爆炸",对策只有 ① 用 BC 初始化作为稳定起点,② 梯度范数裁剪
≤1.0。此外用 Adam,lr 1e-4 加指数衰减,16 位混合精度。<strong>展开长度
H=69</strong>,APG 训练 50 个 epoch(batch 48,DDP),BC 训练 500 个
epoch;硬件 6×RTX 3090;ε_margin=0.03 m。<strong>没有截断
BPTT、没有学习的 critic、没有课程</strong>;SHAC
只在结论里列为面向接触丰富系统的未来工作(§V)。</li>
<li>Tab.I(1800 道留出题):ELMP-BC → ELMP-APG,环境碰撞率 31.3% →
8.9%;平滑轨迹 92.6% → 99.1%;1 cm 内位置精度 70.4% → 89.0%;15°
内姿态精度 76.7% → 93.5%。同一套 APG 套到 MπNets 上,碰撞率也从 16.3%
降到 10.8%。</li>
<li>数据效率(§IV-C,Fig.4):只用 1 万条专家轨迹预训练再做 APG,得到
72.0% 成功率、19.4% 碰撞率,<strong>已经超过用满 60 万条的纯
BC</strong>(57.9%、31.9%),相当于专家数据少 60 倍。APG
的增益在低数据区最大。</li>
<li>Tab.II:平均成功率 84.8%(cuRobo 86.1%,AIT* 76.7%,MπNets
50.1%,CuRobo-MPC 16.1%);冷启动 7.8 ms。在 Cubby(窄空间)上只有
72.7%,低于 cuRobo 的
88.0%:<strong>在高度受限的几何里仍不如优化器</strong>。</li>
<li>新环境迁移(§IV-F):零样本 57.3% → APG 89.8%,在同一批题上高于
BC+专家数据的 85.0%。采样一道题 82 ms,AIT* 求一条专家轨迹 21.5 s;20
万道题采样需 4.5 CPU 小时,同规模专家数据需 1194 CPU 小时以上。</li>
<li>加一项笛卡尔路径长度惩罚(ELMP-APG-Cartesian)后,末端路径从 0.85 m
缩到 0.63 m,碰撞率略升到 10.9%。说明换目标不需要新示范。</li>
<li>真机(§IV-G):30 Hz MPC 式闭环,成功率 72.2%,碰撞率 25%(仿真是
8.9%)。差距归因于深度相机噪声,与我们无关,因为我们的环境完全已知。</li>
</ul>
<p><strong>对我们的适配:采用(作为主后训练阶段)</strong></p>
<ul>
<li>适配度极高。我们的胶囊体解析距离就是 ELMP 的
Φ_env(甚至更好:胶囊–胶囊距离精确、处处次可微)。环境只有一根立柱,不需要
PointNet,展开计算极轻。3–5M 参数的低维网络,在 1 张 3090 上跑 batch
数千条并行 BPTT 应该可行(ELMP 用 6 卡是因为 PointNet++ 处理 6272
点)。<strong>单卡可行性是推断 [未验证]</strong>。</li>
<li>我们需要的改动:
<ol type="1">
<li><strong>展开单位是 chunk</strong>:50 Hz、16 步 chunk。如果每 8
步重规划一次、一个回合 3–6 s,就是约 150–300 个控制步、20–40
次策略调用。BPTT 深度按策略调用次数算,比 ELMP 的 69
次调用更深或相当(ELMP
每步都调用策略)。<strong>这些回合长度是我的假设,请按实际 episode
长度核对。</strong></li>
<li><strong>梯度爆炸对策(ELMP 之外的补充,[未验证]
为背景知识)</strong>:
<ul>
<li>截断 BPTT:每 k 次策略调用 detach 一次 q。</li>
<li>对 q_t 的梯度做逐步裁剪或衰减(γ-discount backprop)。</li>
<li>短窗口 + 终端价值(SHAC 式,ELMP §V 提到 SHAC)。</li>
<li>保留 BC 损失作为锚点(ELMP 原文没写联合 BC
损失,属于我的建议)。</li>
<li>积分步本身是 <code>q+Δq</code>,雅可比为 I + ∂π/∂q。只要策略对 q 的
Lipschitz 常数不大,爆炸风险主要来自网络而非动力学;可用谱归一化或
LayerNorm 控制。</li>
</ul></li>
<li><strong>铰链损失的盲区</strong>:ReLU(ε−d) 在 d&gt;ε 时梯度为 0。当
BC 策略的轨迹"冲着柱子中心"时,SDF
梯度只能侧推,<strong>无法跨同伦类</strong>(不会从"撞上"直接变成"绕左/绕右"),而且对称位置的梯度可能相互抵消。近立柱困难用例可能卡在局部极小,因此单靠
APG 不一定能到 30/30(推断)。</li>
<li><strong>多模态风险</strong>:若主干是扩散或 flow,APG
需要对采样链做重参数化反传(flow 用 1–4
步最可行)。梯度会把每个样本在它自己的模式内往外推,大体能保住左/右;但会压缩方差,让输出趋向确定性。如果立柱一侧代价更低,也会改变左右比例。需要监控左/右比例,并加
BC 或 KL 锚定(推断)。</li>
<li>我们的成功判据(30/30)是二值的,APG
优化的是稠密代理损失。代理与判据之间要对齐:ε_margin
设成略大于验收裕度,并对困难用例采样加权。</li>
</ol></li>
</ul>
<h4
id="a2-dppo--diffusion-policy-policy-optimizationarxiv-240900588">A2.
DPPO — Diffusion Policy Policy Optimization(arXiv 2409.00588)</h4>
<p>来源:<a
href="https://arxiv.org/html/2409.00588">https://arxiv.org/html/2409.00588</a>
<strong>[原文]</strong></p>
<p><strong>是什么</strong>:把去噪过程视为一个 MDP,嵌进环境
MDP,组成双层的 "Diffusion Policy
MDP"。每个去噪步都是高斯似然,因此可以直接用 PPO(§4,Fig.3)。</p>
<p><strong>关键数字和技巧</strong>:</p>
<ul>
<li>只微调最后 K′ 个去噪步,或者改用 DDIM 微调(训练时 η=1,评估时
η=0,最少可到 5 步)(§4.3)。state 输入时预训练 20 步、微调最后 10
步(§5.3)。K′ 太小(如 3)会降低渐近性能(App C.2)。</li>
<li>探索噪声:σ_k 下限 σ_min^exp 取 0.01–0.1,似然评估时
σ_min^prob=0.1(§4.3)。PPO 的 clip 比例按"被裁剪样本占
10–20%"来调,早期去噪步的 ε 用 0.1×(App)。</li>
<li>MLP 头比 UNet 更容易稳定微调;MLP 下 T_a&lt;T_p 会不稳定(§4.3
脚注)。<strong>T_a=16 时 DPPO 仍能稳定提升,Gaussian/GMM
则可能完全学不动(§6,Fig.11 右)</strong>。这一点和我们的 16 步 chunk
直接相关。</li>
<li>Robomimic(state 输入):Lift/Can 收敛到约 100%,Transport 超过
90%(§5.3)。Furniture-Bench 真机零样本 80%(16/20),Gaussian 策略仿真
88%、真机 0%(§5.4)。</li>
<li>墙钟时间:DPPO-MLP 比 Gaussian 慢 21–24%(App D);从零训练约是
Gaussian 的 6 倍(App C.3)。<strong>样本效率低于 off-policy
方法</strong>,是作者承认的主要局限(§7)。</li>
<li><strong>多模态相关</strong>:在 D3IL Avoid
实验(§6,Fig.10)里,作者<strong>特意只奖励"最上方模式"</strong>,DPPO
就会收敛到这个模式。也就是说,RL 会按奖励重塑模式分布。另外
App(Kitchen)指出:预训练没学到的模式,DPPO 也补不回来。</li>
<li>结构化、在流形上的探索:去噪的多轮噪声让探索留在专家数据流形附近,适合"预训练已覆盖成功模式"的情形(§6
Benefit 1)。</li>
</ul>
<p><strong>对我们的适配:借鉴思路</strong></p>
<ul>
<li>优点:直接优化 0/1 成功(例如"30/30、零碰撞"这种不可微判据);对长
chunk 稳定。我们的仿真只是运动学积分加解析距离,在 3090
上并行几千到几万个环境的成本极低,因此 RL
的"样本贵"在我们这里大幅缓解(推断)。</li>
<li>缺点:
<ul>
<li>如果左/右奖励不完全对称,或某侧略易成功,PPO
会把概率质量移到一侧,<strong>违背"保留左右多模态"</strong>。需要按模式平衡奖励或采样(例如按初始
BC 样本的绕行侧分组计算优势),或者显式加模式条件(见 B6)。</li>
<li>需要扩散主干,浏览器推理要跑 K 步去噪;部署时可以用 DDIM 少步。</li>
</ul></li>
<li>建议定位:APG 之后若仍剩少量困难失败,用 DPPO/ReinFlow
以稀疏成功奖励"补尾巴",并加模式平衡。</li>
</ul>
<h4
id="a3-reinflow--fine-tuning-flow-matching-policy-with-online-rlarxiv-250522094">A3.
ReinFlow — Fine-tuning Flow Matching Policy with Online RL(arXiv
2505.22094)</h4>
<p>来源:<a
href="https://arxiv.org/html/2505.22094">https://arxiv.org/html/2505.22094</a>
<strong>[原文]</strong></p>
<p><strong>是什么</strong>:在 flow
的确定性路径上加一个可学习的噪声网络(noise injection net),把 flow
变成离散时间马尔可夫过程,得到精确、闭式的高斯似然,然后用 PPO
式裁剪目标联合训练速度网络和噪声网络(§4.1–4.3,Alg.1)。<strong>微调后丢掉噪声网络,部署的仍是确定性
flow</strong>(§4.3)。</p>
<p><strong>关键数字</strong>:</p>
<ul>
<li>摘要和 §1:Rectified Flow 在运动任务上回报平均净增
135.36%,墙钟时间比 DPPO 省 82.63%。Shortcut
模型在操作任务上成功率平均净增 40.34%,<strong>可以只用 4 步甚至 1
步去噪</strong>;总体墙钟时间比 DPPO 少 62.82%。</li>
<li>Robomimic 视觉任务成功率平均提升 45.77%,Can/Square 只用 1
步,Transport 用 4 步(§5.2)。</li>
<li>去噪步数从 DPPO 的 10 步降到 4 步(App B)。成功率收敛到 100%
时,噪声水平会自然衰减(§4.3)。</li>
<li>正则(§4.4,§6):默认在 state 任务上用熵正则;W2
正则约束会限制提升。噪声幅度是最关键的超参:过小探索不足,适中时回报可达
3 倍。</li>
<li>局限(§7):on-policy,样本效率不高;对噪声幅度敏感。</li>
</ul>
<p><strong>对我们的适配:借鉴/备选(若走 RL 路线,优先于
DPPO)</strong></p>
<ul>
<li>与浏览器部署最兼容:1–4 步 flow,推理成本约等于 1–4 次 MLP
前向。</li>
<li>同样有 RL 的模式塌缩风险(见
A2),需要模式平衡。熵正则对保持左右两支可能有帮助,但论文<strong>没有</strong>测多模态保持
[未验证]。</li>
<li>主干若是 flow/shortcut,也可以先 APG(通过 1–4 步 flow 反传)再
ReinFlow。二者共用同一个网络。</li>
</ul>
<h4
id="a4-deep-reactive-policydrp-impactarxiv-250906953作业说是-corl-2025arxiv-页面只写了网站链接会议归属未验证">A4.
Deep Reactive Policy(DRP)/ IMPACT(arXiv 2509.06953;作业说是 CoRL
2025,arXiv 页面只写了网站链接,<strong>会议归属未验证</strong>)</h4>
<p>来源:<a
href="https://arxiv.org/html/2509.06953">https://arxiv.org/html/2509.06953</a>
<strong>[原文]</strong></p>
<p><strong>是什么</strong>:IMPACT 是一个以点云为条件、带 action chunk
的 Transformer 策略,预训练数据是 cuRobo 生成的 1000
万条轨迹(§3.1)。随后做<strong>迭代师生微调</strong>(§3.2):teacher =
冻结的 IMPACT 输出 chunk 的第一个动作作为中间目标,交给 Geometric
Fabrics(用特权 SDF 的局部避障控制器)精修,得到 q_e,再用 q_e 监督
student。在 IsaacGym 里并行,每 1 万个梯度步用 student 替换 teacher 里的
base,循环往复。作者特意<strong>不用 cuRobo 当微调
teacher</strong>,因为每个仿真步、每个并行环境都调用规划器代价太高(§3.2)。运行时还叠加
DCP-RMP,处理动态障碍(§3.3)。</p>
<p><strong>关键数字</strong>:</p>
<ul>
<li>迭代师生微调让成功率比预训练提升 45%(§3.2,Tab.6)。Tab.1:Static
Environment 上 IMPACT 无微调 58.25 → 微调后
84.60;cuRobo(有特权信息)82.97。</li>
<li>网络:4.67M 参数,冷启动 3.48 ms,300 Hz(RTX 4090)。NeuralMP 加
TTO 是 20M 参数、2970 ms(App E,Tab.5)。</li>
<li>架构:6 层解码器、8 头、隐藏维 128、FF 1024,<strong>action chunk
10</strong>(Tab.7)。</li>
<li>消融:同数据同微调下,IMPACT 比 NeuralMP 的 LSTM-GMM 再高 9%(App
D,Tab.4)。</li>
</ul>
<p><strong>对我们的适配:采用其思路(离线 teacher 重标注 = 离线
DAgger)</strong></p>
<ul>
<li>规模几乎一模一样:4.67M 参数,与我们的 3–5M 吻合;chunk 10 与我们的
16 接近。</li>
<li>"teacher 只在离线用"完全符合我们的规则:在 policy
自己访问到的状态上(特别是近立柱、即将擦碰的状态),离线调用
teacher(我们现有的 planner,或
fabric/局部优化器)重标注,再蒸馏。这正面解决 BC 的协变量偏移。DRP
的失败分析也是"预训练策略经常小擦碰"(§3.2),和我们近立柱用例的症状一致。</li>
<li>多模态:如果 teacher 只做局部精修(fabric 或局部优化),就会保持
student
当前所在的绕行侧。<strong>不要用全局规划器重新规划去当标签</strong>:全局规划器可能把左侧状态标成右侧路线,破坏模式一致性(推断)。</li>
</ul>
<h4 id="a5-neural-mp-测试时优化arxiv-240905864">A5. Neural MP
测试时优化(arXiv 2409.05864)</h4>
<p>来源:<a
href="https://arxiv.org/html/2409.05864">https://arxiv.org/html/2409.05864</a>
<strong>[原文]</strong></p>
<p><strong>是什么</strong>:PointNet++ 加 LSTM 加 GMM 输出头,用 100
万到 300 万条
AIT*(经样条平滑)轨迹蒸馏。测试时假设障碍静止、控制器能精确跟踪,用线性前向模型从策略<strong>采样
N 条完整轨迹</strong>,用机器人 SDF
统计与场景点云的穿透,选穿透最少的那条执行(§III-C,Eq.,"selecting the
path with minimal objective value across 100 trajectories")。</p>
<p><strong>关键数字</strong>:</p>
<ul>
<li>真机无物体任务(Tab.I,§V):基础策略 66.67%(AIT*-80s 是
72.92%),加 TTO 达到 95.83%;规划时间从 1 s 增到 3 s。</li>
<li>手持物体:完整方法 81%,去掉 TTO 31%,去掉 Objaverse 数据
44%(§V)。</li>
<li>App VIII-C:Bins 场景的 100 条采样轨迹里有 25% 完全无碰撞,TTO
从中挑选;基础策略的失败多是"回归不精导致的轻微擦碰"。</li>
<li>数据缩放:1K 条 15%,10K 条 50%,100K 条 65%,1M 条 80%(§V
仿真)。</li>
<li>编码器大小 4M/8M/16M 参数对应 94%/93%/92%,最小的反而最好(App
IX)。GMM 比 L2/L1/PointMatch 分别高 7%/12%/24%。</li>
<li>DRP 的 Tab.5 给出 NeuralMP 加 TTO 的冷启动为 2970 ms。</li>
</ul>
<p><strong>对我们的适配:借鉴(视规则而定)</strong></p>
<ul>
<li>我们可以做轻量版:每次重规划时从生成式策略采样 K(例如 8–32)个 16
步
chunk,用<strong>解析胶囊距离</strong>打分(最小间隙、终端误差),选最优。浏览器端代价约为
K 次前向加 K×16×(连杆胶囊数) 次距离计算,50 Hz 下可承受(推断)。</li>
<li>这样还能<strong>保住多模态</strong>:采样覆盖左右两支,打分只剔除碰撞样本。</li>
<li><strong>需要你们判断</strong>:用解析距离做运行时评分是否算"运行时
planner"。它不调用 teacher,只是碰撞检查加 argmin;比 Neural MP 的整轨迹
TTO 轻得多。若规则不允许,就只在训练评估时使用,或者用它来生成 APG/RL
的困难用例。</li>
<li>局限:选择只发生在已采样的集合内。若 K 个样本全部撞柱,TTO
救不了;它是补丁而不是根治。</li>
</ul>
<h4 id="a6-apg-与-rl-在我们设定下的对比">A6. APG 与 RL
在我们设定下的对比</h4>
<table>
<thead>
<tr class="header">
<th>维度</th>
<th>APG(ELMP 式)</th>
<th>RL(DPPO / ReinFlow)</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>样本效率</td>
<td>很高:每条 rollout 都给出全参数的精确梯度。ELMP 用 1 万条示范加 APG
就超过 60 万条纯 BC(§IV-C)<strong>[原文]</strong></td>
<td>低:on-policy PPO,DPPO §7 自认低于 off-policy;ReinFlow §7 同样自认
<strong>[原文]</strong></td>
</tr>
<tr class="even">
<td>墙钟时间(单张 3090,我们的运动学仿真)</td>
<td>每步计算是"前向+反传 BPTT",显存随 H×batch 线性增长;预计数小时级
<strong>[未验证估计]</strong></td>
<td>仿真极便宜,可大规模并行;ReinFlow 比 DPPO 省 62.82% 墙钟时间
<strong>[原文]</strong>;整体预计与 APG 同量级或更慢
<strong>[未验证估计]</strong></td>
</tr>
<tr class="odd">
<td>稳定性</td>
<td>依赖 BC 初始化和梯度裁剪(ELMP
§IV-B);长展开有爆炸/消失和混沌损失面的风险(ELMP 引用 Metz 2021)</td>
<td>DPPO 和 ReinFlow 都报告微调稳定;对 clip
比例、噪声下限、噪声幅度敏感 <strong>[原文]</strong></td>
</tr>
<tr class="even">
<td>能处理的目标</td>
<td>只能处理<strong>可微</strong>的稠密代价:间隙铰链、终端位姿、平滑、路径长度</td>
<td>任意奖励,包括<strong>稀疏 0/1
成功</strong>和"零碰撞"这类不可微判据</td>
</tr>
<tr class="odd">
<td>跨同伦类</td>
<td>不能(局部梯度只侧推)<strong>[推断]</strong></td>
<td>可以,但前提是探索覆盖到另一模式(DPPO
的探索停在数据流形附近)<strong>[原文 §6]</strong></td>
</tr>
<tr class="even">
<td>多模态保持</td>
<td>每个样本在自己的模式内被推;风险是方差压缩、比例漂移
<strong>[推断]</strong></td>
<td>风险较大:会按奖励重塑模式(D3IL
实验)<strong>[原文]</strong>;需要模式平衡</td>
</tr>
<tr class="odd">
<td>主干要求</td>
<td>确定性策略最简单;扩散/flow 需对采样链做重参数化反传</td>
<td>需要随机策略:扩散用 DPPO,flow 用 ReinFlow</td>
</tr>
</tbody>
</table>
<p><strong>BPTT 时域问题小结</strong>:ELMP 只用了"BC 初始化 +
梯度范数裁剪 ≤1 + 混合精度 + lr 1e-4 指数衰减",展开 H=69
步就稳定了(§IV-B)<strong>[原文]</strong>。我们若按 chunk
展开、总控制步 150–300,可以加这些手段
<strong>[未验证,建议]</strong>:</p>
<ul>
<li>截断 BPTT(例如每 2–4 个 chunk detach 一次);</li>
<li>碰撞项按时间步加权,困难区间权重更高;</li>
<li>SHAC 式短窗口加学习的终端价值(ELMP §V 提及);</li>
<li>联合保留 BC 损失(权重逐步退火);</li>
<li>先短后长的课程(展开长度逐步增加)。</li>
</ul>
<p><strong>推荐流水线(推断)</strong>:BC 预训练(含左右两模式)→ 离线
teacher 重标注 / DAgger(A4)以及 cuRobo 式离线精修蒸馏(B10)→ APG
微调稠密代价(A1)→ 若困难用例仍未到 30/30,用 ReinFlow/DPPO
加模式平衡的稀疏成功奖励补尾巴(A2/A3)→(规则允许时)运行时 K
采样加解析距离挑选(A5)作为最后的安全网。</p>
<hr />
<h3 id="b-可能遗漏的范式">(B) 可能遗漏的范式</h3>
<h4
id="b1-cdf--configuration-space-distance-fields-for-manipulation-planningrss-2024arxiv-240601137">B1.
CDF — Configuration Space Distance Fields for Manipulation Planning(RSS
2024,arXiv 2406.01137)</h4>
<p>来源:<a
href="https://arxiv.org/html/2406.01137v1">https://arxiv.org/html/2406.01137v1</a>
<strong>[原文]</strong></p>
<p><strong>是什么</strong>:在关节空间定义距离场 f_c(p,q) = 从 q
到"使机器人表面接触点 p 的关节构型集合"的最小弧度距离。它满足关节空间的
eikonal 方程 ‖∇_q f_c‖=1(§III),因此一步梯度投影就能求出全身 IK。神经
CDF 用 MLP 拟合,损失 = 距离 + 梯度余弦 + eikonal + tension(§IV)。</p>
<p><strong>关键数字</strong>:</p>
<ul>
<li>Tab.I(Franka,RTX 3090):投影迭代 1/2 次时,MAE 4.99/1.64
cm,成功率 60.3%/87.8%;推理 0.49 ms,投影 0.71 ms 级。</li>
<li>Tab.II:CDF 在 10.6 ms 内得到 8773 个全身 IK 解;SDF 方法 971 ms
只有 3652 个;吞吐超过 70 万解/秒,快约 180 倍(§V)。</li>
<li>Tab.IV(7D 运动规划):QP-IPOPT 成功率 CDF 93% vs SDF 51%;Geometric
Fabrics 88% vs 74%;QP 控制器能跑 200 Hz 以上(§VI)。</li>
<li>局限(§VII):无符号;零水平集样本有限时近处不准。</li>
</ul>
<p><strong>对我们的适配:借鉴</strong></p>
<ul>
<li>立柱固定,可以<strong>离线</strong>为这根柱子求出 6-DOF
CDF(或训练一个小 MLP),用作: ① APG
的碰撞损失。关节空间梯度单位范数、方向一致,比"任务空间距离 × FK
雅可比"条件更好,可能缓解铰链损失的梯度消失和对称抵消(推断)。 ②
策略的额外输入特征(f_c 和 ∇_q f_c,共 7
维),直接告诉网络"往哪个关节方向离柱子最近"。</li>
<li>我们的解析胶囊距离已经精确,所以 CDF
用作<strong>辅助</strong>,不用作替代。</li>
</ul>
<h4
id="b2-rdf--representing-robot-geometry-as-distance-fieldsicra-2024arxiv-230700533摘要">B2.
RDF — Representing Robot Geometry as Distance Fields(ICRA 2024,arXiv
2307.00533)<strong>[摘要]</strong></h4>
<p>来源:<a
href="https://export.arxiv.org/api/query?id_list=2307.00533">https://export.arxiv.org/api/query?id_list=2307.00533</a>
用 Bernstein 多项式编码每个连杆的
SDF,再经运动学链组合成关节空间可查询的机器人
SDF,任务空间和关节空间都光滑可微。
<strong>否决</strong>:我们是胶囊几何加解析距离,已精确、可微,RDF
只是更精细的机器人网格表示,不带来新能力。</p>
<h4
id="b3-neural-jsdfkoptev-figueroa-billardra-l-2023doi-101109lra20223227860摘要检索摘录">B3.
Neural-JSDF(Koptev, Figueroa, Billard,RA-L 2023,DOI
10.1109/LRA.2022.3227860)<strong>[摘要/检索摘录]</strong></h4>
<p>来源:<a
href="https://doi.org/10.1109/lra.2022.3227860">https://doi.org/10.1109/lra.2022.3227860</a>
,代码 <a
href="https://github.com/epfl-lasa/Neural-JSDF">https://github.com/epfl-lasa/Neural-JSDF</a>
用神经网络学习关节空间隐式
SDF(机器人到点的距离),梯度给出关节空间排斥场。用于 QP-IK 时平均 250
Hz,用于采样式 MPC 时 92 Hz;分别比基线距离计算快 15% 和 40%(摘要)。
<strong>否决</strong>(作为替代):同上,我们有解析距离;而且它依赖运行时
QP/MPC 控制器。</p>
<h4 id="b4-td-mpc2iclr-2024arxiv-231016828">B4. TD-MPC2(ICLR
2024,arXiv 2310.16828)</h4>
<p>来源:<a
href="https://arxiv.org/html/2310.16828">https://arxiv.org/html/2310.16828</a>
<strong>[原文]</strong>
<strong>是什么</strong>:在隐式(无解码器)世界模型的潜空间里,用 MPPI
做局部轨迹优化,配 TD 学习的 Q 值和最大熵策略先验。
<strong>关键数字</strong>:</p>
<ul>
<li>104 个任务、单一超参(§1);多任务模型 1M–317M 参数,在单张 3090
上以 GPU·天计(Tab.1)。</li>
<li>基础 5M 模型中,Q 网络约 3.16M 参数(App)。</li>
<li>规划超参:H=3,6 次迭代,种群 512,策略先验样本 24,精英 64(App
超参表)。 <strong>否决</strong>:</li>
<li>我们的动力学(运动学积分)完全已知,学世界模型是多余的。</li>
<li>运行时 MPPI(512×6×H)在浏览器里跑 50 Hz 很重,而且本质上就是运行时
planner,违反规则。</li>
<li><strong>可借鉴的一点</strong>:学一个 V(q, goal) 作为 APG 截断 BPTT
的终端价值(SHAC 式)[未验证]。</li>
</ul>
<h4 id="b5-diffusion-forcingarxiv-240701392">B5. Diffusion
Forcing(arXiv 2407.01392)</h4>
<p>来源:<a
href="https://arxiv.org/html/2407.01392">https://arxiv.org/html/2407.01392</a>
<strong>[原文]</strong> <strong>是什么</strong>:对每个 token
使用独立的噪声水平做扩散训练,用因果模型实现"next-token +
全序列扩散"的混合。支持变长 rollout、长时域引导,以及 Monte Carlo
Guidance(MCG,对多条未来样本平均引导梯度)(§3)。
<strong>证据</strong>:D4RL 2D 迷宫的 6 个环境全部超过
Diffuser(§4.2,Tab.1);真机实验是需要记忆的水果换位任务(§4.4)。
<strong>否决</strong>:它的长处(长序列稳定、记忆、部分可观测)我们用不上:16
步 chunk、低维、完全可观测。引导采样需要运行时代价梯度,性质上接近 A5
的运行时评分,规则同样存疑。</p>
<h4 id="b6-bet--vq-betarxiv-220611251--240303181">B6. BeT /
VQ-BeT(arXiv 2206.11251 / 2403.03181)</h4>
<p>来源:<a
href="https://export.arxiv.org/api/query?id_list=2206.11251">https://export.arxiv.org/api/query?id_list=2206.11251</a>
<strong>[摘要]</strong> ;<a
href="https://arxiv.org/html/2403.03181">https://arxiv.org/html/2403.03181</a>
<strong>[原文]</strong> <strong>是什么</strong>:BeT 用 k-means
把动作离散化,Transformer 预测类别加连续偏移。VQ-BeT 用残差 VQ-VAE
对<strong>动作 chunk</strong>
分层离散化,主码做粗聚类、次码做细节(§3.2,N_q=2 已足够),再用 GPT
式模型预测码和偏移。 <strong>证据</strong>:无条件生成任务中 5/7
个环境超过 BC、BeT 和 Diffusion Policy(§1);条件任务中除 BlockPush
外全部最优(§4);用熵指标衡量模式覆盖(§4)。
<strong>借鉴</strong>:左/右绕行就是一个天然的二值模式。可以设计<strong>显式离散模式
token</strong>(左/右,或 VQ 主码)加连续残差头。好处有三:</p>
<ul>
<li>多模态由结构保证,而不是靠采样运气;</li>
<li>RL 微调时可以在模式条件下分别优化,避免塌缩;</li>
<li>APG 可以只穿过连续残差头反传(VQ 码不可微,需要
straight-through,[未验证])。 推理是单次前向,适合浏览器。</li>
</ul>
<h4 id="b7-ibc--implicit-behavioral-cloningarxiv-210900137">B7. IBC —
Implicit Behavioral Cloning(arXiv 2109.00137)</h4>
<p>来源:<a
href="https://arxiv.org/html/2109.00137">https://arxiv.org/html/2109.00137</a>
<strong>[原文]</strong> 用 InfoNCE
训练能量模型,推理时用无导数优化、Langevin 或自回归方法求 argmin
动作。能表示不连续、多值的函数(§2–3)。 <strong>否决</strong>:原文 App
B.1 写明 DFO 推理"适合 y 不超过 5 维",高维需要自回归或梯度法。我们的
chunk 是 16×6=96 维,推理需要迭代优化,浏览器 50 Hz
不现实;训练需要大量负样本(批 512、每个 256 个反例),也不稳定。</p>
<h4
id="b8-mamba--ssm-策略mail-arxiv-240608234mamba-policy-arxiv-240907163iros-2025">B8.
Mamba / SSM 策略(MaIL arXiv 2406.08234;Mamba Policy arXiv
2409.07163,IROS 2025)</h4>
<p>来源:<a
href="https://arxiv.org/html/2409.07163">https://arxiv.org/html/2409.07163</a>
<strong>[原文]</strong>,<a
href="https://export.arxiv.org/api/query?id_list=2406.08234">https://export.arxiv.org/api/query?id_list=2406.08234</a>
<strong>[摘要]</strong></p>
<ul>
<li>Mamba Policy:在 DP3 的 3D 扩散策略里替换 UNet 主干,参数量减少 80%
以上,FLOPs 最多省 90%,成功率最多高 5%(§1,Fig.1)。</li>
<li>MaIL:在 LIBERO 小数据设置下优于 Transformer(摘要)。
<strong>否决</strong>:收益来自"压缩大视觉/3D
主干"和"长历史建模",我们的低维、短历史设定里 MLP/小 Transformer
已足够。浏览器端(ONNX/WebGPU)对选择性扫描算子的支持<strong>未验证</strong>,存在部署风险。</li>
</ul>
<h4 id="b9-geometric-fabrics--rmpflow--学习组件">B9. Geometric Fabrics /
RMPflow + 学习组件</h4>
<p>来源:RMPflow <a
href="https://export.arxiv.org/api/query?id_list=1811.07049">https://export.arxiv.org/api/query?id_list=1811.07049</a>
<strong>[摘要]</strong>;Geometric Fabrics <a
href="https://export.arxiv.org/api/query?id_list=2109.10443">https://export.arxiv.org/api/query?id_list=2109.10443</a>
<strong>[摘要]</strong>;Fabric-Guided Policy <a
href="https://arxiv.org/html/2405.02250v1">https://arxiv.org/html/2405.02250v1</a>
<strong>[原文,部分]</strong>;Neural Geometric Fabrics <a
href="https://proceedings.mlr.press/v205/xie23a.html">https://proceedings.mlr.press/v205/xie23a.html</a>
<strong>[摘要]</strong>;DRP(A4)<strong>[原文]</strong></p>
<ul>
<li>Geometric Fabrics
是可证明稳定的二阶"行为动力学",由多个几何项(避障、关节限位等)组合而成。</li>
<li>NGF(CoRL 2022)从示范中学习 fabric 的项,在 23-DoF 手臂系统上超过
RMP 和前馈/循环网络 40–100%。</li>
<li>2405.02250 让 RL 策略输出到 fabric 层,说明 fabric
能保证平滑和安全,并"移除动作和速度惩罚",从而简化奖励(§V)。</li>
<li>单独用局部反应式方法会陷入局部极小:DRP §1 和 ELMP §I
都这样指出;CDF Tab.IV 中 fabric 在 7D 上为 88%/74%。DRP
把"策略+fabric"作为<strong>离线 teacher</strong>,带来 +45%(A4)。</li>
</ul>
<p><strong>借鉴</strong>:</p>
<ul>
<li>首选:作为 A4 的离线局部 teacher(输入策略的中间目标,fabric
用解析胶囊距离精修,再蒸馏)。</li>
<li>若规则允许"反应式安全层"(它不是
planner,只是控制律),可以在运行时加一个极薄的 fabric/RMP
避障项作安全网。是否允许由你们决定。</li>
</ul>
<h4 id="b10-curobo-式-gpu-轨迹优化作为自监督精修器arxiv-231017274">B10.
cuRobo 式 GPU 轨迹优化作为<strong>自监督精修器</strong>(arXiv
2310.17274)</h4>
<p>来源:<a
href="https://arxiv.org/html/2310.17274">https://arxiv.org/html/2310.17274</a>
<strong>[原文]</strong> <strong>是什么</strong>:GPU 批量 L-BFGS
加近似并行线搜索,再加粒子优化初始化(§4),配合几何规划器做种子。
<strong>关键数字</strong>:</p>
<ul>
<li>全局运动生成平均 50 ms 内完成,比 Tesseract 快 60
倍(§1);几何规划器 20 ms(RTX 4090 + Ryzen 9 7950X)。</li>
<li>在 2600 道 MotionBenchMaker/MπNets 题上成功率 99.8%,只失败 5
道(§7,Fig.6)。</li>
</ul>
<p><strong>采用(离线)</strong>:把策略自己的
rollout(覆盖左右两支)作为初值,用批量 L-BFGS
在解析胶囊代价(间隙铰链、终端、平滑/最小
jerk)上做局部精修,得到同一同伦类内无碰撞、更平滑的轨迹,再回灌做
BC/蒸馏("self-improvement")。好处:</p>
<ul>
<li>不需要全局规划器,离线使用符合规则;</li>
<li>初值来自策略,<strong>保持绕行侧</strong>,天然保住左右多模态(推断);</li>
<li>和 APG 互补:APG
是"在参数空间做梯度",精修是"在轨迹空间做梯度再蒸馏"。后者每条轨迹可以迭代很多步而没有
BPTT 爆炸问题,对近立柱困难用例更稳(推断)。</li>
</ul>
<p>我们的问题只有 6 维、一根柱子,不需要 cuRobo 本体,用 PyTorch
自己写一个批量 L-BFGS 或 Adam 轨迹优化即可 [未验证工作量估计]。</p>
<hr />
<h3 id="未能确认--需注意">未能确认 / 需注意</h3>
<ul>
<li>DRP 的会议归属(CoRL 2025)未在 arXiv 元数据里确认。</li>
<li>ELMP 是否在 APG 阶段联合保留 BC 损失:原文 Alg.1 没有,所以"保留 BC
锚点"属于我们的建议。</li>
<li>所有"单卡 3090 可行""墙钟数小时""浏览器 K
采样可承受"都是基于模型规模的推断,没有实测。</li>
<li>Neural-JSDF 只核对了摘要;RDF、BeT、RMPflow、Geometric
Fabrics、NGF、MaIL 只核对了摘要。</li>
<li>"运行时用解析距离做采样评分或反应式安全层"是否违反"运行时不得有
teacher/planner",需要项目方裁定。A5、B5、B9 的结论都依赖这个裁定。</li>
</ul>
</body>
</html>