docs(训练方案 v2.2): 前沿生成式策略调研;动作头升级为一步流匹配(OFP/MeanFlow)+碰撞代价引导+前缀条件+B样条,WTA 保留为基线;可选 ReinFlow 阶段
This commit is contained in:
@@ -4,7 +4,7 @@
|
||||
<meta charset="utf-8" />
|
||||
<meta name="generator" content="pandoc" />
|
||||
<meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=yes" />
|
||||
<title>Transformer 避障运动策略:无老师闭环部署方案(v2.1)</title>
|
||||
<title>Transformer 避障运动策略:无老师闭环部署方案(v2.2)</title>
|
||||
<style>
|
||||
html {
|
||||
color: #1a1a1a;
|
||||
@@ -253,9 +253,9 @@
|
||||
<body>
|
||||
<nav id="TOC" role="doc-toc">
|
||||
<ul>
|
||||
<li><a href="#transformer-避障运动策略无老师闭环部署方案审查稿-v2"
|
||||
id="toc-transformer-避障运动策略无老师闭环部署方案审查稿-v2">Transformer
|
||||
避障运动策略:无老师闭环部署方案(审查稿 v2)</a>
|
||||
<li><a href="#transformer-避障运动策略无老师闭环部署方案审查稿-v22"
|
||||
id="toc-transformer-避障运动策略无老师闭环部署方案审查稿-v22">Transformer
|
||||
避障运动策略:无老师闭环部署方案(审查稿 v2.2)</a>
|
||||
<ul>
|
||||
<li><a href="#0-定位与边界" id="toc-0-定位与边界">0. 定位与边界</a></li>
|
||||
<li><a href="#1-业界调研具身智能里的神经运动规划"
|
||||
@@ -290,8 +290,9 @@ id="toc-7-第四步后训练无老师为主">7.
|
||||
</ul></li>
|
||||
</ul>
|
||||
</nav>
|
||||
<h1 id="transformer-避障运动策略无老师闭环部署方案审查稿-v2">Transformer
|
||||
避障运动策略:无老师闭环部署方案(审查稿 v2)</h1>
|
||||
<h1
|
||||
id="transformer-避障运动策略无老师闭环部署方案审查稿-v22">Transformer
|
||||
避障运动策略:无老师闭环部署方案(审查稿 v2.2)</h1>
|
||||
<blockquote>
|
||||
<ul>
|
||||
<li>v1(2026-10-17 20:06,<code>40af3b4</code>):模型一次生成整条 32
|
||||
@@ -303,6 +304,12 @@ id="toc-7-第四步后训练无老师为主">7.
|
||||
<li>v2.1(2026-10-17 20:58):训练机定为 RTX 3090 24 GB;near_column
|
||||
验收改为 <strong>30/30</strong>,新增 §8.5「为什么会超时、无老师怎样做到
|
||||
30/30」;新增 §8.6 控制周期业界调研与评估。</li>
|
||||
<li>v2.2(2026-10-17 21:10):调研 2024–2026
|
||||
前沿生成式策略(流匹配/MeanFlow 一步生成、实时动作块
|
||||
RTC、代价引导扩散规划、流策略强化学习微调、π0.5/FAST
|
||||
等),逐项判断是否适用,新增
|
||||
§2.4,并据此把动作头升级为<strong>一步流匹配头 + 碰撞代价引导 +
|
||||
前缀条件</strong>(§6.1A)。</li>
|
||||
<li>基于
|
||||
<code>main@3c7c814</code>(贴立柱修复后的规划器)。本文只是方案,代码尚未编写。</li>
|
||||
<li>审查重点:§0 定位、§2 差异与优化、§5 输出表示、§7 后训练(APG)、§8
|
||||
@@ -590,6 +597,95 @@ APG</strong>(可微胶囊碰撞),挖错循环保留但不再需要老师
|
||||
<li><strong>数据便宜</strong>:环境固定,老师离线 5 万条在沙箱约 5
|
||||
小时即可,不需要集群。</li>
|
||||
</ol>
|
||||
<h3 id="24-20242026-前沿生成式策略逐项评估v22">2.4 2024–2026
|
||||
前沿生成式策略逐项评估(v2.2)</h3>
|
||||
<p>用户问:"能不能用更先进的大模型算法?"先说结论:<strong>大模型本身(VLA,30
|
||||
亿参数级)不适合这个任务</strong>,但它们背后的几项<strong>动作生成技术</strong>很适合,而且能直接解决我们
|
||||
v2 的三个弱点:K=4
|
||||
固定模式太粗、动作块拼接处有顿挫、贴柱难例要靠规则兜底。</p>
|
||||
<table>
|
||||
<thead>
|
||||
<tr class="header">
|
||||
<th>技术(代表工作)</th>
|
||||
<th>核心做法</th>
|
||||
<th>公开结果</th>
|
||||
<th>用在我们这里?</th>
|
||||
</tr>
|
||||
</thead>
|
||||
<tbody>
|
||||
<tr class="odd">
|
||||
<td><strong>流匹配动作头</strong>(π0 / π0.5 action
|
||||
expert,2024–25)</td>
|
||||
<td>用流匹配从噪声生成连续动作块,天然多模态</td>
|
||||
<td>π0 以 50 Hz 输出 50 步动作块</td>
|
||||
<td>✅ <strong>采纳</strong>,替换 K=4 WTA 头:不再只有 4
|
||||
个固定"模式",左绕/右绕/上绕及其细分都能表达</td>
|
||||
</tr>
|
||||
<tr class="even">
|
||||
<td><strong>一步生成</strong>:MeanFlow(MP1,AAAI
|
||||
2026)、OFP(2026)、条件 OT 耦合(CoRL 2025)、Consistency Policy /
|
||||
OneDP</td>
|
||||
<td>学"平均速度场"或自蒸馏,1 次前向就出动作,不需迭代去噪</td>
|
||||
<td>MP1 推理约 6.8 ms;OFP 一步超过 100 步扩散,并在 π0.5 上一步胜过原
|
||||
10 步;OneDP 1.5 Hz → 62 Hz</td>
|
||||
<td>✅ <strong>采纳 OFP/MeanFlow</strong>:OFP
|
||||
从零自蒸馏,<strong>不需要预训练老师模型</strong>,与"无老师"原则一致;推理仍是
|
||||
1–2 次前向</td>
|
||||
</tr>
|
||||
<tr class="odd">
|
||||
<td><strong>代价引导采样</strong>(MPD、EDMP、GPD,2023–25)</td>
|
||||
<td>采样过程中加入碰撞代价梯度,把轨迹推离障碍</td>
|
||||
<td>MPD/EDMP 引导显著提高成功率;GPD 约 0.8 s</td>
|
||||
<td>✅ <strong>采纳,但只在 1–2
|
||||
步内做</strong>:我们已有可微胶囊距离(APG
|
||||
要用),在去噪最后一步加一次梯度修正,几乎零额外训练成本。不采纳整条轨迹扩散(MPD
|
||||
约 1 s,太慢)</td>
|
||||
</tr>
|
||||
<tr class="even">
|
||||
<td><strong>扩散种子 + 优化</strong>(DiffusionSeeder + cuRobo,CoRL
|
||||
2024)</td>
|
||||
<td>扩散给初值,GPU 轨迹优化几轮</td>
|
||||
<td>真机规划 26 ms,比 cuRobo 成功率高 51%</td>
|
||||
<td>⚠️ 部分采纳:只保留"对已生成动作块做 2–3
|
||||
次局部梯度修正",不引入全局轨迹优化器(那等于又加回一个老师)</td>
|
||||
</tr>
|
||||
<tr class="odd">
|
||||
<td><strong>实时动作块执行 RTC</strong>(Black 等,NeurIPS 2025)</td>
|
||||
<td>生成新动作块时,把已提交但未执行的动作当作"已知前缀"补全,异步推理不卡顿</td>
|
||||
<td>解决动作块拼接处的停顿与跳变</td>
|
||||
<td>✅ <strong>采纳</strong>:以"已提交的 3 步"为前缀条件生成新块,替代
|
||||
v2 的时间集成;推理偶发超时也不会顿挫</td>
|
||||
</tr>
|
||||
<tr class="even">
|
||||
<td><strong>流/扩散策略的强化学习微调</strong>(DPPO,ICLR
|
||||
2025;ReinFlow,NeurIPS 2025)</td>
|
||||
<td>在仿真里用 PPO 类方法微调生成式策略</td>
|
||||
<td>ReinFlow 在操作任务上成功率平均提升 40%,可在 1–4 步去噪下微调,比
|
||||
DPPO 省 60%+ 时间</td>
|
||||
<td>✅ <strong>采纳为第三阶段(可选)</strong>:APG
|
||||
擅长连续可微目标;"到达/卡死/安全层刹停次数"这类离散目标交给
|
||||
ReinFlow。仿真就是我们的 GPU 批量 FK + 胶囊检测,3090 上可跑</td>
|
||||
</tr>
|
||||
<tr class="odd">
|
||||
<td><strong>FAST 动作分词 / π0.5 知识隔离</strong>(2025)</td>
|
||||
<td>DCT 压缩动作块成离散 token,供大语言模型骨干学习</td>
|
||||
<td>FAST 训练提速最多 5 倍</td>
|
||||
<td>❌ 分词本身不采纳(为语言大模型服务,自回归推理慢);⚠️
|
||||
借鉴"频域/样条表示":动作块改用 <strong>B
|
||||
样条控制点</strong>输出,平滑性由表示保证</td>
|
||||
</tr>
|
||||
<tr class="even">
|
||||
<td><strong>VLA 大模型</strong>(π0/π0.5、GR00T、OpenVLA)</td>
|
||||
<td>视觉语言骨干 + 动作专家</td>
|
||||
<td>3B 模型单次预填充 46 ms(4090)</td>
|
||||
<td>❌ 不采纳:我们没有图像、没有语言指令,环境固定精确;30
|
||||
亿参数只会更慢,不会更准</td>
|
||||
</tr>
|
||||
</tbody>
|
||||
</table>
|
||||
<p><strong>结论:v2.2 采纳"一步流匹配头 + 碰撞代价引导 + 前缀条件 + B
|
||||
样条表示 + 可选 ReinFlow"。</strong> 这正是 π0.5、MP1/OFP、MPD、RTC
|
||||
这几条前沿线在"低维状态、精确几何、实时控制"场景下的组合,规模仍然是几百万参数。</p>
|
||||
<hr />
|
||||
<h2 id="3-训练环境">3. 训练环境</h2>
|
||||
<table>
|
||||
@@ -862,6 +958,61 @@ K×16 个可学习动作 token ──▶ 4 层 Transformer decoder(非自回
|
||||
</tr>
|
||||
</tbody>
|
||||
</table>
|
||||
<h3 id="61a-v22-动作头升级一步流匹配默认与-wta基线">6.1A v2.2
|
||||
动作头升级:一步流匹配(默认)与 WTA(基线)</h3>
|
||||
<table>
|
||||
<thead>
|
||||
<tr class="header">
|
||||
<th></th>
|
||||
<th>v2 WTA 头(保留为基线)</th>
|
||||
<th><strong>v2.2 一步流匹配头(默认)</strong></th>
|
||||
</tr>
|
||||
</thead>
|
||||
<tbody>
|
||||
<tr class="odd">
|
||||
<td>多模态</td>
|
||||
<td>固定 K=4 个模式</td>
|
||||
<td>连续分布;每周期并行采 K=8 个噪声 → 8 条候选</td>
|
||||
</tr>
|
||||
<tr class="even">
|
||||
<td>训练</td>
|
||||
<td>WTA-L1 + 模式 CE</td>
|
||||
<td>OFP 自蒸馏(或 MeanFlow),从零训练,无需预训练老师模型</td>
|
||||
</tr>
|
||||
<tr class="odd">
|
||||
<td>输出</td>
|
||||
<td>16 步 Δq</td>
|
||||
<td><strong>B 样条</strong>:6 个控制点 × 6 关节,再采样成 16
|
||||
步;自带平滑</td>
|
||||
</tr>
|
||||
<tr class="even">
|
||||
<td>前缀条件</td>
|
||||
<td>无,靠时间集成</td>
|
||||
<td>输入"已提交前 3 步",新块从前缀接着走(RTC 思路)</td>
|
||||
</tr>
|
||||
<tr class="odd">
|
||||
<td>碰撞引导</td>
|
||||
<td>无</td>
|
||||
<td>最后一步加一次可微胶囊距离梯度修正:a ← a + η·∇d_capsule(d <
|
||||
安全距离时)</td>
|
||||
</tr>
|
||||
<tr class="even">
|
||||
<td>推理成本</td>
|
||||
<td>1 次前向</td>
|
||||
<td>1–2 次前向 + 1 次解析梯度(JS 实现,不走 ONNX)</td>
|
||||
</tr>
|
||||
<tr class="odd">
|
||||
<td>APG 兼容</td>
|
||||
<td>✅</td>
|
||||
<td>✅(固定噪声后生成器是确定性可微映射)</td>
|
||||
</tr>
|
||||
</tbody>
|
||||
</table>
|
||||
<p>模式粘滞改为"噪声粘滞":上一周期选中候选的噪声向量保留下来,本周期作为
|
||||
8
|
||||
个噪声之一,相邻周期自然延续同一绕行方向。子目标头、价值头(§8.5)保持不变。</p>
|
||||
<p>M4 同时实现两种头,M5 预训练后在 near_column + held-out 上
|
||||
A/B;若一步流匹配不优于 WTA,回退 WTA(风险可控)。</p>
|
||||
<h3 id="62-预训练损失">6.2 预训练损失</h3>
|
||||
<pre><code>L = WTA-L1(动作块, 最近模式) 权重 1.0
|
||||
+ CE(模式分类) 权重 0.5
|
||||
@@ -1400,13 +1551,20 @@ tests/policy_bench.cjs</code></pre>
|
||||
<td><strong>用户 GPU</strong></td>
|
||||
</tr>
|
||||
<tr class="odd">
|
||||
<td>M6b</td>
|
||||
<td>(可选)ReinFlow 强化学习微调:奖励 = 到达 − 刹停次数 − 卡死 −
|
||||
用时</td>
|
||||
<td>对比 M6</td>
|
||||
<td><strong>用户 GPU</strong></td>
|
||||
</tr>
|
||||
<tr class="even">
|
||||
<td>M7</td>
|
||||
<td>导出 ONNX + <code>ik-policy.js</code> 闭环部署 + 安全层实测 +
|
||||
<code>policy_bench</code></td>
|
||||
<td>对比表</td>
|
||||
<td>沙箱 + 浏览器</td>
|
||||
</tr>
|
||||
<tr class="even">
|
||||
<tr class="odd">
|
||||
<td>M8</td>
|
||||
<td>移除查看器里对
|
||||
<code>solveDyn</code>/<code>routeRT</code>/路网的运行时依赖(保留在
|
||||
@@ -1446,6 +1604,38 @@ href="https://arxiv.org/abs/2303.04137">https://arxiv.org/abs/2303.04137</a>
|
||||
href="https://arxiv.org/abs/2410.24164">https://arxiv.org/abs/2410.24164</a>
|
||||
;实时动作块执行 <a
|
||||
href="https://arxiv.org/abs/2506.07339">https://arxiv.org/abs/2506.07339</a></li>
|
||||
<li>前沿生成式策略(v2.2):π0 <a
|
||||
href="https://arxiv.org/abs/2410.24164">https://arxiv.org/abs/2410.24164</a>
|
||||
;π0.5 <a
|
||||
href="https://arxiv.org/abs/2504.16054">https://arxiv.org/abs/2504.16054</a>
|
||||
;知识隔离 <a
|
||||
href="https://arxiv.org/abs/2505.23705">https://arxiv.org/abs/2505.23705</a>
|
||||
;FAST <a
|
||||
href="https://arxiv.org/abs/2501.09747">https://arxiv.org/abs/2501.09747</a>
|
||||
;MP1 <a
|
||||
href="https://arxiv.org/abs/2507.10543">https://arxiv.org/abs/2507.10543</a>
|
||||
;OFP <a
|
||||
href="https://arxiv.org/abs/2603.12480">https://arxiv.org/abs/2603.12480</a>
|
||||
;条件 OT 流策略 <a
|
||||
href="https://proceedings.mlr.press/v305/sochopoulos25a.html">https://proceedings.mlr.press/v305/sochopoulos25a.html</a>
|
||||
;Consistency Policy <a
|
||||
href="https://arxiv.org/abs/2405.07503">https://arxiv.org/abs/2405.07503</a>
|
||||
;OneDP <a
|
||||
href="https://proceedings.mlr.press/v267/wang25ba.html">https://proceedings.mlr.press/v267/wang25ba.html</a>
|
||||
;MPD <a
|
||||
href="https://arxiv.org/abs/2308.01557">https://arxiv.org/abs/2308.01557</a>
|
||||
;EDMP <a
|
||||
href="https://arxiv.org/abs/2309.11414">https://arxiv.org/abs/2309.11414</a>
|
||||
;GPD <a
|
||||
href="https://arxiv.org/abs/2501.18229">https://arxiv.org/abs/2501.18229</a>
|
||||
;DiffusionSeeder <a
|
||||
href="https://arxiv.org/abs/2410.16727">https://arxiv.org/abs/2410.16727</a>
|
||||
;RTC <a
|
||||
href="https://arxiv.org/abs/2506.07339">https://arxiv.org/abs/2506.07339</a>
|
||||
;DPPO <a
|
||||
href="https://arxiv.org/abs/2409.00588">https://arxiv.org/abs/2409.00588</a>
|
||||
;ReinFlow <a
|
||||
href="https://arxiv.org/abs/2505.22094">https://arxiv.org/abs/2505.22094</a></li>
|
||||
<li>Ross, Gordon, Bagnell, <em>A Reduction of Imitation Learning and
|
||||
Structured Prediction to No-Regret Online
|
||||
Learning</em>(DAgger),AISTATS 2011</li>
|
||||
|
||||
@@ -1,10 +1,11 @@
|
||||
# Transformer 避障运动策略:无老师闭环部署方案(审查稿 v2)
|
||||
# Transformer 避障运动策略:无老师闭环部署方案(审查稿 v2.2)
|
||||
|
||||
> - v1(2026-10-17 20:06,`40af3b4`):模型一次生成整条 32 点路径,失败回落到原规划器("有老师部署")。
|
||||
> - v1.1(20:25,`c51f8f9`):加入后训练挖错循环。
|
||||
> - **v2(本稿)**:按用户决定改为 **无老师部署 + 每个控制周期重算(闭环)**,删除全部"回落原规划器"设计;
|
||||
> 加入具身智能领域主流做法的调研与对比(§1–§2),并据此调整模型输出、后训练方法和验收标准。
|
||||
> - v2.1(2026-10-17 20:58):训练机定为 RTX 3090 24 GB;near_column 验收改为 **30/30**,新增 §8.5「为什么会超时、无老师怎样做到 30/30」;新增 §8.6 控制周期业界调研与评估。
|
||||
> - v2.2(2026-10-17 21:10):调研 2024–2026 前沿生成式策略(流匹配/MeanFlow 一步生成、实时动作块 RTC、代价引导扩散规划、流策略强化学习微调、π0.5/FAST 等),逐项判断是否适用,新增 §2.4,并据此把动作头升级为**一步流匹配头 + 碰撞代价引导 + 前缀条件**(§6.1A)。
|
||||
> - 基于 `main@3c7c814`(贴立柱修复后的规划器)。本文只是方案,代码尚未编写。
|
||||
> - 审查重点:§0 定位、§2 差异与优化、§5 输出表示、§7 后训练(APG)、§8 闭环部署与安全层、§9 验收。
|
||||
|
||||
@@ -87,6 +88,23 @@
|
||||
4. **APG 损失直接用我们的胶囊距离**(`segSegDist` 的可微版本),训练和部署检查同一套几何,消除"训练用球、检查用网格"的口径差(ELMP 的做法有这个差)。
|
||||
5. **数据便宜**:环境固定,老师离线 5 万条在沙箱约 5 小时即可,不需要集群。
|
||||
|
||||
### 2.4 2024–2026 前沿生成式策略逐项评估(v2.2)
|
||||
|
||||
用户问:"能不能用更先进的大模型算法?"先说结论:**大模型本身(VLA,30 亿参数级)不适合这个任务**,但它们背后的几项**动作生成技术**很适合,而且能直接解决我们 v2 的三个弱点:K=4 固定模式太粗、动作块拼接处有顿挫、贴柱难例要靠规则兜底。
|
||||
|
||||
| 技术(代表工作) | 核心做法 | 公开结果 | 用在我们这里? |
|
||||
|---|---|---|---|
|
||||
| **流匹配动作头**(π0 / π0.5 action expert,2024–25) | 用流匹配从噪声生成连续动作块,天然多模态 | π0 以 50 Hz 输出 50 步动作块 | ✅ **采纳**,替换 K=4 WTA 头:不再只有 4 个固定"模式",左绕/右绕/上绕及其细分都能表达 |
|
||||
| **一步生成**:MeanFlow(MP1,AAAI 2026)、OFP(2026)、条件 OT 耦合(CoRL 2025)、Consistency Policy / OneDP | 学"平均速度场"或自蒸馏,1 次前向就出动作,不需迭代去噪 | MP1 推理约 6.8 ms;OFP 一步超过 100 步扩散,并在 π0.5 上一步胜过原 10 步;OneDP 1.5 Hz → 62 Hz | ✅ **采纳 OFP/MeanFlow**:OFP 从零自蒸馏,**不需要预训练老师模型**,与"无老师"原则一致;推理仍是 1–2 次前向 |
|
||||
| **代价引导采样**(MPD、EDMP、GPD,2023–25) | 采样过程中加入碰撞代价梯度,把轨迹推离障碍 | MPD/EDMP 引导显著提高成功率;GPD 约 0.8 s | ✅ **采纳,但只在 1–2 步内做**:我们已有可微胶囊距离(APG 要用),在去噪最后一步加一次梯度修正,几乎零额外训练成本。不采纳整条轨迹扩散(MPD 约 1 s,太慢) |
|
||||
| **扩散种子 + 优化**(DiffusionSeeder + cuRobo,CoRL 2024) | 扩散给初值,GPU 轨迹优化几轮 | 真机规划 26 ms,比 cuRobo 成功率高 51% | ⚠️ 部分采纳:只保留"对已生成动作块做 2–3 次局部梯度修正",不引入全局轨迹优化器(那等于又加回一个老师) |
|
||||
| **实时动作块执行 RTC**(Black 等,NeurIPS 2025) | 生成新动作块时,把已提交但未执行的动作当作"已知前缀"补全,异步推理不卡顿 | 解决动作块拼接处的停顿与跳变 | ✅ **采纳**:以"已提交的 3 步"为前缀条件生成新块,替代 v2 的时间集成;推理偶发超时也不会顿挫 |
|
||||
| **流/扩散策略的强化学习微调**(DPPO,ICLR 2025;ReinFlow,NeurIPS 2025) | 在仿真里用 PPO 类方法微调生成式策略 | ReinFlow 在操作任务上成功率平均提升 40%,可在 1–4 步去噪下微调,比 DPPO 省 60%+ 时间 | ✅ **采纳为第三阶段(可选)**:APG 擅长连续可微目标;"到达/卡死/安全层刹停次数"这类离散目标交给 ReinFlow。仿真就是我们的 GPU 批量 FK + 胶囊检测,3090 上可跑 |
|
||||
| **FAST 动作分词 / π0.5 知识隔离**(2025) | DCT 压缩动作块成离散 token,供大语言模型骨干学习 | FAST 训练提速最多 5 倍 | ❌ 分词本身不采纳(为语言大模型服务,自回归推理慢);⚠️ 借鉴"频域/样条表示":动作块改用 **B 样条控制点**输出,平滑性由表示保证 |
|
||||
| **VLA 大模型**(π0/π0.5、GR00T、OpenVLA) | 视觉语言骨干 + 动作专家 | 3B 模型单次预填充 46 ms(4090) | ❌ 不采纳:我们没有图像、没有语言指令,环境固定精确;30 亿参数只会更慢,不会更准 |
|
||||
|
||||
**结论:v2.2 采纳"一步流匹配头 + 碰撞代价引导 + 前缀条件 + B 样条表示 + 可选 ReinFlow"。** 这正是 π0.5、MP1/OFP、MPD、RTC 这几条前沿线在"低维状态、精确几何、实时控制"场景下的组合,规模仍然是几百万参数。
|
||||
|
||||
---
|
||||
|
||||
## 3. 训练环境
|
||||
@@ -229,6 +247,23 @@ K×16 个可学习动作 token ──▶ 4 层 Transformer decoder(非自回
|
||||
| 参数量 | 约 3–4 M(DRP 为 4.67 M,含点云编码) |
|
||||
| 推理 | 一次前向得到 4 条候选动作块 |
|
||||
|
||||
|
||||
### 6.1A v2.2 动作头升级:一步流匹配(默认)与 WTA(基线)
|
||||
|
||||
| | v2 WTA 头(保留为基线) | **v2.2 一步流匹配头(默认)** |
|
||||
|---|---|---|
|
||||
| 多模态 | 固定 K=4 个模式 | 连续分布;每周期并行采 K=8 个噪声 → 8 条候选 |
|
||||
| 训练 | WTA-L1 + 模式 CE | OFP 自蒸馏(或 MeanFlow),从零训练,无需预训练老师模型 |
|
||||
| 输出 | 16 步 Δq | **B 样条**:6 个控制点 × 6 关节,再采样成 16 步;自带平滑 |
|
||||
| 前缀条件 | 无,靠时间集成 | 输入"已提交前 3 步",新块从前缀接着走(RTC 思路) |
|
||||
| 碰撞引导 | 无 | 最后一步加一次可微胶囊距离梯度修正:a ← a + η·∇d_capsule(d < 安全距离时) |
|
||||
| 推理成本 | 1 次前向 | 1–2 次前向 + 1 次解析梯度(JS 实现,不走 ONNX) |
|
||||
| APG 兼容 | ✅ | ✅(固定噪声后生成器是确定性可微映射) |
|
||||
|
||||
模式粘滞改为"噪声粘滞":上一周期选中候选的噪声向量保留下来,本周期作为 8 个噪声之一,相邻周期自然延续同一绕行方向。子目标头、价值头(§8.5)保持不变。
|
||||
|
||||
M4 同时实现两种头,M5 预训练后在 near_column + held-out 上 A/B;若一步流匹配不优于 WTA,回退 WTA(风险可控)。
|
||||
|
||||
### 6.2 预训练损失
|
||||
|
||||
```
|
||||
@@ -474,6 +509,7 @@ tests/policy_bench.cjs
|
||||
| M4 | 模型 + 训练工程 + 闭环仿真;小数据过拟合测试 | `train.py`、`closed_loop.py` | 沙箱 CPU 验证可跑 |
|
||||
| M5 | 预训练(行为克隆) | checkpoint | **用户 GPU** |
|
||||
| M6 | APG 微调 + 挖错循环 3–6 轮 | 每轮 report.md | **用户 GPU** |
|
||||
| M6b | (可选)ReinFlow 强化学习微调:奖励 = 到达 − 刹停次数 − 卡死 − 用时 | 对比 M6 | **用户 GPU** |
|
||||
| M7 | 导出 ONNX + `ik-policy.js` 闭环部署 + 安全层实测 + `policy_bench` | 对比表 | 沙箱 + 浏览器 |
|
||||
| M8 | 移除查看器里对 `solveDyn`/`routeRT`/路网的运行时依赖(保留在 `ml/gen` 离线使用) | 部署包瘦身 | 沙箱 |
|
||||
|
||||
@@ -485,6 +521,7 @@ tests/policy_bench.cjs
|
||||
- Fishman et al., *Avoid Everything: Model-Free Collision Avoidance with Expert-Guided Fine-Tuning*, CoRL 2024 Workshop(DRP 文中引用为 MπFormer)
|
||||
- Li et al., *ELMP: Efficient Learning for Motion Planning via Analytical Policy Gradients*, arXiv 2607.00215, 2026. https://arxiv.org/abs/2607.00215
|
||||
- 控制周期:Franka FCI https://frankarobotics.github.io/docs/overview.html ;UR RTDE https://www.universal-robots.com/articles/ur/interface-communication/remote-control-via-tcpip ;ABB EGM 应用手册 3HAC073318;KUKA RSI https://docs.quanser.com/quarc/documentation/kuka_rsi_block.html ;MoveIt Servo servo_parameters.yaml;Diffusion Policy https://arxiv.org/abs/2303.04137 ;π0 https://arxiv.org/abs/2410.24164 ;实时动作块执行 https://arxiv.org/abs/2506.07339
|
||||
- 前沿生成式策略(v2.2):π0 https://arxiv.org/abs/2410.24164 ;π0.5 https://arxiv.org/abs/2504.16054 ;知识隔离 https://arxiv.org/abs/2505.23705 ;FAST https://arxiv.org/abs/2501.09747 ;MP1 https://arxiv.org/abs/2507.10543 ;OFP https://arxiv.org/abs/2603.12480 ;条件 OT 流策略 https://proceedings.mlr.press/v305/sochopoulos25a.html ;Consistency Policy https://arxiv.org/abs/2405.07503 ;OneDP https://proceedings.mlr.press/v267/wang25ba.html ;MPD https://arxiv.org/abs/2308.01557 ;EDMP https://arxiv.org/abs/2309.11414 ;GPD https://arxiv.org/abs/2501.18229 ;DiffusionSeeder https://arxiv.org/abs/2410.16727 ;RTC https://arxiv.org/abs/2506.07339 ;DPPO https://arxiv.org/abs/2409.00588 ;ReinFlow https://arxiv.org/abs/2505.22094
|
||||
- Ross, Gordon, Bagnell, *A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning*(DAgger),AISTATS 2011
|
||||
|
||||
## 14. 需要用户确认
|
||||
|
||||
Reference in New Issue
Block a user