docs(训练方案 v2.2): 前沿生成式策略调研；动作头升级为一步流匹配(OFP/MeanFlow)+碰撞代价引导+前缀条件+B样条，WTA 保留为基线；可选 ReinFlow 阶段

docs/Transformer轨迹拟合训练方案.html

@@ -4,7 +4,7 @@
   <meta charset="utf-8" />
   <meta name="generator" content="pandoc" />
   <meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=yes" />
-  <title>Transformer 避障运动策略：无老师闭环部署方案（v2.1）</title>
+  <title>Transformer 避障运动策略：无老师闭环部署方案（v2.2）</title>
   <style>
     html {
       color: #1a1a1a;
@@ -253,9 +253,9 @@
 <body>
 <nav id="TOC" role="doc-toc">
 <ul>
-<li><a href="#transformer-避障运动策略无老师闭环部署方案审查稿-v2"
-id="toc-transformer-避障运动策略无老师闭环部署方案审查稿-v2">Transformer
-避障运动策略：无老师闭环部署方案（审查稿 v2）</a>
+<li><a href="#transformer-避障运动策略无老师闭环部署方案审查稿-v22"
+id="toc-transformer-避障运动策略无老师闭环部署方案审查稿-v22">Transformer
+避障运动策略：无老师闭环部署方案（审查稿 v2.2）</a>
 <ul>
 <li><a href="#0-定位与边界" id="toc-0-定位与边界">0. 定位与边界</a></li>
 <li><a href="#1-业界调研具身智能里的神经运动规划"
@@ -290,8 +290,9 @@ id="toc-7-第四步后训练无老师为主">7.
 </ul></li>
 </ul>
 </nav>
-<h1 id="transformer-避障运动策略无老师闭环部署方案审查稿-v2">Transformer
-避障运动策略：无老师闭环部署方案（审查稿 v2）</h1>
+<h1
+id="transformer-避障运动策略无老师闭环部署方案审查稿-v22">Transformer
+避障运动策略：无老师闭环部署方案（审查稿 v2.2）</h1>
 <blockquote>
 <ul>
 <li>v1（2026-10-17 20:06，<code>40af3b4</code>）：模型一次生成整条 32
@@ -303,6 +304,12 @@ id="toc-7-第四步后训练无老师为主">7.
 <li>v2.1（2026-10-17 20:58）：训练机定为 RTX 3090 24 GB；near_column
 验收改为 <strong>30/30</strong>，新增 §8.5「为什么会超时、无老师怎样做到
 30/30」；新增 §8.6 控制周期业界调研与评估。</li>
+<li>v2.2（2026-10-17 21:10）：调研 2024–2026
+前沿生成式策略（流匹配/MeanFlow 一步生成、实时动作块
+RTC、代价引导扩散规划、流策略强化学习微调、π0.5/FAST
+等），逐项判断是否适用，新增
+§2.4，并据此把动作头升级为<strong>一步流匹配头 + 碰撞代价引导 +
+前缀条件</strong>（§6.1A）。</li>
 <li>基于
 <code>main@3c7c814</code>（贴立柱修复后的规划器）。本文只是方案，代码尚未编写。</li>
 <li>审查重点：§0 定位、§2 差异与优化、§5 输出表示、§7 后训练（APG）、§8
@@ -590,6 +597,95 @@ APG</strong>（可微胶囊碰撞），挖错循环保留但不再需要老师
 <li><strong>数据便宜</strong>：环境固定，老师离线 5 万条在沙箱约 5
 小时即可，不需要集群。</li>
 </ol>
+<h3 id="24-20242026-前沿生成式策略逐项评估v22">2.4 2024–2026
+前沿生成式策略逐项评估（v2.2）</h3>
+<p>用户问："能不能用更先进的大模型算法？"先说结论：<strong>大模型本身（VLA，30
+亿参数级）不适合这个任务</strong>，但它们背后的几项<strong>动作生成技术</strong>很适合，而且能直接解决我们
+v2 的三个弱点：K=4
+固定模式太粗、动作块拼接处有顿挫、贴柱难例要靠规则兜底。</p>
+<table>
+<thead>
+<tr class="header">
+<th>技术（代表工作）</th>
+<th>核心做法</th>
+<th>公开结果</th>
+<th>用在我们这里？</th>
+</tr>
+</thead>
+<tbody>
+<tr class="odd">
+<td><strong>流匹配动作头</strong>（π0 / π0.5 action
+expert，2024–25）</td>
+<td>用流匹配从噪声生成连续动作块，天然多模态</td>
+<td>π0 以 50 Hz 输出 50 步动作块</td>
+<td>✅ <strong>采纳</strong>，替换 K=4 WTA 头：不再只有 4
+个固定"模式"，左绕/右绕/上绕及其细分都能表达</td>
+</tr>
+<tr class="even">
+<td><strong>一步生成</strong>：MeanFlow（MP1，AAAI
+2026）、OFP（2026）、条件 OT 耦合（CoRL 2025）、Consistency Policy /
+OneDP</td>
+<td>学"平均速度场"或自蒸馏，1 次前向就出动作，不需迭代去噪</td>
+<td>MP1 推理约 6.8 ms；OFP 一步超过 100 步扩散，并在 π0.5 上一步胜过原
+10 步；OneDP 1.5 Hz → 62 Hz</td>
+<td>✅ <strong>采纳 OFP/MeanFlow</strong>：OFP
+从零自蒸馏，<strong>不需要预训练老师模型</strong>，与"无老师"原则一致；推理仍是
+1–2 次前向</td>
+</tr>
+<tr class="odd">
+<td><strong>代价引导采样</strong>（MPD、EDMP、GPD，2023–25）</td>
+<td>采样过程中加入碰撞代价梯度，把轨迹推离障碍</td>
+<td>MPD/EDMP 引导显著提高成功率；GPD 约 0.8 s</td>
+<td>✅ <strong>采纳，但只在 1–2
+步内做</strong>：我们已有可微胶囊距离（APG
+要用），在去噪最后一步加一次梯度修正，几乎零额外训练成本。不采纳整条轨迹扩散（MPD
+约 1 s，太慢）</td>
+</tr>
+<tr class="even">
+<td><strong>扩散种子 + 优化</strong>（DiffusionSeeder + cuRobo，CoRL
+2024）</td>
+<td>扩散给初值，GPU 轨迹优化几轮</td>
+<td>真机规划 26 ms，比 cuRobo 成功率高 51%</td>
+<td>⚠️ 部分采纳：只保留"对已生成动作块做 2–3
+次局部梯度修正"，不引入全局轨迹优化器（那等于又加回一个老师）</td>
+</tr>
+<tr class="odd">
+<td><strong>实时动作块执行 RTC</strong>（Black 等，NeurIPS 2025）</td>
+<td>生成新动作块时，把已提交但未执行的动作当作"已知前缀"补全，异步推理不卡顿</td>
+<td>解决动作块拼接处的停顿与跳变</td>
+<td>✅ <strong>采纳</strong>：以"已提交的 3 步"为前缀条件生成新块，替代
+v2 的时间集成；推理偶发超时也不会顿挫</td>
+</tr>
+<tr class="even">
+<td><strong>流/扩散策略的强化学习微调</strong>（DPPO，ICLR
+2025；ReinFlow，NeurIPS 2025）</td>
+<td>在仿真里用 PPO 类方法微调生成式策略</td>
+<td>ReinFlow 在操作任务上成功率平均提升 40%，可在 1–4 步去噪下微调，比
+DPPO 省 60%+ 时间</td>
+<td>✅ <strong>采纳为第三阶段（可选）</strong>：APG
+擅长连续可微目标；"到达/卡死/安全层刹停次数"这类离散目标交给
+ReinFlow。仿真就是我们的 GPU 批量 FK + 胶囊检测，3090 上可跑</td>
+</tr>
+<tr class="odd">
+<td><strong>FAST 动作分词 / π0.5 知识隔离</strong>（2025）</td>
+<td>DCT 压缩动作块成离散 token，供大语言模型骨干学习</td>
+<td>FAST 训练提速最多 5 倍</td>
+<td>❌ 分词本身不采纳（为语言大模型服务，自回归推理慢）；⚠️
+借鉴"频域/样条表示"：动作块改用 <strong>B
+样条控制点</strong>输出，平滑性由表示保证</td>
+</tr>
+<tr class="even">
+<td><strong>VLA 大模型</strong>（π0/π0.5、GR00T、OpenVLA）</td>
+<td>视觉语言骨干 + 动作专家</td>
+<td>3B 模型单次预填充 46 ms（4090）</td>
+<td>❌ 不采纳：我们没有图像、没有语言指令，环境固定精确；30
+亿参数只会更慢，不会更准</td>
+</tr>
+</tbody>
+</table>
+<p><strong>结论：v2.2 采纳"一步流匹配头 + 碰撞代价引导 + 前缀条件 + B
+样条表示 + 可选 ReinFlow"。</strong> 这正是 π0.5、MP1/OFP、MPD、RTC
+这几条前沿线在"低维状态、精确几何、实时控制"场景下的组合，规模仍然是几百万参数。</p>
 <hr />
 <h2 id="3-训练环境">3. 训练环境</h2>
 <table>
@@ -862,6 +958,61 @@ K×16 个可学习动作 token ──▶ 4 层 Transformer decoder（非自回
 </tr>
 </tbody>
 </table>
+<h3 id="61a-v22-动作头升级一步流匹配默认与-wta基线">6.1A v2.2
+动作头升级：一步流匹配（默认）与 WTA（基线）</h3>
+<table>
+<thead>
+<tr class="header">
+<th></th>
+<th>v2 WTA 头（保留为基线）</th>
+<th><strong>v2.2 一步流匹配头（默认）</strong></th>
+</tr>
+</thead>
+<tbody>
+<tr class="odd">
+<td>多模态</td>
+<td>固定 K=4 个模式</td>
+<td>连续分布；每周期并行采 K=8 个噪声 → 8 条候选</td>
+</tr>
+<tr class="even">
+<td>训练</td>
+<td>WTA-L1 + 模式 CE</td>
+<td>OFP 自蒸馏（或 MeanFlow），从零训练，无需预训练老师模型</td>
+</tr>
+<tr class="odd">
+<td>输出</td>
+<td>16 步 Δq</td>
+<td><strong>B 样条</strong>：6 个控制点 × 6 关节，再采样成 16
+步；自带平滑</td>
+</tr>
+<tr class="even">
+<td>前缀条件</td>
+<td>无，靠时间集成</td>
+<td>输入"已提交前 3 步"，新块从前缀接着走（RTC 思路）</td>
+</tr>
+<tr class="odd">
+<td>碰撞引导</td>
+<td>无</td>
+<td>最后一步加一次可微胶囊距离梯度修正：a ← a + η·∇d_capsule（d &lt;
+安全距离时）</td>
+</tr>
+<tr class="even">
+<td>推理成本</td>
+<td>1 次前向</td>
+<td>1–2 次前向 + 1 次解析梯度（JS 实现，不走 ONNX）</td>
+</tr>
+<tr class="odd">
+<td>APG 兼容</td>
+<td>✅</td>
+<td>✅（固定噪声后生成器是确定性可微映射）</td>
+</tr>
+</tbody>
+</table>
+<p>模式粘滞改为"噪声粘滞"：上一周期选中候选的噪声向量保留下来，本周期作为
+8
+个噪声之一，相邻周期自然延续同一绕行方向。子目标头、价值头（§8.5）保持不变。</p>
+<p>M4 同时实现两种头，M5 预训练后在 near_column + held-out 上
+A/B；若一步流匹配不优于 WTA，回退 WTA（风险可控）。</p>
 <h3 id="62-预训练损失">6.2 预训练损失</h3>
 <pre><code>L = WTA-L1(动作块, 最近模式)               权重 1.0
   + CE(模式分类)                          权重 0.5
@@ -1400,13 +1551,20 @@ tests/policy_bench.cjs</code></pre>
 <td><strong>用户 GPU</strong></td>
 </tr>
 <tr class="odd">
+<td>M6b</td>
+<td>（可选）ReinFlow 强化学习微调：奖励 = 到达 − 刹停次数 − 卡死 −
+用时</td>
+<td>对比 M6</td>
+<td><strong>用户 GPU</strong></td>
+</tr>
+<tr class="even">
 <td>M7</td>
 <td>导出 ONNX + <code>ik-policy.js</code> 闭环部署 + 安全层实测 +
 <code>policy_bench</code></td>
 <td>对比表</td>
 <td>沙箱 + 浏览器</td>
 </tr>
-<tr class="even">
+<tr class="odd">
 <td>M8</td>
 <td>移除查看器里对
 <code>solveDyn</code>/<code>routeRT</code>/路网的运行时依赖（保留在
@@ -1446,6 +1604,38 @@ href="https://arxiv.org/abs/2303.04137">https://arxiv.org/abs/2303.04137</a>
 href="https://arxiv.org/abs/2410.24164">https://arxiv.org/abs/2410.24164</a>
 ；实时动作块执行 <a
 href="https://arxiv.org/abs/2506.07339">https://arxiv.org/abs/2506.07339</a></li>
+<li>前沿生成式策略（v2.2）：π0 <a
+href="https://arxiv.org/abs/2410.24164">https://arxiv.org/abs/2410.24164</a>
+；π0.5 <a
+href="https://arxiv.org/abs/2504.16054">https://arxiv.org/abs/2504.16054</a>
+；知识隔离 <a
+href="https://arxiv.org/abs/2505.23705">https://arxiv.org/abs/2505.23705</a>
+；FAST <a
+href="https://arxiv.org/abs/2501.09747">https://arxiv.org/abs/2501.09747</a>
+；MP1 <a
+href="https://arxiv.org/abs/2507.10543">https://arxiv.org/abs/2507.10543</a>
+；OFP <a
+href="https://arxiv.org/abs/2603.12480">https://arxiv.org/abs/2603.12480</a>
+；条件 OT 流策略 <a
+href="https://proceedings.mlr.press/v305/sochopoulos25a.html">https://proceedings.mlr.press/v305/sochopoulos25a.html</a>
+；Consistency Policy <a
+href="https://arxiv.org/abs/2405.07503">https://arxiv.org/abs/2405.07503</a>
+；OneDP <a
+href="https://proceedings.mlr.press/v267/wang25ba.html">https://proceedings.mlr.press/v267/wang25ba.html</a>
+；MPD <a
+href="https://arxiv.org/abs/2308.01557">https://arxiv.org/abs/2308.01557</a>
+；EDMP <a
+href="https://arxiv.org/abs/2309.11414">https://arxiv.org/abs/2309.11414</a>
+；GPD <a
+href="https://arxiv.org/abs/2501.18229">https://arxiv.org/abs/2501.18229</a>
+；DiffusionSeeder <a
+href="https://arxiv.org/abs/2410.16727">https://arxiv.org/abs/2410.16727</a>
+；RTC <a
+href="https://arxiv.org/abs/2506.07339">https://arxiv.org/abs/2506.07339</a>
+；DPPO <a
+href="https://arxiv.org/abs/2409.00588">https://arxiv.org/abs/2409.00588</a>
+；ReinFlow <a
+href="https://arxiv.org/abs/2505.22094">https://arxiv.org/abs/2505.22094</a></li>
 <li>Ross, Gordon, Bagnell, <em>A Reduction of Imitation Learning and
 Structured Prediction to No-Regret Online
 Learning</em>（DAgger），AISTATS 2011</li>