From 2462c66a6bfc5ade6937f80da5d3b421a70e753e Mon Sep 17 00:00:00 2001
From: Hark <hark@local>
Date: Sat, 17 Oct 2026 12:52:37 +0000
Subject: [PATCH] =?UTF-8?q?docs(=E8=AE=AD=E7=BB=83=E6=96=B9=E6=A1=88=20v2.?=
 =?UTF-8?q?2):=20=E5=89=8D=E6=B2=BF=E7=94=9F=E6=88=90=E5=BC=8F=E7=AD=96?=
 =?UTF-8?q?=E7=95=A5=E8=B0=83=E7=A0=94=EF=BC=9B=E5=8A=A8=E4=BD=9C=E5=A4=B4?=
 =?UTF-8?q?=E5=8D=87=E7=BA=A7=E4=B8=BA=E4=B8=80=E6=AD=A5=E6=B5=81=E5=8C=B9?=
 =?UTF-8?q?=E9=85=8D(OFP/MeanFlow)+=E7=A2=B0=E6=92=9E=E4=BB=A3=E4=BB=B7?=
 =?UTF-8?q?=E5=BC=95=E5=AF=BC+=E5=89=8D=E7=BC=80=E6=9D=A1=E4=BB=B6+B?=
 =?UTF-8?q?=E6=A0=B7=E6=9D=A1=EF=BC=8CWTA=20=E4=BF=9D=E7=95=99=E4=B8=BA?=
 =?UTF-8?q?=E5=9F=BA=E7=BA=BF=EF=BC=9B=E5=8F=AF=E9=80=89=20ReinFlow=20?=
 =?UTF-8?q?=E9=98=B6=E6=AE=B5?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 docs/Transformer轨迹拟合训练方案.html | 204 +++++++++++++++++++++++++-
 docs/Transformer轨迹拟合训练方案.md   |  39 ++++-
 2 files changed, 235 insertions(+), 8 deletions(-)

diff --git a/docs/Transformer轨迹拟合训练方案.html b/docs/Transformer轨迹拟合训练方案.html
index 16a50b6..cbe50e9 100644
--- a/docs/Transformer轨迹拟合训练方案.html
+++ b/docs/Transformer轨迹拟合训练方案.html
@@ -4,7 +4,7 @@
   <meta charset="utf-8" />
   <meta name="generator" content="pandoc" />
   <meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=yes" />
-  <title>Transformer 避障运动策略：无老师闭环部署方案（v2.1）</title>
+  <title>Transformer 避障运动策略：无老师闭环部署方案（v2.2）</title>
   <style>
     html {
       color: #1a1a1a;
@@ -253,9 +253,9 @@
 <body>
 <nav id="TOC" role="doc-toc">
 <ul>
-<li><a href="#transformer-避障运动策略无老师闭环部署方案审查稿-v2"
-id="toc-transformer-避障运动策略无老师闭环部署方案审查稿-v2">Transformer
-避障运动策略：无老师闭环部署方案（审查稿 v2）</a>
+<li><a href="#transformer-避障运动策略无老师闭环部署方案审查稿-v22"
+id="toc-transformer-避障运动策略无老师闭环部署方案审查稿-v22">Transformer
+避障运动策略：无老师闭环部署方案（审查稿 v2.2）</a>
 <ul>
 <li><a href="#0-定位与边界" id="toc-0-定位与边界">0. 定位与边界</a></li>
 <li><a href="#1-业界调研具身智能里的神经运动规划"
@@ -290,8 +290,9 @@ id="toc-7-第四步后训练无老师为主">7.
 </ul></li>
 </ul>
 </nav>
-<h1 id="transformer-避障运动策略无老师闭环部署方案审查稿-v2">Transformer
-避障运动策略：无老师闭环部署方案（审查稿 v2）</h1>
+<h1
+id="transformer-避障运动策略无老师闭环部署方案审查稿-v22">Transformer
+避障运动策略：无老师闭环部署方案（审查稿 v2.2）</h1>
 <blockquote>
 <ul>
 <li>v1（2026-10-17 20:06，<code>40af3b4</code>）：模型一次生成整条 32
@@ -303,6 +304,12 @@ id="toc-7-第四步后训练无老师为主">7.
 <li>v2.1（2026-10-17 20:58）：训练机定为 RTX 3090 24 GB；near_column
 验收改为 <strong>30/30</strong>，新增 §8.5「为什么会超时、无老师怎样做到
 30/30」；新增 §8.6 控制周期业界调研与评估。</li>
+<li>v2.2（2026-10-17 21:10）：调研 2024–2026
+前沿生成式策略（流匹配/MeanFlow 一步生成、实时动作块
+RTC、代价引导扩散规划、流策略强化学习微调、π0.5/FAST
+等），逐项判断是否适用，新增
+§2.4，并据此把动作头升级为<strong>一步流匹配头 + 碰撞代价引导 +
+前缀条件</strong>（§6.1A）。</li>
 <li>基于
 <code>main@3c7c814</code>（贴立柱修复后的规划器）。本文只是方案，代码尚未编写。</li>
 <li>审查重点：§0 定位、§2 差异与优化、§5 输出表示、§7 后训练（APG）、§8
@@ -590,6 +597,95 @@ APG</strong>（可微胶囊碰撞），挖错循环保留但不再需要老师
 <li><strong>数据便宜</strong>：环境固定，老师离线 5 万条在沙箱约 5
 小时即可，不需要集群。</li>
 </ol>
+<h3 id="24-20242026-前沿生成式策略逐项评估v22">2.4 2024–2026
+前沿生成式策略逐项评估（v2.2）</h3>
+<p>用户问："能不能用更先进的大模型算法？"先说结论：<strong>大模型本身（VLA，30
+亿参数级）不适合这个任务</strong>，但它们背后的几项<strong>动作生成技术</strong>很适合，而且能直接解决我们
+v2 的三个弱点：K=4
+固定模式太粗、动作块拼接处有顿挫、贴柱难例要靠规则兜底。</p>
+<table>
+<thead>
+<tr class="header">
+<th>技术（代表工作）</th>
+<th>核心做法</th>
+<th>公开结果</th>
+<th>用在我们这里？</th>
+</tr>
+</thead>
+<tbody>
+<tr class="odd">
+<td><strong>流匹配动作头</strong>（π0 / π0.5 action
+expert，2024–25）</td>
+<td>用流匹配从噪声生成连续动作块，天然多模态</td>
+<td>π0 以 50 Hz 输出 50 步动作块</td>
+<td>✅ <strong>采纳</strong>，替换 K=4 WTA 头：不再只有 4
+个固定"模式"，左绕/右绕/上绕及其细分都能表达</td>
+</tr>
+<tr class="even">
+<td><strong>一步生成</strong>：MeanFlow（MP1，AAAI
+2026）、OFP（2026）、条件 OT 耦合（CoRL 2025）、Consistency Policy /
+OneDP</td>
+<td>学"平均速度场"或自蒸馏，1 次前向就出动作，不需迭代去噪</td>
+<td>MP1 推理约 6.8 ms；OFP 一步超过 100 步扩散，并在 π0.5 上一步胜过原
+10 步；OneDP 1.5 Hz → 62 Hz</td>
+<td>✅ <strong>采纳 OFP/MeanFlow</strong>：OFP
+从零自蒸馏，<strong>不需要预训练老师模型</strong>，与"无老师"原则一致；推理仍是
+1–2 次前向</td>
+</tr>
+<tr class="odd">
+<td><strong>代价引导采样</strong>（MPD、EDMP、GPD，2023–25）</td>
+<td>采样过程中加入碰撞代价梯度，把轨迹推离障碍</td>
+<td>MPD/EDMP 引导显著提高成功率；GPD 约 0.8 s</td>
+<td>✅ <strong>采纳，但只在 1–2
+步内做</strong>：我们已有可微胶囊距离（APG
+要用），在去噪最后一步加一次梯度修正，几乎零额外训练成本。不采纳整条轨迹扩散（MPD
+约 1 s，太慢）</td>
+</tr>
+<tr class="even">
+<td><strong>扩散种子 + 优化</strong>（DiffusionSeeder + cuRobo，CoRL
+2024）</td>
+<td>扩散给初值，GPU 轨迹优化几轮</td>
+<td>真机规划 26 ms，比 cuRobo 成功率高 51%</td>
+<td>⚠️ 部分采纳：只保留"对已生成动作块做 2–3
+次局部梯度修正"，不引入全局轨迹优化器（那等于又加回一个老师）</td>
+</tr>
+<tr class="odd">
+<td><strong>实时动作块执行 RTC</strong>（Black 等，NeurIPS 2025）</td>
+<td>生成新动作块时，把已提交但未执行的动作当作"已知前缀"补全，异步推理不卡顿</td>
+<td>解决动作块拼接处的停顿与跳变</td>
+<td>✅ <strong>采纳</strong>：以"已提交的 3 步"为前缀条件生成新块，替代
+v2 的时间集成；推理偶发超时也不会顿挫</td>
+</tr>
+<tr class="even">
+<td><strong>流/扩散策略的强化学习微调</strong>（DPPO，ICLR
+2025；ReinFlow，NeurIPS 2025）</td>
+<td>在仿真里用 PPO 类方法微调生成式策略</td>
+<td>ReinFlow 在操作任务上成功率平均提升 40%，可在 1–4 步去噪下微调，比
+DPPO 省 60%+ 时间</td>
+<td>✅ <strong>采纳为第三阶段（可选）</strong>：APG
+擅长连续可微目标；"到达/卡死/安全层刹停次数"这类离散目标交给
+ReinFlow。仿真就是我们的 GPU 批量 FK + 胶囊检测，3090 上可跑</td>
+</tr>
+<tr class="odd">
+<td><strong>FAST 动作分词 / π0.5 知识隔离</strong>（2025）</td>
+<td>DCT 压缩动作块成离散 token，供大语言模型骨干学习</td>
+<td>FAST 训练提速最多 5 倍</td>
+<td>❌ 分词本身不采纳（为语言大模型服务，自回归推理慢）；⚠️
+借鉴"频域/样条表示"：动作块改用 <strong>B
+样条控制点</strong>输出，平滑性由表示保证</td>
+</tr>
+<tr class="even">
+<td><strong>VLA 大模型</strong>（π0/π0.5、GR00T、OpenVLA）</td>
+<td>视觉语言骨干 + 动作专家</td>
+<td>3B 模型单次预填充 46 ms（4090）</td>
+<td>❌ 不采纳：我们没有图像、没有语言指令，环境固定精确；30
+亿参数只会更慢，不会更准</td>
+</tr>
+</tbody>
+</table>
+<p><strong>结论：v2.2 采纳"一步流匹配头 + 碰撞代价引导 + 前缀条件 + B
+样条表示 + 可选 ReinFlow"。</strong> 这正是 π0.5、MP1/OFP、MPD、RTC
+这几条前沿线在"低维状态、精确几何、实时控制"场景下的组合，规模仍然是几百万参数。</p>
 <hr />
 <h2 id="3-训练环境">3. 训练环境</h2>
 <table>
@@ -862,6 +958,61 @@ K×16 个可学习动作 token ──▶ 4 层 Transformer decoder（非自回
 </tr>
 </tbody>
 </table>
+<h3 id="61a-v22-动作头升级一步流匹配默认与-wta基线">6.1A v2.2
+动作头升级：一步流匹配（默认）与 WTA（基线）</h3>
+<table>
+<thead>
+<tr class="header">
+<th></th>
+<th>v2 WTA 头（保留为基线）</th>
+<th><strong>v2.2 一步流匹配头（默认）</strong></th>
+</tr>
+</thead>
+<tbody>
+<tr class="odd">
+<td>多模态</td>
+<td>固定 K=4 个模式</td>
+<td>连续分布；每周期并行采 K=8 个噪声 → 8 条候选</td>
+</tr>
+<tr class="even">
+<td>训练</td>
+<td>WTA-L1 + 模式 CE</td>
+<td>OFP 自蒸馏（或 MeanFlow），从零训练，无需预训练老师模型</td>
+</tr>
+<tr class="odd">
+<td>输出</td>
+<td>16 步 Δq</td>
+<td><strong>B 样条</strong>：6 个控制点 × 6 关节，再采样成 16
+步；自带平滑</td>
+</tr>
+<tr class="even">
+<td>前缀条件</td>
+<td>无，靠时间集成</td>
+<td>输入"已提交前 3 步"，新块从前缀接着走（RTC 思路）</td>
+</tr>
+<tr class="odd">
+<td>碰撞引导</td>
+<td>无</td>
+<td>最后一步加一次可微胶囊距离梯度修正：a ← a + η·∇d_capsule（d &lt;
+安全距离时）</td>
+</tr>
+<tr class="even">
+<td>推理成本</td>
+<td>1 次前向</td>
+<td>1–2 次前向 + 1 次解析梯度（JS 实现，不走 ONNX）</td>
+</tr>
+<tr class="odd">
+<td>APG 兼容</td>
+<td>✅</td>
+<td>✅（固定噪声后生成器是确定性可微映射）</td>
+</tr>
+</tbody>
+</table>
+<p>模式粘滞改为"噪声粘滞"：上一周期选中候选的噪声向量保留下来，本周期作为
+8
+个噪声之一，相邻周期自然延续同一绕行方向。子目标头、价值头（§8.5）保持不变。</p>
+<p>M4 同时实现两种头，M5 预训练后在 near_column + held-out 上
+A/B；若一步流匹配不优于 WTA，回退 WTA（风险可控）。</p>
 <h3 id="62-预训练损失">6.2 预训练损失</h3>
 <pre><code>L = WTA-L1(动作块, 最近模式)               权重 1.0
   + CE(模式分类)                          权重 0.5
@@ -1400,13 +1551,20 @@ tests/policy_bench.cjs</code></pre>
 <td><strong>用户 GPU</strong></td>
 </tr>
 <tr class="odd">
+<td>M6b</td>
+<td>（可选）ReinFlow 强化学习微调：奖励 = 到达 − 刹停次数 − 卡死 −
+用时</td>
+<td>对比 M6</td>
+<td><strong>用户 GPU</strong></td>
+</tr>
+<tr class="even">
 <td>M7</td>
 <td>导出 ONNX + <code>ik-policy.js</code> 闭环部署 + 安全层实测 +
 <code>policy_bench</code></td>
 <td>对比表</td>
 <td>沙箱 + 浏览器</td>
 </tr>
-<tr class="even">
+<tr class="odd">
 <td>M8</td>
 <td>移除查看器里对
 <code>solveDyn</code>/<code>routeRT</code>/路网的运行时依赖（保留在
@@ -1446,6 +1604,38 @@ href="https://arxiv.org/abs/2303.04137">https://arxiv.org/abs/2303.04137</a>
 href="https://arxiv.org/abs/2410.24164">https://arxiv.org/abs/2410.24164</a>
 ；实时动作块执行 <a
 href="https://arxiv.org/abs/2506.07339">https://arxiv.org/abs/2506.07339</a></li>
+<li>前沿生成式策略（v2.2）：π0 <a
+href="https://arxiv.org/abs/2410.24164">https://arxiv.org/abs/2410.24164</a>
+；π0.5 <a
+href="https://arxiv.org/abs/2504.16054">https://arxiv.org/abs/2504.16054</a>
+；知识隔离 <a
+href="https://arxiv.org/abs/2505.23705">https://arxiv.org/abs/2505.23705</a>
+；FAST <a
+href="https://arxiv.org/abs/2501.09747">https://arxiv.org/abs/2501.09747</a>
+；MP1 <a
+href="https://arxiv.org/abs/2507.10543">https://arxiv.org/abs/2507.10543</a>
+；OFP <a
+href="https://arxiv.org/abs/2603.12480">https://arxiv.org/abs/2603.12480</a>
+；条件 OT 流策略 <a
+href="https://proceedings.mlr.press/v305/sochopoulos25a.html">https://proceedings.mlr.press/v305/sochopoulos25a.html</a>
+；Consistency Policy <a
+href="https://arxiv.org/abs/2405.07503">https://arxiv.org/abs/2405.07503</a>
+；OneDP <a
+href="https://proceedings.mlr.press/v267/wang25ba.html">https://proceedings.mlr.press/v267/wang25ba.html</a>
+；MPD <a
+href="https://arxiv.org/abs/2308.01557">https://arxiv.org/abs/2308.01557</a>
+；EDMP <a
+href="https://arxiv.org/abs/2309.11414">https://arxiv.org/abs/2309.11414</a>
+；GPD <a
+href="https://arxiv.org/abs/2501.18229">https://arxiv.org/abs/2501.18229</a>
+；DiffusionSeeder <a
+href="https://arxiv.org/abs/2410.16727">https://arxiv.org/abs/2410.16727</a>
+；RTC <a
+href="https://arxiv.org/abs/2506.07339">https://arxiv.org/abs/2506.07339</a>
+；DPPO <a
+href="https://arxiv.org/abs/2409.00588">https://arxiv.org/abs/2409.00588</a>
+；ReinFlow <a
+href="https://arxiv.org/abs/2505.22094">https://arxiv.org/abs/2505.22094</a></li>
 <li>Ross, Gordon, Bagnell, <em>A Reduction of Imitation Learning and
 Structured Prediction to No-Regret Online
 Learning</em>（DAgger），AISTATS 2011</li>
diff --git a/docs/Transformer轨迹拟合训练方案.md b/docs/Transformer轨迹拟合训练方案.md
index 4461e10..5089e14 100644
--- a/docs/Transformer轨迹拟合训练方案.md
+++ b/docs/Transformer轨迹拟合训练方案.md
@@ -1,10 +1,11 @@
-# Transformer 避障运动策略：无老师闭环部署方案（审查稿 v2）
+# Transformer 避障运动策略：无老师闭环部署方案（审查稿 v2.2）
 
 > - v1（2026-10-17 20:06，`40af3b4`）：模型一次生成整条 32 点路径，失败回落到原规划器（"有老师部署"）。
 > - v1.1（20:25，`c51f8f9`）：加入后训练挖错循环。
 > - **v2（本稿）**：按用户决定改为 **无老师部署 + 每个控制周期重算（闭环）**，删除全部"回落原规划器"设计；
 >   加入具身智能领域主流做法的调研与对比（§1–§2），并据此调整模型输出、后训练方法和验收标准。
 > - v2.1（2026-10-17 20:58）：训练机定为 RTX 3090 24 GB；near_column 验收改为 **30/30**，新增 §8.5「为什么会超时、无老师怎样做到 30/30」；新增 §8.6 控制周期业界调研与评估。
+> - v2.2（2026-10-17 21:10）：调研 2024–2026 前沿生成式策略（流匹配/MeanFlow 一步生成、实时动作块 RTC、代价引导扩散规划、流策略强化学习微调、π0.5/FAST 等），逐项判断是否适用，新增 §2.4，并据此把动作头升级为**一步流匹配头 + 碰撞代价引导 + 前缀条件**（§6.1A）。
 > - 基于 `main@3c7c814`（贴立柱修复后的规划器）。本文只是方案，代码尚未编写。
 > - 审查重点：§0 定位、§2 差异与优化、§5 输出表示、§7 后训练（APG）、§8 闭环部署与安全层、§9 验收。
 
@@ -87,6 +88,23 @@
 4. **APG 损失直接用我们的胶囊距离**（`segSegDist` 的可微版本），训练和部署检查同一套几何，消除"训练用球、检查用网格"的口径差（ELMP 的做法有这个差）。
 5. **数据便宜**：环境固定，老师离线 5 万条在沙箱约 5 小时即可，不需要集群。
 
+### 2.4 2024–2026 前沿生成式策略逐项评估（v2.2）
+
+用户问："能不能用更先进的大模型算法？"先说结论：**大模型本身（VLA，30 亿参数级）不适合这个任务**，但它们背后的几项**动作生成技术**很适合，而且能直接解决我们 v2 的三个弱点：K=4 固定模式太粗、动作块拼接处有顿挫、贴柱难例要靠规则兜底。
+
+| 技术（代表工作） | 核心做法 | 公开结果 | 用在我们这里？ |
+|---|---|---|---|
+| **流匹配动作头**（π0 / π0.5 action expert，2024–25） | 用流匹配从噪声生成连续动作块，天然多模态 | π0 以 50 Hz 输出 50 步动作块 | ✅ **采纳**，替换 K=4 WTA 头：不再只有 4 个固定"模式"，左绕/右绕/上绕及其细分都能表达 |
+| **一步生成**：MeanFlow（MP1，AAAI 2026）、OFP（2026）、条件 OT 耦合（CoRL 2025）、Consistency Policy / OneDP | 学"平均速度场"或自蒸馏，1 次前向就出动作，不需迭代去噪 | MP1 推理约 6.8 ms；OFP 一步超过 100 步扩散，并在 π0.5 上一步胜过原 10 步；OneDP 1.5 Hz → 62 Hz | ✅ **采纳 OFP/MeanFlow**：OFP 从零自蒸馏，**不需要预训练老师模型**，与"无老师"原则一致；推理仍是 1–2 次前向 |
+| **代价引导采样**（MPD、EDMP、GPD，2023–25） | 采样过程中加入碰撞代价梯度，把轨迹推离障碍 | MPD/EDMP 引导显著提高成功率；GPD 约 0.8 s | ✅ **采纳，但只在 1–2 步内做**：我们已有可微胶囊距离（APG 要用），在去噪最后一步加一次梯度修正，几乎零额外训练成本。不采纳整条轨迹扩散（MPD 约 1 s，太慢） |
+| **扩散种子 + 优化**（DiffusionSeeder + cuRobo，CoRL 2024） | 扩散给初值，GPU 轨迹优化几轮 | 真机规划 26 ms，比 cuRobo 成功率高 51% | ⚠️ 部分采纳：只保留"对已生成动作块做 2–3 次局部梯度修正"，不引入全局轨迹优化器（那等于又加回一个老师） |
+| **实时动作块执行 RTC**（Black 等，NeurIPS 2025） | 生成新动作块时，把已提交但未执行的动作当作"已知前缀"补全，异步推理不卡顿 | 解决动作块拼接处的停顿与跳变 | ✅ **采纳**：以"已提交的 3 步"为前缀条件生成新块，替代 v2 的时间集成；推理偶发超时也不会顿挫 |
+| **流/扩散策略的强化学习微调**（DPPO，ICLR 2025；ReinFlow，NeurIPS 2025） | 在仿真里用 PPO 类方法微调生成式策略 | ReinFlow 在操作任务上成功率平均提升 40%，可在 1–4 步去噪下微调，比 DPPO 省 60%+ 时间 | ✅ **采纳为第三阶段（可选）**：APG 擅长连续可微目标；"到达/卡死/安全层刹停次数"这类离散目标交给 ReinFlow。仿真就是我们的 GPU 批量 FK + 胶囊检测，3090 上可跑 |
+| **FAST 动作分词 / π0.5 知识隔离**（2025） | DCT 压缩动作块成离散 token，供大语言模型骨干学习 | FAST 训练提速最多 5 倍 | ❌ 分词本身不采纳（为语言大模型服务，自回归推理慢）；⚠️ 借鉴"频域/样条表示"：动作块改用 **B 样条控制点**输出，平滑性由表示保证 |
+| **VLA 大模型**（π0/π0.5、GR00T、OpenVLA） | 视觉语言骨干 + 动作专家 | 3B 模型单次预填充 46 ms（4090） | ❌ 不采纳：我们没有图像、没有语言指令，环境固定精确；30 亿参数只会更慢，不会更准 |
+
+**结论：v2.2 采纳"一步流匹配头 + 碰撞代价引导 + 前缀条件 + B 样条表示 + 可选 ReinFlow"。** 这正是 π0.5、MP1/OFP、MPD、RTC 这几条前沿线在"低维状态、精确几何、实时控制"场景下的组合，规模仍然是几百万参数。
+
 ---
 
 ## 3. 训练环境
@@ -229,6 +247,23 @@ K×16 个可学习动作 token ──▶ 4 层 Transformer decoder（非自回
 | 参数量 | 约 3–4 M（DRP 为 4.67 M，含点云编码） |
 | 推理 | 一次前向得到 4 条候选动作块 |
 
+
+### 6.1A v2.2 动作头升级：一步流匹配（默认）与 WTA（基线）
+
+| | v2 WTA 头（保留为基线） | **v2.2 一步流匹配头（默认）** |
+|---|---|---|
+| 多模态 | 固定 K=4 个模式 | 连续分布；每周期并行采 K=8 个噪声 → 8 条候选 |
+| 训练 | WTA-L1 + 模式 CE | OFP 自蒸馏（或 MeanFlow），从零训练，无需预训练老师模型 |
+| 输出 | 16 步 Δq | **B 样条**：6 个控制点 × 6 关节，再采样成 16 步；自带平滑 |
+| 前缀条件 | 无，靠时间集成 | 输入"已提交前 3 步"，新块从前缀接着走（RTC 思路） |
+| 碰撞引导 | 无 | 最后一步加一次可微胶囊距离梯度修正：a ← a + η·∇d_capsule（d < 安全距离时） |
+| 推理成本 | 1 次前向 | 1–2 次前向 + 1 次解析梯度（JS 实现，不走 ONNX） |
+| APG 兼容 | ✅ | ✅（固定噪声后生成器是确定性可微映射） |
+
+模式粘滞改为"噪声粘滞"：上一周期选中候选的噪声向量保留下来，本周期作为 8 个噪声之一，相邻周期自然延续同一绕行方向。子目标头、价值头（§8.5）保持不变。
+
+M4 同时实现两种头，M5 预训练后在 near_column + held-out 上 A/B；若一步流匹配不优于 WTA，回退 WTA（风险可控）。
+
 ### 6.2 预训练损失
 
 ```
@@ -474,6 +509,7 @@ tests/policy_bench.cjs
 | M4 | 模型 + 训练工程 + 闭环仿真；小数据过拟合测试 | `train.py`、`closed_loop.py` | 沙箱 CPU 验证可跑 |
 | M5 | 预训练（行为克隆） | checkpoint | **用户 GPU** |
 | M6 | APG 微调 + 挖错循环 3–6 轮 | 每轮 report.md | **用户 GPU** |
+| M6b | （可选）ReinFlow 强化学习微调：奖励 = 到达 − 刹停次数 − 卡死 − 用时 | 对比 M6 | **用户 GPU** |
 | M7 | 导出 ONNX + `ik-policy.js` 闭环部署 + 安全层实测 + `policy_bench` | 对比表 | 沙箱 + 浏览器 |
 | M8 | 移除查看器里对 `solveDyn`/`routeRT`/路网的运行时依赖（保留在 `ml/gen` 离线使用） | 部署包瘦身 | 沙箱 |
 
@@ -485,6 +521,7 @@ tests/policy_bench.cjs
 - Fishman et al., *Avoid Everything: Model-Free Collision Avoidance with Expert-Guided Fine-Tuning*, CoRL 2024 Workshop（DRP 文中引用为 MπFormer）
 - Li et al., *ELMP: Efficient Learning for Motion Planning via Analytical Policy Gradients*, arXiv 2607.00215, 2026. https://arxiv.org/abs/2607.00215
 - 控制周期：Franka FCI https://frankarobotics.github.io/docs/overview.html ；UR RTDE https://www.universal-robots.com/articles/ur/interface-communication/remote-control-via-tcpip ；ABB EGM 应用手册 3HAC073318；KUKA RSI https://docs.quanser.com/quarc/documentation/kuka_rsi_block.html ；MoveIt Servo servo_parameters.yaml；Diffusion Policy https://arxiv.org/abs/2303.04137 ；π0 https://arxiv.org/abs/2410.24164 ；实时动作块执行 https://arxiv.org/abs/2506.07339
+- 前沿生成式策略（v2.2）：π0 https://arxiv.org/abs/2410.24164 ；π0.5 https://arxiv.org/abs/2504.16054 ；知识隔离 https://arxiv.org/abs/2505.23705 ；FAST https://arxiv.org/abs/2501.09747 ；MP1 https://arxiv.org/abs/2507.10543 ；OFP https://arxiv.org/abs/2603.12480 ；条件 OT 流策略 https://proceedings.mlr.press/v305/sochopoulos25a.html ；Consistency Policy https://arxiv.org/abs/2405.07503 ；OneDP https://proceedings.mlr.press/v267/wang25ba.html ；MPD https://arxiv.org/abs/2308.01557 ；EDMP https://arxiv.org/abs/2309.11414 ；GPD https://arxiv.org/abs/2501.18229 ；DiffusionSeeder https://arxiv.org/abs/2410.16727 ；RTC https://arxiv.org/abs/2506.07339 ；DPPO https://arxiv.org/abs/2409.00588 ；ReinFlow https://arxiv.org/abs/2505.22094
 - Ross, Gordon, Bagnell, *A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning*（DAgger），AISTATS 2011
 
 ## 14. 需要用户确认