docs(训练方案 v2.2): 前沿生成式策略调研；动作头升级为一步流匹配(OFP/MeanFlow)+碰撞代价引导+前缀条件+B样条，WTA 保留为基线；可选 ReinFlow 阶段

2026-10-17 12:52:37 +00:00
parent 5895deb071
commit 2462c66a6b
2 changed files with 235 additions and 8 deletions
@@ -1,10 +1,11 @@
-# Transformer 避障运动策略：无老师闭环部署方案（审查稿 v2）
+# Transformer 避障运动策略：无老师闭环部署方案（审查稿 v2.2）

 > - v1（2026-10-17 20:06，`40af3b4`）：模型一次生成整条 32 点路径，失败回落到原规划器（"有老师部署"）。
 > - v1.1（20:25，`c51f8f9`）：加入后训练挖错循环。
 > - **v2（本稿）**：按用户决定改为 **无老师部署 + 每个控制周期重算（闭环）**，删除全部"回落原规划器"设计；
 >   加入具身智能领域主流做法的调研与对比（§1–§2），并据此调整模型输出、后训练方法和验收标准。
 > - v2.1（2026-10-17 20:58）：训练机定为 RTX 3090 24 GB；near_column 验收改为 **30/30**，新增 §8.5「为什么会超时、无老师怎样做到 30/30」；新增 §8.6 控制周期业界调研与评估。
+> - v2.2（2026-10-17 21:10）：调研 2024–2026 前沿生成式策略（流匹配/MeanFlow 一步生成、实时动作块 RTC、代价引导扩散规划、流策略强化学习微调、π0.5/FAST 等），逐项判断是否适用，新增 §2.4，并据此把动作头升级为**一步流匹配头 + 碰撞代价引导 + 前缀条件**（§6.1A）。
 > - 基于 `main@3c7c814`（贴立柱修复后的规划器）。本文只是方案，代码尚未编写。
 > - 审查重点：§0 定位、§2 差异与优化、§5 输出表示、§7 后训练（APG）、§8 闭环部署与安全层、§9 验收。

@@ -87,6 +88,23 @@
 4. **APG 损失直接用我们的胶囊距离**（`segSegDist` 的可微版本），训练和部署检查同一套几何，消除"训练用球、检查用网格"的口径差（ELMP 的做法有这个差）。
 5. **数据便宜**：环境固定，老师离线 5 万条在沙箱约 5 小时即可，不需要集群。

+### 2.4 2024–2026 前沿生成式策略逐项评估（v2.2）
+
+用户问："能不能用更先进的大模型算法？"先说结论：**大模型本身（VLA，30 亿参数级）不适合这个任务**，但它们背后的几项**动作生成技术**很适合，而且能直接解决我们 v2 的三个弱点：K=4 固定模式太粗、动作块拼接处有顿挫、贴柱难例要靠规则兜底。
+
+| 技术（代表工作） | 核心做法 | 公开结果 | 用在我们这里？ |
+|---|---|---|---|
+| **流匹配动作头**（π0 / π0.5 action expert，2024–25） | 用流匹配从噪声生成连续动作块，天然多模态 | π0 以 50 Hz 输出 50 步动作块 | ✅ **采纳**，替换 K=4 WTA 头：不再只有 4 个固定"模式"，左绕/右绕/上绕及其细分都能表达 |
+| **一步生成**：MeanFlow（MP1，AAAI 2026）、OFP（2026）、条件 OT 耦合（CoRL 2025）、Consistency Policy / OneDP | 学"平均速度场"或自蒸馏，1 次前向就出动作，不需迭代去噪 | MP1 推理约 6.8 ms；OFP 一步超过 100 步扩散，并在 π0.5 上一步胜过原 10 步；OneDP 1.5 Hz → 62 Hz | ✅ **采纳 OFP/MeanFlow**：OFP 从零自蒸馏，**不需要预训练老师模型**，与"无老师"原则一致；推理仍是 1–2 次前向 |
+| **代价引导采样**（MPD、EDMP、GPD，2023–25） | 采样过程中加入碰撞代价梯度，把轨迹推离障碍 | MPD/EDMP 引导显著提高成功率；GPD 约 0.8 s | ✅ **采纳，但只在 1–2 步内做**：我们已有可微胶囊距离（APG 要用），在去噪最后一步加一次梯度修正，几乎零额外训练成本。不采纳整条轨迹扩散（MPD 约 1 s，太慢） |
+| **扩散种子 + 优化**（DiffusionSeeder + cuRobo，CoRL 2024） | 扩散给初值，GPU 轨迹优化几轮 | 真机规划 26 ms，比 cuRobo 成功率高 51% | ⚠️ 部分采纳：只保留"对已生成动作块做 2–3 次局部梯度修正"，不引入全局轨迹优化器（那等于又加回一个老师） |
+| **实时动作块执行 RTC**（Black 等，NeurIPS 2025） | 生成新动作块时，把已提交但未执行的动作当作"已知前缀"补全，异步推理不卡顿 | 解决动作块拼接处的停顿与跳变 | ✅ **采纳**：以"已提交的 3 步"为前缀条件生成新块，替代 v2 的时间集成；推理偶发超时也不会顿挫 |
+| **流/扩散策略的强化学习微调**（DPPO，ICLR 2025；ReinFlow，NeurIPS 2025） | 在仿真里用 PPO 类方法微调生成式策略 | ReinFlow 在操作任务上成功率平均提升 40%，可在 1–4 步去噪下微调，比 DPPO 省 60%+ 时间 | ✅ **采纳为第三阶段（可选）**：APG 擅长连续可微目标；"到达/卡死/安全层刹停次数"这类离散目标交给 ReinFlow。仿真就是我们的 GPU 批量 FK + 胶囊检测，3090 上可跑 |
+| **FAST 动作分词 / π0.5 知识隔离**（2025） | DCT 压缩动作块成离散 token，供大语言模型骨干学习 | FAST 训练提速最多 5 倍 | ❌ 分词本身不采纳（为语言大模型服务，自回归推理慢）；⚠️ 借鉴"频域/样条表示"：动作块改用 **B 样条控制点**输出，平滑性由表示保证 |
+| **VLA 大模型**（π0/π0.5、GR00T、OpenVLA） | 视觉语言骨干 + 动作专家 | 3B 模型单次预填充 46 ms（4090） | ❌ 不采纳：我们没有图像、没有语言指令，环境固定精确；30 亿参数只会更慢，不会更准 |
+
+**结论：v2.2 采纳"一步流匹配头 + 碰撞代价引导 + 前缀条件 + B 样条表示 + 可选 ReinFlow"。** 这正是 π0.5、MP1/OFP、MPD、RTC 这几条前沿线在"低维状态、精确几何、实时控制"场景下的组合，规模仍然是几百万参数。
+
 ---

 ## 3. 训练环境
@@ -229,6 +247,23 @@ K×16 个可学习动作 token ──▶ 4 层 Transformer decoder（非自回
 | 参数量 | 约 3–4 M（DRP 为 4.67 M，含点云编码） |
 | 推理 | 一次前向得到 4 条候选动作块 |

+
+### 6.1A v2.2 动作头升级：一步流匹配（默认）与 WTA（基线）
+
+| | v2 WTA 头（保留为基线） | **v2.2 一步流匹配头（默认）** |
+|---|---|---|
+| 多模态 | 固定 K=4 个模式 | 连续分布；每周期并行采 K=8 个噪声 → 8 条候选 |
+| 训练 | WTA-L1 + 模式 CE | OFP 自蒸馏（或 MeanFlow），从零训练，无需预训练老师模型 |
+| 输出 | 16 步 Δq | **B 样条**：6 个控制点 × 6 关节，再采样成 16 步；自带平滑 |
+| 前缀条件 | 无，靠时间集成 | 输入"已提交前 3 步"，新块从前缀接着走（RTC 思路） |
+| 碰撞引导 | 无 | 最后一步加一次可微胶囊距离梯度修正：a ← a + η·∇d_capsule（d < 安全距离时） |
+| 推理成本 | 1 次前向 | 1–2 次前向 + 1 次解析梯度（JS 实现，不走 ONNX） |
+| APG 兼容 | ✅ | ✅（固定噪声后生成器是确定性可微映射） |
+
+模式粘滞改为"噪声粘滞"：上一周期选中候选的噪声向量保留下来，本周期作为 8 个噪声之一，相邻周期自然延续同一绕行方向。子目标头、价值头（§8.5）保持不变。
+
+M4 同时实现两种头，M5 预训练后在 near_column + held-out 上 A/B；若一步流匹配不优于 WTA，回退 WTA（风险可控）。
+
 ### 6.2 预训练损失

 ```
@@ -474,6 +509,7 @@ tests/policy_bench.cjs
 | M4 | 模型 + 训练工程 + 闭环仿真；小数据过拟合测试 | `train.py`、`closed_loop.py` | 沙箱 CPU 验证可跑 |
 | M5 | 预训练（行为克隆） | checkpoint | **用户 GPU** |
 | M6 | APG 微调 + 挖错循环 3–6 轮 | 每轮 report.md | **用户 GPU** |
+| M6b | （可选）ReinFlow 强化学习微调：奖励 = 到达 − 刹停次数 − 卡死 − 用时 | 对比 M6 | **用户 GPU** |
 | M7 | 导出 ONNX + `ik-policy.js` 闭环部署 + 安全层实测 + `policy_bench` | 对比表 | 沙箱 + 浏览器 |
 | M8 | 移除查看器里对 `solveDyn`/`routeRT`/路网的运行时依赖（保留在 `ml/gen` 离线使用） | 部署包瘦身 | 沙箱 |

@@ -485,6 +521,7 @@ tests/policy_bench.cjs
 - Fishman et al., *Avoid Everything: Model-Free Collision Avoidance with Expert-Guided Fine-Tuning*, CoRL 2024 Workshop（DRP 文中引用为 MπFormer）
 - Li et al., *ELMP: Efficient Learning for Motion Planning via Analytical Policy Gradients*, arXiv 2607.00215, 2026. https://arxiv.org/abs/2607.00215
 - 控制周期：Franka FCI https://frankarobotics.github.io/docs/overview.html ；UR RTDE https://www.universal-robots.com/articles/ur/interface-communication/remote-control-via-tcpip ；ABB EGM 应用手册 3HAC073318；KUKA RSI https://docs.quanser.com/quarc/documentation/kuka_rsi_block.html ；MoveIt Servo servo_parameters.yaml；Diffusion Policy https://arxiv.org/abs/2303.04137 ；π0 https://arxiv.org/abs/2410.24164 ；实时动作块执行 https://arxiv.org/abs/2506.07339
+- 前沿生成式策略（v2.2）：π0 https://arxiv.org/abs/2410.24164 ；π0.5 https://arxiv.org/abs/2504.16054 ；知识隔离 https://arxiv.org/abs/2505.23705 ；FAST https://arxiv.org/abs/2501.09747 ；MP1 https://arxiv.org/abs/2507.10543 ；OFP https://arxiv.org/abs/2603.12480 ；条件 OT 流策略 https://proceedings.mlr.press/v305/sochopoulos25a.html ；Consistency Policy https://arxiv.org/abs/2405.07503 ；OneDP https://proceedings.mlr.press/v267/wang25ba.html ；MPD https://arxiv.org/abs/2308.01557 ；EDMP https://arxiv.org/abs/2309.11414 ；GPD https://arxiv.org/abs/2501.18229 ；DiffusionSeeder https://arxiv.org/abs/2410.16727 ；RTC https://arxiv.org/abs/2506.07339 ；DPPO https://arxiv.org/abs/2409.00588 ；ReinFlow https://arxiv.org/abs/2505.22094
 - Ross, Gordon, Bagnell, *A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning*（DAgger），AISTATS 2011

 ## 14. 需要用户确认