Transformer 避障运动策略：无老师闭环部署方案（审查稿 v2.3.1）

• v1（2026-10-17 20:06，40af3b4）：模型一次生成整条 32 点路径，失败回落到原规划器（"有老师部署"）。
• v1.1（20:25，c51f8f9）：加入后训练挖错循环。
• v2（本稿）：按用户决定改为 无老师部署 + 每个控制周期重算（闭环），删除全部"回落原规划器"设计； 加入具身智能领域主流做法的调研与对比（§1–§2），并据此调整模型输出、后训练方法和验收标准。
• v2.1（2026-10-17 20:58）：训练机定为 RTX 3090 24 GB；near_column 验收改为 30/30，新增 §8.5「为什么会超时、无老师怎样做到 30/30」；新增 §8.6 控制周期业界调研与评估。
• v2.2（2026-10-17 21:10）：调研 2024–2026 前沿生成式策略（流匹配/MeanFlow 一步生成、实时动作块 RTC、代价引导扩散规划、流策略强化学习微调、π0.5/FAST 等），逐项判断是否适用，新增 §2.4，并据此把动作头升级为一步流匹配头 + 碰撞代价引导 + 前缀条件（§6.1A）。
• v2.3（2026-10-17 21:30）：逐项可行性核查。 4 路全文精读（约 40 篇论文）+ 沙箱 2D 双模态绕柱对照实验，对每一项方案给出证据等级、残余风险、门禁测试和回退；发现并修正 4 处硬伤（安全层离散检查漏检、animTo 时间律不可学、交叉淡入绕过安全层、训练/部署节奏不一致）和 24 处内部不一致。核查结论见新增 §0A，全部证据见 docs/方案逐项核查报告.md。
• 基于 main@3c7c814（贴立柱修复后的规划器）。本文只是方案，代码尚未编写。
• 审查重点：§0 定位、§2 差异与优化、§5 输出表示、§7 后训练（APG）、§8 闭环部署与安全层、§9 验收。

0. 定位与边界

为什么安全层必须保留：调研里最好的神经运动策略在静态场景里仍有约 10% 的轨迹发生碰撞（§1 DRP 附录表 6、ELMP 表 I）。 我们的环境几何完全已知、检查只要几毫秒，保留它代价极小，却把"偶尔撞一下"变成"偶尔停一下"。

0A. v2.3 逐项可行性核查结论（必读）

先说清楚一件事：没有任何方案能在实测前被"证明完全没有风险"。 论文证据只能说明"别人在相近条件下做成过"；我们的条件（低维状态、单根固定立柱、5M 参数、浏览器推理、30/30）没有一篇论文完全一样。所以 v2.3 的做法是：每一项都给出①证据等级 ②残余风险 ③在本仓库可测的门禁（通不过就不进下一步）④通不过时的回退。唯一做成"硬保证"的是安全层（改为距离认证后，碰撞与否不依赖模型好坏）。

证据等级：A 有充分证据（直接先例 + 数字） · B 部分证据（相近先例，需本仓库验证） · C 仅推断 · ✗ 有反证（已修改）

0A.1 四处硬伤（已在正文修正）

0A.2 逐项核查表

0A.3 沙箱对照实验（2D 绕柱双模态，CPU）

为验证"一步生成会不会把左右平均成穿柱"，在沙箱做了一个最小实验：2D 点从柱左侧到右侧，示教一半从上绕一半从下绕，16 步动作块、每 3 步重推理，与本方案同构。代码 ml/toy/toy_bimodal.py，150 个"起终点都贴近中轴"的难例：

结论与局限：

• 证实：朴素 1 步流匹配会把模态平均到柱子里（23% 穿柱），必须用 MeanFlow/Shortcut 一类；MeanFlow 1 步达到 10 步流匹配的质量，推理快约 8 倍。
• 证实：安全层在所有方法上都把穿柱降为 0，代价是刹停次数。
• 没能区分：闭环里状态一偏离中轴，MSE/WTA 也能自然打破对称，所以这个玩具任务太容易，分不出一步头和 WTA 谁更好。真实 6 轴、位姿目标下的多峰更复杂，必须在 M5 用真实数据 A/B，不能凭论文或玩具定结论。
• 早期 300 步训练的 MSE 在同一难例上 100% 穿柱、加安全层后 0% 到达（卡死），说明"欠拟合时平均模态"的风险真实存在。

0A.5 修复状态（v2.3.1）

《方案逐项核查报告》是修复前的审查记录：它列的是问题和证据，不是修复结果。修复结果都落在本文正文里，状态如下：

0A.4 仍需用户确认 / 实测才能消除的风险

1. 浏览器端推理延迟（最大不确定项，M4 后第一时间测）。
2. 真机电机/驱动/通信方式（决定插补频率与刹停加速度上限）。
3. 老师一致性（M1 第一项门禁）。
4. Neural MP 式"运行时采样多条、用解析距离挑选"是否算违反"无运行时老师"——v2.3 的理解是不算（不做搜索，只对模型自己的候选打分），请确认。

1. 业界调研：具身智能里的神经运动规划

以下数据均来自论文原文（链接见 §13）。

几个关键数字：

• DRP：迭代师生微调使成功率比纯预训练提高 45%；纯预训练的 IMPACT "经常有轻微碰撞"。
• ELMP：只用 1 万条老师轨迹 + APG（成功率 72.0%、碰撞 19.4%）就超过 60 万条纯行为克隆（57.9%、31.9%），老师数据少 60 倍；APG 把环境碰撞率降到原来的 1/3 以下。新环境下，采样 20 万个 APG 问题约 4.5 CPU 小时，而生成同样数量的老师轨迹要 1194 CPU 小时以上。
• 即便最好的方法，静态场景碰撞率也约 9–10%（ELMP-APG 8.9%，DRP 10.16%）——所以实际部署都配有某种检查或反应层。

行业共识：

1. 都是闭环策略，每个周期根据当前状态重新出动作，而不是一次性出整条路径。
2. 输出短动作块（10 步左右）并滚动执行，兼顾平滑和反应速度。
3. 老师只用于离线造数据；微调阶段倾向于便宜的老师（局部控制器）或不要老师（可微代价）。
4. 纯模仿有"分布偏移、误差累积"问题，必须做后训练（DAgger / 师生微调 / APG）。

2. 我们的方案和主流的差异，以及据此做的优化

2.1 我们的独特条件

结论：我们的问题比主流窄得多也"干净"得多，主流用来对付感知噪声和环境泛化的大部分复杂度（点云、千万级数据、多环境）都可以省掉，资源应投在闭环稳定性、多解选择和安全层上。

2.2 v1 方案与主流的差异 → v2 的调整

2.3 v2 相对主流的额外优化点

1. 精确安全层：主流因感知噪声做不到精确检查，我们可以。每周期对即将执行的动作段做 1° 细验 + 半格复验，保证只执行检查过的动作。
2. 可刹停不变式：只有当"执行这一段之后，仍存在一条已检查过的刹停轨迹"时才执行（见 §8.3），保证任何周期推理失败都能安全停住。
3. 模式粘滞：闭环每周期重算最怕左右摇摆（这一帧选左绕、下一帧选右绕）。部署时对"切换模式"加代价，除非当前模式不安全（§8.2）。
4. APG 损失直接用我们的胶囊距离（segSegDist 的可微版本），训练和部署检查同一套几何，消除"训练用球、检查用网格"的口径差（ELMP 的做法有这个差）。
5. 数据便宜：环境固定，老师离线 5 万条在沙箱约 5 小时即可，不需要集群。

2.4 2024–2026 前沿生成式策略逐项评估（v2.2）

用户问："能不能用更先进的大模型算法？"先说结论：大模型本身（VLA，30 亿参数级）不适合这个任务，但它们背后的几项动作生成技术很适合，而且能直接解决我们 v2 的三个弱点：K=4 固定模式太粗、动作块拼接处有顿挫、贴柱难例要靠规则兜底。

v2.3 核查修正（见 §0A）：①碰撞代价引导改为输出后的事后投影（1–2 步生成下无引导证据）；②RTC 改为训练时前缀条件化（2512.05964，推理零开销）；③一步头首选 MeanFlow（沙箱验证）或 Shortcut+COT，否决 Consistency Policy/OneDP/朴素 1 步 FM；④B 样条降为可选；⑤OFP 未找到公开代码，不作首选。

结论：v2.2 采纳"一步流匹配头 + 碰撞代价引导 + 前缀条件 + B 样条表示 + 可选 ReinFlow"。 这正是 π0.5、MP1/OFP、MPD、RTC 这几条前沿线在"低维状态、精确几何、实时控制"场景下的组合，规模仍然是几百万参数。

3. 训练环境

conda create -n armtf python=3.11 -y && conda activate armtf
pip install torch --index-url https://download.pytorch.org/whl/cu121   # 按本机 CUDA 版本选
pip install numpy pyarrow tqdm tensorboard onnx onnxruntime

4. 第一步：离线造预训练数据（老师只在这里出现）

4.1 新增文件

复用 tests/route_bench_setup.cjs 装配求解器（关节表、docs/travel.json、docs/collide.json）。

4.2 一条原始样本

{
  "id": "s0003_000127", "mode": "pos" | "pose",
  "q0": [6], "T": [x,y,z], "R": [[3x3]] | null, "tool": 0,
  "path": [[6], ...],        // 老师折线 q0 → via... → q_end
  "reached": true,           // false = 目标不可达，q_end 为离目标最近的安全位形（"停靠"）
  "travel_deg": 123.4, "plan_ms": 812.0,
  "fp": "collide.json 指纹"
}

4.3 采样分布（5 万条任务）

关节限位（docs/travel.json）：J1/J3/J6 连续 ±180°；J2 [−92, 9]，J4 [−111, 16]，J5 [−93, 34]。

• pos / pose 各半；老师用 solveDyn（松手口径）。
• 测试集隔离：固定种子另造 2000 条留出；三个基准案例不进训练集。

4.4 过滤

1. 整条路径 1° 细验 + 半格复验，任一段干涉即丢弃。
2. poseRelaxed 样本只当 pos 模式用。
3. 行程 > 同任务 routeRT 1.5 倍的视为绕远（先统计，再定是否丢弃）。

4.5 时间参数化 → 闭环训练样本（v2 新增，关键）

闭环策略学的是"在某个状态下，接下来 16 步怎么走"，所以要把整条路径切成很多个"状态 → 动作块"样本：

1. （v2.3 修正，见 H2） 不再沿用 animTo 的全局 smoothstep + 总时长夹取。改为局部可观测时间律：按轴速比 VREL = [0.6, 0.6, 0.9, 0.9, 1.2, 1.8] 匀速巡航，加减速为梯形，且只取决于"当前速度 + 剩余路程"（加速度上限另设），控制周期 dt = 20 ms；当前速度 q_t − q_{t−1} 作为输入。
2. 得到状态序列 q_0, q_1, …, q_N。对每个 t（每隔 3 步取 1 个，减少冗余）生成样本：
   • 输入：当前 q_t、目标 (T, R, mode)
   • 标签：未来 S = 16 步的增量 Δq_{t+1..t+16} = q_{t+k} − q_t（到终点后补零，即"停住"）
3. 每条路径约 40–50 个样本（route_bench 平均执行约 2.5 s）→ 5 万条任务约 200 万个训练样本（以 M1 的 stats.json 为准）。
4. 路径后缀等于免费 DAgger（v2.3 删除：后缀仍是老师状态）。改为关节噪声增广（σ 0.5–1°）+ 离线老师重标，偏离状态的覆盖靠 §7。

4.6 耗时与存储

• solveDyn 约 0.7 s/条：5 万条在沙箱 2 进程约 5 小时；用户 8 核机器约 1.5 小时。
• 300 万样本 × 约 0.5 KB ≈ 1.5 GB 原始；Parquet 约 300 MB。

4.7 检查点

• ml/data/stats.json：类别、到达率、行程、样本数分布
• 抽 20 条在查看器回放（新增 ?replay= URL 参数）
• 测试集与训练集、基准案例无重叠

5. 第二步：表示与预处理

文件 ml/prep/build_dataset.py → train/val/test.parquet、norm.json。

5.1 输入（条件）

5.2 输出（动作块）

• K = 4 个模式，每个模式一整块 16 步 × 6 轴的关节增量 Δq（连续值，按每轴最大步长归一化）。
• 一个模式分类头：4 类 logits。
• 训练时 winner-takes-all：只对与标签最接近的那个模式回归，分类头学"选哪个"（MTR / 多模态轨迹预测的常用做法）。这样左绕、右绕会落到不同模式里，不会被平均到穿过立柱。
• 附加头：到达剩余时间估计（帮助排序和早停）。

5.3 连续轴

J1/J3/J6 统一用 unwrapTo 口径展开后再做增量；预处理和部署共用一份实现，§6.4 对拍时一并验证。

6. 第三步：模型与预训练（行为克隆）

6.1 结构（参考 IMPACT，去掉点云部分）

条件特征（约 60 维）──MLP──▶ 8 个条件 token (d=192)
                               │
               4 层 Transformer encoder
                               │ (memory)
K×16 个可学习动作 token ──▶ 4 层 Transformer decoder（非自回归，一次前向）
                               │
         ├─ 动作头：每 token 输出 6 维 Δq
         ├─ 模式分类头：K=4
         ├─ 价值头（剩余时间/代价）：1      ← v2.1，§8.5
         └─ 子目标头：2 个关节空间途经点 + 是否需要（触发：新目标或目标跳变 > 50 mm；到达子目标 < 5° 后切下一个；v2.3 定义）← v2.1，§8.5

6.1A v2.2 动作头升级：一步流匹配（默认）与 WTA（基线）

候选排序（v2.3 修正）：不用"噪声粘滞"（BID 中 7 个任务有 3 个变差），改为 BID 式一致性打分：分数 = −‖候选与上一已提交块重叠步之差‖²（加权）− λ·价值头剩余代价。子目标头、价值头（§8.5）保持不变。

M4 同时实现两种头，M5 预训练后在 near_column + held-out 上 A/B；若一步流匹配不优于 WTA，回退 WTA（风险可控）。

6.2 预训练损失

L = WTA-L1(动作块, 最近模式)               权重 1.0
  + CE(模式分类)                          权重 0.5
  + FK 损失：预测与标签位形下各连杆胶囊端点的位置差   权重 0.5   ← 借鉴 ELMP
  + 平滑：二阶差分                         权重 0.05
  + L1(剩余时间)                           权重 0.1   （与价值头共用一个输出，不重复）

一步流匹配头（v2.3 补）：

L = MeanFlow 损失（或 Shortcut 自一致 + FM 锚定损失）     权重 1.0
  + FK 损失：一步生成输出（固定噪声）的胶囊端点位置差     权重 0.5
  + 平滑：二阶差分（作用于一步输出）                      权重 0.05
  + 子目标头 L1 + 价值头 L1                               权重 0.1 / 0.1

6.3 训练配置

6.4 对拍与验证（每 epoch）

• ml/eval/collide_torch.py：胶囊距离的 PyTorch 批量版（可微，§7 要用），先与 JS collideFree 对拍 10 万个位形，判定 0 误差。
• 验证用闭环仿真而不是单步误差：从 1000 个验证任务的 q0 出发，每 20 ms 推理一次、提交前 3 步，直到到达或超时（超时 = 老师同任务路径动画时长 × 2，最少 3 s），统计到达率、用时 ≤ 老师 × 1.3 的达标率（与 §9.2 口径一致，v2.3）、碰撞步数（安全层关闭时）、行程比。

7. 第四步：后训练（无老师为主）

7.1 主力：APG 可微微调（借鉴 ELMP）

不再请老师标注，直接让模型在可微仿真里闭环展开，用代价反传：

for 每个 batch（随机采样 q0 和目标，82 ms 级别的便宜采样，不需要老师）:
    q = q0
    for t in 0..H-1  (H = 60 次推理 × 3 步 = 180 步 ≈ 3.6 s，与部署节奏一致；长任务分段截断反传，v2.3 更正):
        chunk, logits = π(obs(q, 目标))
        Δq = chunk[选中模式][0:3]          # 执行前 3 步，与部署一致
        q = clamp(q + Δq)                  # 限位
        累计 L_col(q), L_smooth(Δq)
    L = w_tgt·L_target(q_H) + w_col·ΣL_col + w_smooth·ΣL_smooth (+ w_len·行程)
    反传（BPTT），梯度裁剪 ≤ 1.0

• 碰撞项 L_col = Σ_胶囊对 ReLU(margin − 胶囊距离)，margin 取 collide.json 的 margin_mm 基础上再加 5 mm 训练余量；包含臂×立柱、臂×台架、臂×臂（非相邻段）。
• 到达项：位置误差² + λ_rot·‖R − R*‖_F²（弦距离，ELMP 同款，避免四元数梯度消失）。
• 平滑项：速度² + 加速度²。
• 可加 行程项，直接把"关节行程短"写进目标（ELMP 用笛卡尔路径长度项做过同类事情）。
• 模式选择不可导：用 Gumbel-Softmax，或对 K 个模式都展开 1 步再取最小代价（K=4，代价可接受）。
• 采样任务分布同 §4.3，但 B/C/D 类提到 60%。
• 预期：参照 ELMP，APG 主要降低碰撞率、提高末端精度；不需要任何老师计算。

7.2 辅助：闭环挖错 + 门禁（v1.1 循环的无老师版）

每轮：

1. 出题：新种子 5 万任务 + 2000 段模型在环拖拽仿真（目标沿随机曲线移动）。
2. 闭环作答：完全按部署方式运行（含模式粘滞，关闭安全层以暴露真实错误）。
3. 验算：GPU 批量胶囊检查；记录到达、碰撞、行程、摇摆次数。
4. 错题分类：E1 撞了 / E2 没到（超时或卡在局部极小）/ E3 绕远（> 1.2× 参考）/ E4 末端精度差 / E5 模式来回切换 ≥ 3 次 / E6 拖拽失稳。
5. 针对性训练：错题的起点和目标（以及 ±5 mm / ±3° 的 10 个邻居）加入 APG 的采样池，按类别加权（E1、E6 ×2）。
   • 只有 E2（卡在局部极小——可微代价本身解决不了的"需要绕远路"问题）才可选地请老师离线给一条路径做行为克隆补充。这是唯一残留的老师用途，量很小，可以在沙箱慢慢跑。
6. 门禁（v2.3：门禁集与 §9 验收集分开造，验收集只在最后用一次）：门禁集闭环到达率上升、三个基准不退化、上一轮修好的错题 95% 仍对；否则回滚。
7. 停止：连续 2 轮提升 < 0.5 个百分点，或满 6 轮，或达到 §9 全部标准。

7.3 可选：拒绝采样自蒸馏

对每个任务采样多条闭环轨迹（不同模式、不同温度），只保留验算通过且最短的一条做行为克隆标签——模型自己当老师。适合 APG 收敛后进一步缩短行程。

8. 第五步：无老师闭环部署

8.1 每个控制周期做什么（默认 50 Hz）

每 60 ms 推理一次（v2.3，见 H4；执行仍是 50 Hz，每步 20 ms）:
  1. 读当前 q（真机读编码器；查看器读当前插补位形）和最新目标（拖拽时每周期都在变）
  2. 推理一次：一步头 8 条候选（WTA 基线为 4 条）16 步动作块   延迟须 M4 实测
  3. 按"模式概率 − 切换代价"排序（§8.2）
  4. 安全层依次检查候选的前 n=3 步（60 ms 的运动）+ 刹停段（§8.3）
       第一个通过的 → 把这 3 步"提交"给插补器；记下 k_prev
       （实际上 20 ms 后只走完第 1 步，第 2、3 步是已验证的"缓冲"：
        下一周期的新结果会覆盖它们；若下一周期推理超时或全部不安全，就沿缓冲 + 刹停段安全停下）
  5. 全部不通过 → 进入刹停：按已验证的刹停轨迹减速停下，保持；下一周期继续推理
  6. 到达判据：TCP 误差 < 1 mm（pose 另需 < 0.5°）且速度≈0 → 结束；
     接近目标（< 5 mm）时可选做 1–3 次局部牛顿精修（solveTo 单步，不是全量 IK）；精修段同样必须通过安全层认证（v2.3）

v2.3：删除插补器交叉淡入/时间集成（见 H3）。执行的必须就是安全层认证过的那一块；块间连续性由前缀条件和一致性打分保证。"每 20 ms 重推理只执行 1 步"仅作 A/B 对照。

8.2 模式粘滞（防左右摇摆）

• WTA 基线：排序分数 = log p(k) − c·[k ≠ k_prev]，c 初值 2.0；k_prev 仅对 WTA 头作为输入。
• 一步头：BID 式一致性打分（见 §6.1A），不使用 k_prev / log p(k)。

8.3 安全层（唯一的硬保证）

• 检查内容（v2.3 修正，见 H1）：臂×立柱/台架用距离下界认证——段两端最小距离之和 > Σ_j r_j·|Δθ_j|（r_j 为每轴实测杠杆上界，J1 约 9.0 mm/°）即判整段安全，否则二分到通过或判不安全；自碰撞对复用 pair2d 杠杆界；外加关节限位。离散 1°+半格检查只作快速预筛，不再作为保证。现有代码口径实为 1.5°+半格，文档原写法有误。
• 可刹停不变式：执行前还要检查"从第 3 步末状态按最大减速度（v2.3 新增每轴加速度上限，待真机参数）停下"的刹停段也无干涉。于是任何时候系统都处在"有一条已验证的停车路线"的状态，下一周期就算模型完全失效，也只会停下、不会撞。
• 耗时（v2.3 重估）：每步主导轴 4–13°，3 步 + 刹停段按离散采样需 13–39 个位形；8 候选最坏 8 × 39 × 1.25 ms ≈ 390 ms（不可接受）→ 实际做法：
  • 距离认证：每段一次距离查询覆盖整段，不通过才二分，通常 2–6 次查询；
  • 先用现有包围球预筛（大多数位形直接判安全，见 2026-10-15 记录 collideFree 2.9→1.8 ms）；
  • 按排序逐个检查，第一个通过就停（多数周期只检查 1 条）；
  • 目标：每周期安全检查 < 5 ms（需在 M6 实测；不达标则把检查放到 Web Worker 与推理流水线并行）。
• 现有 ik-glue.js 的"每帧碰撞守卫"保留，作为第二道保险。

8.4 部署包里有什么、没有什么

collide.json 指纹写进模型；不一致时前端拒绝运行并提示重训（不再回落旧规划器）。

8.5 为什么会"超时"，以及无老师怎样做到 30/30

超时不是算得慢。 模型每周期只要几毫秒，比原规划器快得多；"超时"指的是机械臂在规定时间内没走到目标，是决策错了，不是计算慢了。无老师闭环下有三种典型情形：

原规划器不会这样，是因为它做全局搜索（PRM + A*）。去掉老师后，全局"想清楚往哪绕"这件事必须由模型自己承担。v2.1 用五个手段（全部在运行时不需要老师）把 near_column 要求提到 30/30：

1. 全局子目标头（分层）：模型在冷启动（新目标到达的第一个周期）额外输出 1–2 个途经点（关节空间），作为"绕柱方向"的锚点；之后每周期的动作块以"当前子目标"为条件，到达子目标后切到下一个。训练标签直接取自老师路径的拐点（离线已有）。这相当于把老师的全局搜索结果蒸馏成一次前向。
2. 价值头（剩余代价估计）：模型额外预测"从这个状态到目标还要多少时间"。APG 展开时有真实值可监督，不需要老师。部署时用它给 K 个模式打分，并作为"有没有进展"的判据。
3. 短前瞻选模式：每次推理对候选（WTA 4 条 / 一步头 8 条）各自再往前推一块（共 2 次批量前向，延迟待实测），用 胶囊碰撞 + 价值头 给 32 步后的终态打分，选最好的。比只看第一块的概率更能避开"走两步就撞墙"的分支。
4. 卡死检测 + 强制换向：0.3 s 内价值头没有下降、或连续 2 个周期刹停 → 判定卡死，强制切到另一个绕行方向（另一个子目标/模式）并锁定 1 s（防止又切回来）。规则很简单、确定性、可测试。
5. 训练侧针对性加强：贴柱类任务在 APG 采样里占 40%；APG 展开长度覆盖整段绕行（约 3 s = 150 步 = 50 次推理，分段截断反传）；对贴柱任务做拒绝采样自蒸馏（§7.3），模型自己成功的路线成为新标签。

验收相应改为（§9.2）：near pos / near rt 都必须 30/30，且到达用时 ≤ 老师路径动画时长 × 1.3。

8.6 控制周期：业界案例与评估

工业臂 / 研究臂的外部实时接口（伺服层）

学习型策略的推理周期（策略层）

结论：业界一律是"两层"结构——策略层 10–50 Hz（少数到 300 Hz）给出关节目标，伺服/插补层 125 Hz–1 kHz 负责平滑跟踪。没有人让神经网络直接跑 1 kHz 伺服环。

对本方案的评估：

1. 策略层 50 Hz（20 ms）合适：与 π0、ACT 同档，高于 ELMP 的 30 Hz 和 MπNets 的 9 Hz；我们模型小（3–4 M）、无点云，v2.3：推理每 60 ms 一次（执行仍 50 Hz），推理 + 安全 < 20 ms 为目标，须实测。浏览器 rAF 为 60 Hz、与 20 ms 不整除且后台标签页会节流，执行时钟放 Web Worker、按实际 dt 插值。
2. "提交 3 步（60 ms）"合适，且应按刹停距离定：它的作用是给推理抖动和通信滞后留缓冲。ABB EGM 自身就有 10–20 ms 滞后；60 ms 足以覆盖一次推理超时 + 一次滞后。真机上应改成规则：提交步数 n ≥ ⌈(通信滞后 + 1 次推理最坏耗时) / 20 ms⌉ + 1，且刹停段另行验证。
3. 伺服层不归本方案管，但要匹配：策略输出 50 Hz 关节目标，由插补器升采样到电机控制器的频率（舵机 50 Hz 直接用；总线舵机/步进/FOC 驱动通常 ≥ 250 Hz–1 kHz，做三次样条插值）。
4. 做成可配置：dt（默认 20 ms）、提交步数 n（默认 3）、动作块长度 S（默认 16 = 320 ms）。训练数据按 dt = 20 ms 生成；若真机必须改到 10 ms（100 Hz），只需把动作块重采样，或用 dt = 10 ms 重造数据（约 5 小时）。
5. 你的电机/驱动型号确定后，按第 2、3 条把 n 和插补频率定下来。

9. 第六步：评估与验收

9.1 测试集合

新增 tests/policy_bench.cjs：①现有规划器 ②策略（关安全层）③策略 + 安全层（部署形态），输出对比表。

9.2 验收标准（部署形态 = 策略 + 安全层）

说明：v2 曾提议 near_column 允许 29/30，用户否决（2026-10-17）。为保证 30/30，部署侧加入子目标头、价值头、短前瞻和卡死换向（§8.5）。

10. 风险与维护

1. 局部极小：可微代价和闭环策略都可能卡在立柱前"想直穿过去又被安全层挡住"。对策：B/C 类数据加权、模式头学左右绕、E2 错题少量老师补数据（§7.2）。这是无老师方案最大的风险。
2. 碰撞模型/立柱变动 = 重训：指纹不一致即拒绝运行。重训流程：§4（约 5 h）→ §6（约 1.5–5.6 h，以 2000 步吞吐实测为准）→ §7（约 2–4 h）。
3. 安全层耗时：最坏周期可能超 5 ms，见 §8.3 的流水线方案。
4. 老师缺陷：ci27 姿态根枚举漏分支（姿态偏差约 97.5°）会进入预训练数据；APG 的姿态到达项可以部分纠正，必要时先修老师。
5. 真机迁移：浏览器的"执行"是理想插补；真机需加速度/力矩限制（TOPP 类时间参数化）和跟踪误差余量（把 margin 再加大）。

11. 目录规划

ml/
  gen/        gen_dataset.cjs  sampler.cjs  run_parallel.sh
  data/       （不入库）shard_*.jsonl  stats.json  *.parquet  norm.json
  prep/       build_dataset.py
  model/      policy_transformer.py
  sim/        closed_loop.py          # 闭环仿真（训练验证、挖错、APG 展开共用）
  eval/       collide_torch.py        # 可微胶囊距离，与 JS 对拍
  apg/        apg_finetune.py
  mining/     mine_round.py  gate.py  loop.sh
  configs/    base.yaml  apg.yaml
  train.py  export_onnx.py  README.md
webapp/js/ik-policy.js               # 闭环推理 + 模式粘滞 + 安全层 + 刹停
webapp/models/traj_v2.onnx  traj_v2.norm.json
tests/policy_bench.cjs

12. 里程碑

13. 参考文献

• Fishman et al., Motion Policy Networks, CoRL 2022. https://arxiv.org/abs/2210.12209 ；闭环细节见补充材料 https://proceedings.mlr.press/v205/fishman23a/fishman23a-supp.pdf
• Dalal et al., Neural MP: A Generalist Neural Motion Planner, 2024 / IROS 2025. https://arxiv.org/abs/2409.05864
• Yang, Liu et al., Deep Reactive Policy: Learning Reactive Manipulator Motion Planning for Dynamic Environments, CoRL 2025. https://arxiv.org/abs/2509.06953
• Fishman et al., Avoid Everything: Model-Free Collision Avoidance with Expert-Guided Fine-Tuning, CoRL 2024 Workshop（DRP 文中引用为 MπFormer）
• Li et al., ELMP: Efficient Learning for Motion Planning via Analytical Policy Gradients, arXiv 2607.00215, 2026. https://arxiv.org/abs/2607.00215
• 控制周期：Franka FCI https://frankarobotics.github.io/docs/overview.html ；UR RTDE https://www.universal-robots.com/articles/ur/interface-communication/remote-control-via-tcpip ；ABB EGM 应用手册 3HAC073318；KUKA RSI https://docs.quanser.com/quarc/documentation/kuka_rsi_block.html ；MoveIt Servo servo_parameters.yaml；Diffusion Policy https://arxiv.org/abs/2303.04137 ；π0 https://arxiv.org/abs/2410.24164 ；实时动作块执行 https://arxiv.org/abs/2506.07339
• 前沿生成式策略（v2.2）：π0 https://arxiv.org/abs/2410.24164 ；π0.5 https://arxiv.org/abs/2504.16054 ；知识隔离 https://arxiv.org/abs/2505.23705 ；FAST https://arxiv.org/abs/2501.09747 ；MP1 https://arxiv.org/abs/2507.10543 ；OFP https://arxiv.org/abs/2603.12480 ；条件 OT 流策略 https://proceedings.mlr.press/v305/sochopoulos25a.html ；Consistency Policy https://arxiv.org/abs/2405.07503 ；OneDP https://proceedings.mlr.press/v267/wang25ba.html ；MPD https://arxiv.org/abs/2308.01557 ；EDMP https://arxiv.org/abs/2309.11414 ；GPD https://arxiv.org/abs/2501.18229 ；DiffusionSeeder https://arxiv.org/abs/2410.16727 ；RTC https://arxiv.org/abs/2506.07339 ；DPPO https://arxiv.org/abs/2409.00588 ；ReinFlow https://arxiv.org/abs/2505.22094
• Ross, Gordon, Bagnell, A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning（DAgger），AISTATS 2011

14. 需要用户确认

1. 训练机显卡：已定 RTX 3090 24 GB。
2. near_column 29/30：已否决，要求 30/30（§8.5）。
3. 控制周期：按 §8.6 评估保持策略层 50 Hz、提交 3 步；请告知真机电机/驱动类型与通信方式，用于确定插补频率和提交步数。