cbb/Robot_Arm
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
8bfe9bc08377f3a3066555375d9d240675f01abe
Robot_Arm/docs/Transformer轨迹拟合训练方案.md
T

35 KiB
Raw Blame History

Transformer 避障运动策略：最终方案

基于 main@3c7c814（贴立柱修复后的规划器）。本文是方案，代码尚未编写。 训练机：RTX 3090 24 GB。部署：浏览器（后续真机）。

0. 定位与边界

项目 决定
部署形态 无运行时老师：运行时只有「神经策略 + 碰撞安全层」，不加载 IK 大表、PRM 路网、A*/RRT，也不调用 solveDyn / routeRT
运行方式 闭环滚动执行：执行频率 50 Hz（每步 20 ms）；每 60 ms 读一次当前关节角和目标，推理一段 16 步动作块，安全层认证后提交前 3 步
碰撞安全层 不做搜索，只对模型给出的候选做距离下界认证（§8.3），不安全就换候选或沿已认证刹停段停下
老师的角色 只在离线出现：生成预训练数据；后训练以可微碰撞代价为主（§7）
不做的事 不学动力学（速度/加速度上限由时间律与插补器保证）；不用相机/点云（环境固定：台架 + P01 立柱，几何已知）
收益目标 冷启动（新目标到第一个动作）< 10 ms；每次推理 + 安全认证 < 20 ms；消除现有拖拽重规划 P99 约 321 ms 的长尾
底线 实时拖拽碰撞帧 = 0（由安全层距离认证保证）；到达率、行程在 §9 指标上不低于现有规划器

关于"风险"： 论文证据只能说明"别人在相近条件下做成过"，没有一篇论文的条件（低维状态、单根固定立柱、约 4M 参数、浏览器推理、30/30）与本项目完全一致。因此本方案中只有安全层是硬保证；每个设计点都已定为唯一选择（§1.1），只有 MeanFlow 头带一个预先写定触发条件的回退（碰撞与否不依赖模型好坏）；其余每一项都配有证据等级、本仓库可测的门禁（不过不进下一步）和回退（§10）。

1. 方案总览

模块 最终选择 证据等级 关键依据
模型规模 约 4.9M 参数编码器-解码器 Transformer，不用 VLA 大模型 A IMPACT 4.67M、300 Hz；π0 3B 单次预填充 46 ms（4090）
数据 规划器离线造 5 万条任务 → 约 200 万"状态→动作块"样本 B MπNets、DRP、ELMP 均用规划器老师
时间律 匀速巡航 + 梯形加减速，只依赖"当前速度 + 剩余路程"；当前速度作输入 B MπNets 将老师路径重定时为匀速
动作表示 16 步 × 6 轴关节增量 Δq A DRP；Diffusion Policy（位置式优于速度式）
动作头 MeanFlow 一步生成头，每次并行采 8 个噪声 → 8 条候选 B 沙箱双模态实验（§2.4）；MP1 约 6.8 ms
块间连续 训练时前缀条件化：输入已提交未执行的步 B 2512.05964：推理零开销，d≥2 时优于推理时 RTC
碰撞修正 输出后 1 步解析胶囊距离梯度投影（每轴 ≤ 0.5°，仅 d < 余量时） B DiffusionSeeder：少步生成下在环引导收益很小；投影在已知环境下够用
候选排序 与已提交块重叠步的一致性打分 + 价值头 B BID：一致性打分 + 多样本相对提升 32%
预训练 行为克隆 + FK 胶囊端点损失 B ELMP 式 FK 损失
后训练（主） APG：可微运动学展开 + 胶囊距离代价反传 A ELMP：碰撞率 31.3%→8.9%；1 万示范 + APG 胜 60 万纯 BC
后训练（辅） 无老师挖错循环 + 门禁 B DRP 迭代微调 +45%
安全层 距离下界认证 + 可刹停不变式 A Schwarzer 2005 连续认证；Thumm & Althoff 2022 failsafe
30/30 手段 子目标头、价值头、冷启动/卡死时短前瞻、卡死换向 B / C AWE、SHAC、BID
老师 PRM 路网 A* + 捷径平滑（确定性）；A* 失败才用 solveDyn B MπNets：老师不一致碰撞率 13.78%，一致老师 0.94%
推理后端 onnxruntime-web wasm-SIMD 多线程 C 小模型下 WebGPU 调度开销占主导

1.1 取舍决定（每项只有一个答案）

选项 利 弊 决定
动作头：MeanFlow 一步头 vs WTA K=4 MeanFlow：连续多模态，能同时表达左/右绕行与位姿目标的多个 IK 分支；沙箱 1 步达到 10 步流匹配质量。WTA：训练稳、实现简单 MeanFlow：训练需 JVP（训练慢约 1.5–2 倍）、原生版本在部分任务失败（K-MF 表 1）。WTA：只有 4 个固定模式，左右 × 肘/腕分支可能超过 4 个；沙箱分不出两者高下 上 MeanFlow。WTA 不实现；只有 M5 门禁不过（near_column 穿柱率高于 2% 或训练发散）才换成 WTA K=8，二者共用骨干，切换约 1 天
Shortcut + 条件 OT 配对 无需 JVP 本项目无任何实测，组合无论文先例 不上
B 样条动作表示 平滑由表示保证；输出维度小 贴柱时拐角被抹圆、局部精度下降；只有间接证据；平滑已由梯形时间律 + 平滑损失保证 不上，固定 16 步 Δq
输出后梯度投影 修掉 1–2 mm 的轻微侵入，成本约 0.1 ms，减少刹停 推离数据分布、改变块间一致性；修不了"绕错侧" 上，限 1 步、每轴修正量 ≤ 0.5°，仅 d < 余量时触发
短前瞻（多推一块打分） 避开"走两步就撞墙"的分支 推理次数翻倍，加剧最大不确定项（浏览器延迟） 只在冷启动和卡死换向时上，平时不做
拒绝采样自蒸馏 进一步缩短行程 偏向贴柱、余量变小、多样性塌缩；APG 行程项已覆盖同一目标 不上
ReinFlow 强化学习微调 能直接优化到达/卡死/刹停等离散目标 RL 会重塑左右模式比例；奖励调参与训练多出数天；这些离散目标已由卡死换向规则 + APG 覆盖 不上
挖错循环中 E2 错题请老师补路径 解决可微代价绕不出的局部极小 量小、离线 上
老师：PRM 路网 A* vs solveDyn A*：确定性，同类任务左右选择一致，且是路网上的最短；solveDyn 覆盖更全 A*：受路网分辨率限制，个别任务失败 A 为主老师*，失败的任务用 solveDyn（固定种子）补
推理后端：WebGPU vs wasm WebGPU 大模型快 本模型约 4M 参数，WebGPU 每次调度 33–67 μs × 150–300 次，调度开销反而大 wasm-SIMD 多线程；M4 实测若 WebGPU P99 更低再换
训练余量 越大越不易被认证拒绝 越大行程越长、贴柱越难 5 mm
关节噪声增广 σ 覆盖偏离状态 过大产生无意义状态 1°
局部牛顿精修 末端精度到 < 1 mm 无 上，同样过安全层

证据等级：A 有直接先例与数字 · B 有相近先例，需本仓库验证 · C 仅推断。

2. 依据

2.1 业界神经运动规划

工作 年份 / 会议 输入 输出 老师与数据量 关键做法 运行方式
MπNets（NVIDIA） 2022 CoRL 点云 + 关节角 + 目标位姿 下一步关节位置 规划器 300 万+ 问题 端到端行为克隆；老师路径重定时为匀速 闭环 9 Hz，1 kHz PD 跟踪
Neural MP（CMU） 2024 / IROS 2025 点云 + 关节角 + 目标 GMM（LSTM） 100 万–300 万条 测试时采样多条，选穿透最少的（去掉后成功率 81%→31%） 开环为主
DRP / IMPACT（CMU） 2025 CoRL 点云 + 关节角 + 目标关节角 10 步关节增量 cuRobo 1000 万条 大规模预训练 + 迭代师生微调 + "目标被挡停在最近安全处" 闭环；4.67M 参数，300 Hz
ELMP（ETH） 2026 arXiv 点云 + 关节角 + 目标位姿 关节增量 AIT* 约 60 万条 行为克隆后 APG 微调，碰撞/到达/平滑损失直接反传 闭环 30 Hz
  • ELMP：1 万条老师轨迹 + APG（成功率 72.0%）超过 60 万条纯行为克隆（57.9%）；APG 把碰撞率降到 1/3 以下。
  • 最好的方法在静态场景仍有约 9–10% 碰撞（ELMP-APG 8.9%，DRP 10.16%），实际部署都配检查或反应层。
  • 共识：闭环、短动作块滚动执行、老师只离线用、必须后训练。

2.2 本项目的条件

条件 主流 本项目 意味着
环境 未知、多变，靠点云 固定且精确已知（台架 + 立柱，1936 个胶囊） 不需要点云编码器；模型可以小；碰撞检查精确
机器人 Franka 7 轴 自研 6 轴，J1/J3/J6 连续转 需处理连续轴展开
碰撞模型 SDF / 球近似 胶囊解析距离，可微 直接做 APG；安全层可认证
平台 台式 GPU 浏览器（后续真机） 模型小，ONNX + WebGPU/wasm

资源应投在闭环稳定性、左右绕行选择和安全层上，而不是感知和泛化。

2.3 前沿生成式技术取舍

技术 结论 理由
VLA 大模型（π0/π0.5、GR00T、OpenVLA） 不采用 无图像、无语言指令；3B 参数更慢不更准
一步生成：MeanFlow（MP1） 采用 1 次前向；沙箱双模态实验通过
Consistency Policy、OneDP、朴素 1 步流匹配 不采用 CP 原文承认偏向一侧；OneDP 有意取单模态；朴素 1 步 FM 等于条件均值，会穿柱
Shortcut / 条件 OT 配对 不采用 见 §1.1
OFP 自蒸馏 不采用 未找到公开代码；自引导 λ=0.5 时出现模态塌缩
生成过程中代价引导（MPD/EDMP/GPD） 不采用 无论文在 1–2 步下验证；改用输出后投影
推理时 RTC 不采用 原文只验证 5 步去噪且需反向传播；改用训练时前缀条件化
时间集成 / 交叉淡入 不采用 执行的是未认证的混合块；左右两块平均可能穿柱；π0 弃用
FAST 动作分词 不采用 服务于语言骨干，自回归推理慢
B 样条动作表示 不采用 见 §1.1
ReinFlow / DPPO 不采用 见 §1.1

2.4 沙箱双模态对照实验

2D 点从柱左侧到右侧，示教一半从上绕一半从下绕，16 步动作块、每 3 步重推理，与本方案同构。代码 ml/toy/toy_bimodal.py，150 个"起终点都贴近中轴"的难例：

动作头 单样本、无安全层：到达 / 穿柱回合 8 候选 + 安全层：到达 / 穿柱 / 平均刹停 推理（CPU，8 候选）
MSE 回归 100% / 0% 100% / 0% / 0 0.13 ms
WTA K=4 100% / 0% 100% / 0% / 0 0.19 ms
流匹配 10 步 100% / 4.0% 99.3% / 0% / 3.7 2.13 ms
朴素流匹配 1 步 87.3% / 23.3% 81.3% / 0% / 14.0 0.25 ms
MeanFlow 1 步 100% / 2.7% 100% / 0% / 0.3 0.25 ms
  • 朴素 1 步流匹配会把模态平均进柱子；MeanFlow 1 步达到 10 步流匹配的质量，推理快约 8 倍。
  • 安全层在所有方法上把穿柱降为 0，代价是刹停。
  • 该任务过于简单（闭环中状态一偏离中轴即打破对称），分不出一步头与 WTA 谁更好；因此 WTA 只作为 M5 门禁不过时的预定回退（§1.1）。
  • 训练仅 300 步的 MSE 在同一难例上 100% 穿柱、加安全层后 0% 到达，说明欠拟合时平均模态的风险真实存在。

3. 训练环境

阶段 在哪里跑 说明
数据生成 Hark 沙箱（2 vCPU / 7 GB，Node）或用户机器 纯 JS，无需 GPU
预训练 + 后训练 用户 RTX 3090 24 GB batch 1024–2048
部署推理 浏览器 onnxruntime-web wasm-SIMD 多线程；后续真机控制器 与现有查看器同页 
conda create -n armtf python=3.11 -y && conda activate armtf
pip install torch --index-url https://download.pytorch.org/whl/cu121   # 按本机 CUDA 版本选
pip install numpy pyarrow tqdm tensorboard onnx onnxruntime

4. 离线数据（老师只在这里出现）

4.1 文件

文件 作用
ml/gen/gen_dataset.cjs 采样任务 → 调老师 → 校验 → 时间参数化 → 写分片
ml/gen/sampler.cjs 起点/目标采样
ml/gen/run_parallel.sh 多进程，不同种子
ml/data/shard_XXXX.jsonl 原始样本（不入库）

复用 tests/route_bench_setup.cjs 装配求解器（关节表、docs/travel.json、docs/collide.json）。

4.2 原始样本

{
  "id": "s0003_000127", "mode": "pos" | "pose",
  "q0": [6], "T": [x,y,z], "R": [[3x3]] | null, "tool": 0,
  "path": [[6], ...],
  "reached": true,
  "travel_deg": 123.4, "plan_ms": 812.0,
  "fp": "collide.json 指纹"
}

reached=false 表示目标不可达，路径终点为离目标最近的安全位形（"停靠"）。

4.3 采样分布（5 万条任务）

关节限位：J1/J3/J6 连续 ±180°；J2 [−92, 9]，J4 [−111, 16]，J5 [−93, 34]。

类别 占比 采样方式
A 均匀 45% q0、目标位形 b 均匀采样且无干涉；目标 = fk(b)（pose 模式加 orient(b)）
B 直线被挡 30% q0→b 关节直线有干涉
C 贴立柱 15% b 满足 nearColumn，q0 在立柱另一侧
D 目标不可达 10% 目标在立柱内/所有分支都撞/工作空间外；标签为停靠
  • pos / pose 各半；老师为 PRM 路网 A* + 捷径平滑（确定性；复用 routeRT 的路网图搜索，放宽时间预算）；A* 失败的任务用 solveDyn（固定种子）补。
  • 另造三个互不重叠的集合：门禁集 2000 条（挖错循环每轮用）、held-out 验收集 2000 条、near_column 扩展验收集 ≥1000 条；两个验收集只在最终验收时用一次。现有三个基准不进训练集。

4.4 过滤

  1. 整条路径用距离下界认证（与 §8.3 同口径）复核，任一段不过即丢弃。仓库 tests/route_bench.cjs 上现有规划器有 1/40 例路径细验不过，这类样本必须丢掉。
  2. poseRelaxed 样本只当 pos 模式用。
  3. 行程 > 同任务 routeRT 1.5 倍的先统计，再定是否丢弃；按类别统计丢弃率（C 类 > 20% 说明老师在贴柱场景不可靠）。

4.5 时间参数化 → 闭环训练样本

  1. 时间律：按轴速比 VREL = [0.6, 0.6, 0.9, 0.9, 1.2, 1.8] 匀速巡航，梯形加减速，速度只取决于"当前速度 + 剩余路程"（每轴加速度上限 a_max 为待定参数，真机型号确定后设定），dt = 20 ms。
  2. 得到状态序列 q_0 … q_N，每隔 3 步取一个样本：
    • 输入：§5.1 全部字段（含当前速度、已提交前缀）
    • 标签：未来 16 步 Δq_{t+k} = q_{t+k} − q_t（到终点后补零）
  3. 每条路径约 40–50 个样本 → 约 200 万样本（以 stats.json 为准）。
  4. 协变量偏移对策：关节噪声增广（30% 样本，σ = 1°；噪声态须无干涉且间隙 > 1 mm，标签为 8 步内线性收回老师轨迹的增量）；偏离状态的进一步覆盖靠 §7。

4.6 耗时与存储

  • 路网 A* 每条数十毫秒，耗时主要在过滤认证；按 solveDyn 0.7 s/条上限估算，沙箱 2 进程不超过 5 小时。
  • 200 万样本以 float32 .npy 存放约 1.5 GB（训练时整体载入内存）。

4.7 检查点

  • ml/data/stats.json：类别、到达率、行程、样本数、补零样本占比
  • 老师一致性：起终点扰动 ±5 mm 的邻居任务同伦类一致率 ≥ 90%
  • 抽 20 条在查看器回放（新增 ?replay= 参数）
  • 各集合与训练集无重叠

5. 表示与预处理

文件 ml/prep/build_dataset.cjs（Node，特征直接调用部署运行时 webapp/js/ik-policy.js 的同一份实现）→ ml/data/samples/*.{X,Y,V,SG,TID}.npy + *.tasks.jsonl；按任务 5% 划为验证集。PyTorch 侧特征 ml/common/features.py 与 JS 逐项对拍（闭环仿真与 APG 使用）。

5.1 输入

量 维度 编码
当前 q_t 6 每轴 (sin, cos) → 12；限位轴另加归一化值 → +3
当前关节速度 q_t − q_{t−1} 6 按每轴速度上限归一化
当前 TCP 位置与姿态 3 + 6 fk(q_t)、orient(q_t) 的 6D 表示
目标位置 T 3 /600 mm
目标姿态 R 6 6D 表示；pos 模式填 0
目标 − 当前 TCP 3 /600 mm
模式 2 one-hot [pos, pose]
已提交未执行前缀 3×6 + 3 前缀 Δq + 有效长度掩码；训练时随机遮盖 0–3 步
当前子目标 6 子目标头输出的关节途经点（归一化）；无子目标时填当前 q
关键胶囊对最小距离 8 臂各段到立柱的胶囊距离

5.2 输出

  • MeanFlow 一步头：每条候选 16 步 × 6 轴 Δq（按每轴最大步长归一化）。
  • 附加头：价值头（剩余时间/代价）、子目标头（2 个关节途经点 + 是否需要）。

5.3 连续轴

J1/J3/J6 统一用 unwrapTo 展开后再做增量；预处理与部署共用一份实现，对拍时一并验证。

6. 模型与预训练

6.1 结构

条件特征（约 90 维）──MLP──▶ 8 个条件 token (d=192)
                               │
               4 层 Transformer encoder
                               │ (memory)
16 个动作 token（注入噪声 z + 时间嵌入 (r, t)）
                               ▼
               4 层 Transformer decoder（非自回归，一次前向）
         ├─ 动作输出：每 token 6 维 Δq
         ├─ 价值头：1
         └─ 子目标头：2 个关节途经点 + 是否需要
超参 值
d_model / 头数 / FFN 192 / 8 / 768
encoder / decoder 层数 4 / 4
参数量 约 4.9M

子目标触发：新目标或目标跳变 > 50 mm 时输出；到达当前子目标 < 5° 后切下一个。

6.2 动作头：MeanFlow 一步生成

项 做法
多模态 连续分布；每次推理并行采 8 个噪声 → 8 条候选
训练 MeanFlow 平均速度场损失（MP1 配方：25% 样本 r≠t，自适应损失加权），JVP 用 torch.func.jvp
推理 1 次批量前向（r=0, t=1）
后处理 1 步解析胶囊距离梯度投影，每轴修正 ≤ 0.5°，仅 d < 余量时（JS 实现，不走 ONNX）
APG 兼容 固定噪声后为确定性可微映射
预定回退 M5 门禁不过（near_column 穿柱率 > 2% 或训练发散）→ 同骨干换 WTA K=8 头（WTA-L1 + 模式 CE），约 1 天

6.3 损失

L = MeanFlow 损失                                          1.0
  + FK 损失：一步输出（固定噪声）的各连杆胶囊端点位置差      0.5
  + 平滑：二阶差分                                         0.05
  + 价值头 L1 + 子目标头 L1                                 0.1 / 0.1

6.4 训练配置

项 值
优化器 AdamW，β=(0.9, 0.95)，wd 0.01
学习率 1e-3，预热 1000 步，余弦退火
batch 1024
精度 bf16 混合精度
步数 先跑 2000 步测吞吐再定；参考 200 万样本 × 30 epoch ÷ 1024 ≈ 6 万步；验证集闭环到达率不再上升即停
预计耗时 RTX 3090 约 1.5–5.6 小时（按 2000 步吞吐实测重算）

6.5 对拍与验证

  • ml/eval/collide_torch.py：可微胶囊距离 PyTorch 批量版，与 JS collideFree 对拍 10 万位形：布尔判定 0 差异，距离误差 < 1e-4 mm，梯度与有限差分相对误差 < 1e-3。
  • 每 epoch 闭环验证：从 1000 个验证任务出发，按部署节奏（每 60 ms 推理、提交 3 步）运行到到达或超时（老师路径时长 × 2，最少 3 s），统计到达率、用时 ≤ 老师 × 1.3 的达标率、碰撞步数（关安全层）、行程比、左/右/穿柱三类比例。

7. 后训练

7.1 主力：APG 可微微调

for 每个 batch（随机采样 q0 和目标，不需要老师）:
    q = q0
    for t in 0..H-1  (H = 60 次推理 × 3 步 = 180 步 ≈ 3.6 s；长任务分段截断反传):
        chunk = π(obs(q, 目标, 前缀), z)    # 每条展开固定一个噪声 z
        Δq = chunk[0:3]                     # 与部署一致
        q = clamp(q + Δq)
        累计 L_col(q), L_smooth(Δq)
    L = w_tgt·L_target(q_H) + w_col·ΣL_col + w_smooth·ΣL_smooth (+ w_len·行程) + w_bc·L_BC
    反传，梯度裁剪 ≤ 1.0，lr 1e-4
  • 碰撞项 L_col = Σ ReLU(margin − 胶囊距离)，margin = margin_mm + 训练余量 5 mm（覆盖安全层认证的保守量）；含臂×立柱、臂×台架、臂×臂（非相邻段）。
  • 到达项：位置误差² + λ_rot·‖R − R*‖_F²。
  • 平滑项：速度² + 加速度²。
  • BC 锚定项：保留预训练损失，防止多模态被压缩；每轮监控左右比例。
  • 采样分布同 §4.3，B/C/D 类提到 60%，其中贴柱类 40%。

7.2 辅助：无老师挖错循环

每轮：

  1. 出题：新种子 5 万任务 + 2000 段模型在环拖拽仿真。
  2. 闭环作答：完全按部署方式运行，关闭安全层以暴露真实错误。
  3. 验算：GPU 批量胶囊检查。
  4. 错题分类：E1 撞 / E2 没到（卡在局部极小）/ E3 绕远（> 1.2× 参考）/ E4 末端精度差 / E5 摇摆（≥ 3 次切换）/ E6 拖拽失稳。
  5. 错题及其 ±5 mm / ±3° 的 10 个邻居加入 APG 采样池（E1、E6 ×2）；仅 E2 可离线请老师补少量路径。
  6. 门禁（用门禁集，不用验收集）：到达率上升、A 类每轮降幅 ≤ 0.5 个百分点、上一轮修好的错题 95% 仍对；否则回滚。
  7. 停止：连续 2 轮提升 < 0.5 个百分点，或满 6 轮。

8. 部署

8.1 执行循环

执行：50 Hz，每步 20 ms，按已提交步走
每 60 ms：
  1. 读当前 q、当前速度、已提交未执行前缀、最新目标
  2. 推理：8 个噪声 → 8 条 16 步动作块（冷启动或卡死换向时，再各推一块做短前瞻）
  3. 每条候选做 1 步胶囊距离梯度投影（每轴 ≤ 0.5°，仅 d < 余量时）
  4. 排序（§8.2）
  5. 安全层依次认证候选前 3 步 + 刹停段（§8.3），第一个通过的提交给执行器
  6. 全部不通过 → 沿上一次已认证的刹停段停下，下次继续推理
  7. 到达：TCP 误差 < 1 mm（pose 另需 < 0.5°）且速度≈0；
     接近目标（< 5 mm）时做 1–3 次局部牛顿精修（solveTo 单步），精修段同样过安全层认证

执行的始终是安全层认证过的那一块，不做新旧块混合。执行时钟放在 Web Worker、按实际 dt 推进，避免 requestAnimationFrame（60 Hz）与 20 ms 不整除及后台节流造成的抖动。

8.2 候选排序（防左右摇摆）

分数 = −Σ w_k‖候选第 k 步 − 已提交块第 k 步‖²（重叠步加权）− λ·价值头剩余代价。冷启动时无已提交块，只用价值头 + 短前瞻打分。

8.3 安全层（唯一的硬保证）

  • 距离下界认证：对一段运动 q_a → q_b，若两端到障碍的最小距离之和 d(q_a) + d(q_b) > Σ_j r_j·|Δθ_j|，则整段安全；否则二分，直到全部子段通过或判不安全。按组对分别判定：组对 (g_A, g_B) 的间隙只受关节 g_A…g_B−1 带动组 g_B 影响，右端取 Σ_{k=g_A}^{g_B−1} T[k][g_B]·|Δθ_k|，T 为分组杠杆表（组 g_B 胶囊端点到轴 k 的最大距离，随机 4000 位形采样再放大 5%；末端组对 J1…J6 分别为 9.56 / 7.37 / 4.47 / 4.48 / 2.47 / 0.69 mm/°）。间隙取全部 |Δg| ≥ 2 胶囊对的 距离 − (r_i + r_j + margin)。外加关节限位。先用离散 collideFree 剔除明显干涉的候选；运行时每条候选最多 40 次距离查询、每次推理安全层总预算 30 ms，超出按刹停处理。
  • 离散采样检查（现有 pathFine，1.5° + 半格）只作快速预筛，不作保证依据。
  • 可刹停不变式：只有当"候选前 3 步 + 从第 3 步末按每轴 a_max 减速到停"整段都通过认证时才提交。任何时候系统都持有一条已认证的停车路线，下一次推理即使完全失效也只会停下。
  • 耗时：每段一次距离查询覆盖整段，不通过才二分（通常 2–6 次）；按排序逐个认证，第一个通过即停；包围球预筛先行。目标每次 < 5 ms，否则放 Web Worker 与推理流水线并行。
  • ik-glue.js 的每帧碰撞守卫保留为第二道保险。

8.4 部署包

有 没有
traj_policy.onnx（fp16，约 9.8 MB）+ traj_policy.meta.json（指纹 / 特征版本 / TCP） PRM 路网、IK 候选大表
胶囊距离与认证（collideFree、包围球预筛、pair2d） solveDyn / routeRT / RRT / A*
fk / orient、局部牛顿精修 solveTo 单步 全量 IK 枚举

collide.json 指纹写进模型；不一致时前端拒绝运行并提示重训。

8.5 near_column 30/30 的保障手段

"超时"指机械臂在规定时间内没走到目标，是决策问题而非计算速度问题。典型失效：局部极小/活锁（每次都想直穿、每次被安全层挡住）、左右摇摆、绕远。对策（运行时均不需要老师）：

  1. 子目标头：给出 1–2 个关节途经点作为绕柱方向锚点，标签取老师路径拐点（离线）。
  2. 价值头：预测剩余时间/代价，用于候选打分与进展判断；APG 中用 TD 自举监督。
  3. 短前瞻（仅冷启动和卡死换向时）：对每条候选再推一块，用胶囊认证 + 价值头给 32 步后终态打分。
  4. 卡死检测 + 强制换向：0.3 s 内价值不降或连续 2 次刹停 → 切到另一绕行方向并锁定 1 s。
  5. 训练侧加强：贴柱类占 APG 采样 40%；展开覆盖整段绕行。

8.6 控制周期

伺服层（参考）：Franka FCI 1 ms；UR e-Series 2 ms、CB3 8 ms；ABB EGM 4 ms（滞后 10–20 ms）；KUKA RSI 4/12 ms；FANUC DPM 约 8 ms；MoveIt Servo 默认 10 ms；RC 舵机 20 ms。

策略层（参考）：MπNets 9 Hz；Diffusion Policy 10 Hz、预测 16 执行 8；ELMP 30 Hz；π0 50 Hz、约每 0.5 s 推理一次；DRP 300 Hz。业界均为"策略层 10–50 Hz + 伺服层 125 Hz–1 kHz"两层结构。

本方案：执行 50 Hz、每 60 ms 推理一次、提交 3 步。真机上提交步数 n ≥ ⌈(通信滞后 + 一次推理最坏耗时) / 20 ms⌉ + 1，刹停段另行认证；策略输出 50 Hz 关节目标，由插补器升采样到电机控制器频率。dt、n、动作块长度均可配置。

9. 评估与验收

9.1 测试集合

集合 来源 用途
route_bench tests/route_bench.cjs（40 例）+ 60 例随机基准 验收
near_column_bench tests/near_column_bench.cjs，30 例（pos / pose / rt） 验收
near_column 扩展 §4.3 新造 ≥1000 例 一次性验收
rt_drag_bench tests/rt_drag_bench.cjs，12 例（模型在环） 验收
held-out §4.3 2000 条 一次性验收
门禁集 §4.3 2000 条 训练中门禁，不参与验收

新增 tests/policy_bench.cjs：①现有规划器 ②策略（关安全层）③策略 + 安全层，输出对比表。

9.2 验收标准（部署形态 = 策略 + 安全层）

指标 要求 现有规划器
实际执行的碰撞 = 0（距离认证或 0.01° 审计测量） rt_drag_bench 0
到达率 route 全部可达例到达；near pos 30/30、near rt 30/30；near_column 扩展集 0 失败；held-out 可达任务 ≥ 98%，D 类停靠距离 ≤ 老师 + 5 mm route_bench 40 例：到达 40/40、细验有效 39/40；60 例随机基准有效 60/60；near 30/30、30/30
到达用时 ≤ 老师路径时长 × 1.3 —
关节行程 ≤ 现有规划器 × 1.10（按类别分别报告） 60 例平均 467°
冷启动 < 10 ms 首次全量 IK 最差约 2 s
每次推理 + 安全认证 P99 < 20 ms 拖拽重规划 P99 约 321 ms
刹停发生率 < 2% 的推理周期 —
模式摇摆（≥3 次切换） < 1% 的任务 —
策略单独（关安全层）碰撞率 < 3% —

说明：30 例全对时，失败率的 95% 置信上界约 9.5%；扩展集 1000 例 0 失败时约 0.3%，因此以扩展集作为 30/30 的统计支撑。

10. 当前存在的问题与风险

10.1 只能靠实测消除的风险（按里程碑顺序）

# 风险 门禁（不过不进下一步） 回退 何时测
R1 老师在相邻任务上左右绕行跳变，标签自相矛盾 起终点扰动 ±5 mm 的邻居任务同伦类一致率 ≥ 90% 对 A* 边代价加左右偏好项，强制同区域选同侧 M1
R2 时间律仍有不可观测成分，闭环起不了步 近邻样本标签方差 < 10% 步长；起步失败率 = 0 进一步把剩余路程估计加入输入 M1 / M5
R3 距离认证过于保守，贴柱处拒绝率高，影响 30/30 near_column 上认证拒绝率统计；离线 10⁵ 段 0.01° 审计漏检 = 0 训练余量提高到 3–6 mm，接受行程变长；收紧杠杆界（按位形分区） M2 / M7
R4 浏览器推理延迟 M4 后立即导出 ONNX，wasm-SIMD 多线程测 batch=8 P99 < 15 ms 减小模型（d=128，约 1.8M 参数）；同时测 WebGPU，更快则换 M4（最大不确定项）
R5 MeanFlow 头在 6 轴、位姿目标下穿柱或训练不稳 near_column 穿柱率（关安全层）≤ 2%；损失不发散 同骨干换 WTA K=8 头 M5
R6 位姿目标的多 IK 分支带来额外多峰 不同肘/腕分支子集到达率 ≥ 主集 − 2 个百分点 加目标分支标志 M5
R7 APG 压缩多模态或拉长路径（ELMP 中路径 +23%） 每轮左右比例与行程门禁 加大 BC 锚定权重；行程项 M6
R8 卡死换向活锁 50 个"两侧都要绕远"对抗用例 3 s 内恢复 ≥ 95%，活锁 = 0 子目标改为离散绕行锚点分类 M6 / M7
R9 安全层贴柱时耗时超标 near_column 全程 P99 < 5 ms Web Worker 流水线；提交步数降到 2 M7
R10 训练耗时估计偏差 2000 步吞吐 ≥ 2 万样本/s 降 epoch 或增大 batch M5

10.2 已知缺陷

  1. 现有规划器（老师）在 tests/route_bench.cjs 上有 1/40 例到达但路径细验不过；§4.4 的认证过滤会丢弃这类样本。
  2. ci27 姿态根枚举漏分支（姿态偏差约 97.5°）会影响 pose 数据；APG 姿态项可部分纠正，必要时先修老师。
  3. 胶囊模型或立柱变动即需重训：数据（用户机器 16 核约 2 h）+ 预训练 1.5–6 h + 后训练数小时。
  4. 老师一致性沙箱首测 78%（100 任务、373 对邻居，门禁 90%）：不一致主要来自 J6 冗余与时间预算造成的非确定性。已改为确定性老师（预算按碰撞判定次数计、每条前清空跨调用缓存）并在 pos 任务冻结 J6，待在用户机器复测；仍不达标则生成时启用 4 邻居共识过滤。
  5. 安全层耗时：未训练模型（候选为噪声）在 Node 单线程实测每次推理安全层约 20–60 ms，高于 5 ms 目标；训练后候选平滑会下降，以 policy_bench 与浏览器 __POLICY.latency() 实测为准，超标则把安全层移入 Web Worker 与推理流水线并行。

10.3 需要用户确认

  1. 真机电机/驱动型号与通信方式：决定每轴加速度上限 a_max、插补频率与提交步数。
  2. 运行时多候选打分是否算"运行时老师"：本方案的理解是不算（只对模型自己的候选做距离认证和打分，不做搜索）。

11. 目录规划

运行步骤、命令与耗时见 ml/README.md。

ml/
  pipeline.sh              阶段脚本：setup / kin / gate1 / gen / prep / train / m5 / apg / mine / export / bench
  gen/                     sampler / teacher（确定性 PRM A*）/ timelaw / gen_dataset / consistency / stats / run_parallel.sh
  prep/                    export_kin.cjs → assets/kin.json；build_dataset.cjs → data/samples/*.npy；run_prep.sh
  data/                    （不入库）shard_*.jsonl  stats.json  consistency.json  samples/
  common/                  kin_torch.py（可微运动学 + 胶囊间隙）  features.py（83 维特征）
  model/                   policy.py（MeanFlow 头；WTA K=8 回退头）  meanflow.py
  data.py  train.py        样本加载、预训练
  sim/closed_loop.py       闭环仿真（验证、挖错、门禁共用）
  apg/apg_finetune.py      APG 可微微调
  mining/                  tasks.py  mine_round.py  gate.py  loop.sh
  eval/                    dump_parity.cjs  check_parity.py（JS ↔ PyTorch 对拍）
  configs/                 base.json  wta.json  apg.json
  export_onnx.py  serve.py  README.md
webapp/js/ik-policy.js       运行时：特征、距离下界认证、刹停、投影、精修、Runner（浏览器与 Node 共用）
webapp/js/ik-policy-glue.js  查看器接入（?policy=1）
webapp/models/               traj_policy.onnx  traj_policy.meta.json
tests/policy_bench.cjs       部署形态评测

12. 里程碑

# 内容 产出 在哪跑
M1 数据生成器 + 时间律 + 1000 条试跑；老师一致性门禁 ml/gen/*、stats.json 沙箱
M2 可微胶囊距离（PyTorch）与 JS 对拍；距离认证实现与 10⁵ 段审计 collide_torch.py、认证模块 沙箱
M3 5 万条老师数据 → 约 180 万样本 samples/*.npy 用户机器
M4 模型 + 训练工程 + 闭环仿真；小数据过拟合；导出 ONNX 测浏览器延迟 train.py、closed_loop.py、延迟报告 沙箱 + 浏览器
M5 预训练 + MeanFlow 头门禁 checkpoint、门禁报告 用户 GPU
M6 APG 微调 + 挖错循环 3–6 轮 每轮 report.md 用户 GPU
M7 ik-policy.js 闭环部署 + 安全层实测 + policy_bench + 一次性验收 对比表 沙箱 + 浏览器
M8 移除查看器对 solveDyn/routeRT/路网的运行时依赖（保留在 ml/gen 离线使用） 部署包瘦身 沙箱

13. 参考文献

Reference in New Issue View Git Blame Copy Permalink