ml: 第二轮审查 B-1~B-8 处置 + 一键训练控制台
- B-1 运行时投影护栏恢复 5 mm；老师轨迹按认证最小间隙 < 3 mm 剔除（stats/build_dataset，gapDrop） - B-2 APG 端点+中点 hinge 取均值；B-3 check_r2 空匹配保护、5000×50000、分块 256，pass=false 时 prep 停下 - B-4 R7 按全部 B/C 题统计；B-5 r8 起点贴柱；B-7 pipeline r4（export_onnx --random，训练前测延迟） - B-8 起步失败 ≤0.2%、column_gap 分块、pipefail、门禁结果先写 .tmp - 训练控制台：ml/console.bat|sh → ml/monitor.py（开始/停止/进度/日志接口）+ monitor.html； pipeline.sh all 支持 FROM/TO，阶段状态写 ml/runs/pipeline.json（ml/pstate.py）；训练/APG 日志加 total、t - 文档：README 一键运行与训练控制台；审查文档追加第三轮处置；方案余量决策与 R4 时点
This commit is contained in:
Hark
@@ -219,3 +219,116 @@
|
||||
|
||||
1. **结掉 R4**：用一个随机初始化的 4.92 M 模型导出 fp32 ONNX，走 `ml/serve.py` + `?policy=1`，在目标浏览器实测 `__POLICY.latency()` 的 batch=8 P99 与安全层 P99（方案要求 <15 ms）。不过就要改 `d`/`commit`，此时改配置的成本远低于训完 3 小时再改。
|
||||
2. **把 margin 决定单独拍板**：在"过滤老师数据保 5 mm"与"放宽护栏到 3 mm"之间选一个，再把 `w_col` 与 §8 估时按选择重算。这两条是本轮唯一拦住往下跑的理由。
|
||||
|
||||
---
|
||||
---
|
||||
|
||||
# 第三轮：对第二轮 B-1～B-8 的处置 + 新增训练控制台
|
||||
|
||||
修订方：沙箱（Hark）。基于 `655e1fb`。沙箱只做了 CPU 小数据冒烟（见第四节），所有耗时、keepRate、gapDrop 比例仍以你机器上的实测为准。
|
||||
本轮改动以补丁形式交付（`git apply review2_and_monitor.patch`），确认后再推送。
|
||||
|
||||
## 一、B-1～B-8 处置
|
||||
|
||||
| 条目 | 处置 | 改动位置 |
|
||||
|---|---|---|
|
||||
| B-1 3 mm 拿护栏迁就数据 | **采纳你的方向**：运行时投影护栏恢复 **5 mm**；改为在数据侧剔除认证最小间隙 `cert.minGap < 3 mm` 的老师轨迹；APG 碰撞项余量 3 mm 与过滤线一致（碰撞项不与 BC 标签对抗）。护栏比数据更保守，二者不再绑定 | `webapp/js/ik-policy.js:174` margin 3→5；`ml/gen/stats.cjs` 新增 `gapDrop`、`minGapFilterMm`，样本数与补量只按过滤后计；`ml/prep/build_dataset.cjs` 同一过滤（`MIN_GAP_MM=3`，可用环境变量改），打包输出也报 `gapDrop` |
|
||||
| B-2 端点+中点 hinge ×2、w_col 未重标 | 两处 hinge 由求和改为**取均值**，与只查端点同量纲，`w_col=2.0` 不用动。展开 60–150 次的单步代价不再拍估时：手册 §8/§9 改为"未实测，以监控页前 50 步换算的 ETA 为准" | `ml/apg/apg_finetune.py:104`；README 阶段表 |
|
||||
| B-3 check_r2 空匹配崩、显存峰值 | 近邻对 < 20 时输出 `pass: null` 不报错；默认 5000 查询 × 50000 池、分块 256、`masked_fill_` 原地，GPU 峰值 < 0.5 GB。`pass: false` 时 prep 以返回码 4 结束、一键流程停下；`null` 不拦 | `ml/eval/check_r2.py`；`ml/pipeline.sh` prep |
|
||||
| B-4 R7 以到达为条件会漏报 | 左右比例改为按**全部** B/C 题的首次 J1 方向统计，不筛到达 | `ml/mining/gate.py:47` |
|
||||
| B-5 r8 起点没贴柱 | 起点也要求 `nearColumn`，两侧都要绕远 | `tests/policy_bench.cjs` r8Cases |
|
||||
| B-6 估时口径 | 对拍改为"约 1 分钟（估算：300 条实测 7.6 s，流程跑 2000 条）"；M5、部署评测标"估算"；APG、挖错标"未实测" | README 阶段表 |
|
||||
| B-7 R4 排在最后 | **提到训练前**：新增 `bash ml/pipeline.sh r4`，用随机初始化模型导出 fp32 ONNX（延迟只与结构有关），`python ml/serve.py` + `?policy=1` 测 `__POLICY.latency()`；不过就把 `model.d` 192→128、`ff` 768→512 后重测 | `ml/export_onnx.py` 新增 `--random <配置>`；`pipeline.sh` r4；README §2；方案 R4 行"M1 前" |
|
||||
| B-8 杂项 | 噪声增广接受地板 1 mm → 3 mm（与过滤线一致）；验收起步失败 `= 0` → `≤ 0.2%`；`column_gap` 分块 256（沙箱实测约 20 MB/位形，整批 2048 会爆）；m5 返回码 3 中止 `all` 写进常见问题；`set -o pipefail` + 门禁结果先写 `.tmp` 再改名（中断不留残缺 `consistency.json`） | `build_dataset.cjs`、`acceptance.py`、`tasks.py`、`pipeline.sh`、README 常见问题 |
|
||||
| `onnxconverter-common` | 保留（`--fp16` 仍可用于 WebGPU 对比） | — |
|
||||
|
||||
方案文档同步：决策表"训练余量"改为"数据过滤与 APG 碰撞项 3 mm、运行时护栏 5 mm"；APG 碰撞项写明端点与中点取均值；R4 检测时点改为训练前。HTML 已重新生成。
|
||||
|
||||
**需要你确认的一处**：3 mm 过滤会剔除多少老师轨迹没实测过。沙箱 30 条小样本里剔除了 9/29（p10 = 1 mm），量太小不具代表性；你那边第一轮实测 p50 4.4 mm。生成完看 `stats.json` 的 `gapDrop`：> 25% 说明老师整体太贴柱，把 `stats.json` 发我再定。自动补量会按过滤后的样本数补，所以样本总量不受影响，只是生成时间相应变长。
|
||||
|
||||
## 二、新增：训练控制台（一键运行 + 全程可视化）
|
||||
|
||||
### 怎么用
|
||||
|
||||
1. Windows 双击 `ml/console.bat`（Linux/WSL：`bash ml/console.sh`），浏览器自动打开 `http://localhost:8100/`。
|
||||
2. 点右上角「▶ 开始训练」，在对话框里选起始阶段、结束阶段和参数，点「开始」。
|
||||
3. 之后整个流程（对拍 → 老师门禁 → 生成 → 打包 → 预训练 → M5 → APG → 挖错 → 导出 → 部署评测 → 验收）都在这一页看；「■ 停止」随时停，再开始默认从停下的那一步继续。
|
||||
|
||||
网页可以关，训练不受影响；关闭控制台窗口会结束训练。R2、M5 不通过时流程会停在那一步。
|
||||
|
||||
### 组成与接口
|
||||
|
||||
| 文件 | 作用 |
|
||||
|---|---|
|
||||
| `ml/console.bat` / `ml/console.sh` | 一键启动：`python -m ml.monitor --open` |
|
||||
| `ml/monitor.py` | Python 标准库 HTTP 服务，默认只监听 127.0.0.1:8100 |
|
||||
| `ml/monitor.html` | 网页，零依赖（原生 canvas 画图），不连外网；`?demo=1` 或直接双击打开时用内置示例数据 |
|
||||
| `ml/pstate.py` | 写 `ml/runs/pipeline.json`：`pipeline.sh` 每个阶段开始/结束时自动调用（终端里跑也会写） |
|
||||
|
||||
| 接口 | 方法 | 说明 |
|
||||
|---|---|---|
|
||||
| `/` | GET | 网页 |
|
||||
| `/api/runs` | GET | `ml/runs/*/log.jsonl` 列表（名称、类型 train/apg/bench、更新时间、是否发散） |
|
||||
| `/api/log?run=&offset=` | GET | 增量读日志：只返回 offset 之后的完整行，日志被新训练覆盖时自动从头读 |
|
||||
| `/api/status` | GET | GPU、`pipeline.json` + 当前阶段进度、数据统计、R2、M5、挖错各轮、部署评测、验收 |
|
||||
| `/api/job` | GET | 控制台启动的流水线进程：是否在跑、PID、起止阶段、返回码、是否手动停止 |
|
||||
| `/api/console?offset=` | GET | `ml/runs/console.log` 增量（首次只给最后 64 KB） |
|
||||
| `/api/start` | POST | `{"from":"kin","to":"accept","env":{...}}` → 后台 `bash ml/pipeline.sh all`；env 只接受白名单：`N_TASKS NPROC TARGET_SAMPLES CFG CONSENSUS ROUNDS APG_STEPS MINE_N`，逐个正则校验 |
|
||||
| `/api/stop` | POST | 结束整个进程树（Windows `taskkill /T /F`，其他系统进程组 SIGTERM，10 秒后 SIGKILL），当前阶段记为返回码 -15 |
|
||||
|
||||
安全：开始/停止只接受本机请求（`--host 0.0.0.0` 开放给局域网时其他机器只能看，`--remote-control` 才放开）；已经有流水线在跑（控制台自己起的，或终端里起的、日志 2 分钟内有更新）时拒绝再开始。
|
||||
Windows 找 bash 的顺序：环境变量 `BASH` → `C:\Program Files\Git\bin\bash.exe` → `C:\Program Files (x86)\Git\...` → `%LOCALAPPDATA%\Programs\Git\...` → `git` 所在目录推断；不用 `System32\bash.exe`（那是 WSL）。控制台把自己的 `sys.executable` 作为 `PYTHON` 传给流水线（路径含空格时不传，回落到 `python`）。
|
||||
|
||||
### 流水线脚本配套改动
|
||||
|
||||
- `bash ml/pipeline.sh all` 支持 `FROM` / `TO` 只跑一段（如 `FROM=gen TO=train`）；在终端里用 `all` 时也会在后台自动起控制台（`MONITOR=0` 关闭）。
|
||||
- 每个阶段开始写 `begin`（生成阶段带 `target_tasks`，补量时更新；预训练带 `tag`；挖错带 `rounds`），退出时由 `trap EXIT` 写返回码。
|
||||
- `pipeline.json` 在从中间续跑时保留计划之外各步的记录，所以流水线卡片能显示"之前已完成"。
|
||||
- 训练与 APG 日志每条记录新增 `total`（总步数）与 `t`（时间戳），评估记录也带 `t`，用于进度条、已用时间与 ETA。
|
||||
|
||||
### 网页内容
|
||||
|
||||
流水线阶段条 → 全流程卡（总百分比按各步粗估耗时加权、当前步骤及其进度、总用时、本步用时、剩余粗估、开始/停止）+ GPU 仪表 → 当前运行（自动跟随正在跑的训练，可手动切换）→ 指标卡（带趋势小图）→ 4 张曲线（预训练：总损失含原始值淡线、各分量、闭环评估带"最好"标记、吞吐带 R10 5000 线；APG：到达误差、损失分量、闭环评估、展开长度）→ 数据 / M5 / 挖错 / 部署评测 / 验收面板 → 终端输出（报错标红）。顶栏有平滑系数、对数纵轴、自动刷新开关。
|
||||
|
||||
当前步骤进度的口径：生成 = 已写任务条数 / 目标条数；打包 = 已打包分片 / 分片数；预训练 = (测速 2000 步 + 正式步数) / (2000 + 总步数)；APG = 步数；挖错 = 已完成轮数 + 本轮 APG 步数；M5 = 两遍评估；对拍、老师门禁、导出、部署评测、验收无法计量，显示用时与粗估。
|
||||
|
||||
## 三、本轮改动文件清单
|
||||
|
||||
```
|
||||
新增 ml/monitor.py ml/monitor.html ml/pstate.py ml/console.bat ml/console.sh
|
||||
修改 ml/pipeline.sh r4 / monitor 阶段、all 支持 FROM/TO 与自动起控制台、阶段状态记录、pipefail、R2 不通过停下、补量更新目标
|
||||
ml/train.py 日志加 total、t
|
||||
ml/apg/apg_finetune.py 日志加 total、t；端点+中点 hinge 取均值；docstring 余量说明
|
||||
ml/gen/stats.cjs gapDrop / minGapFilterMm，样本数按过滤后计
|
||||
ml/prep/build_dataset.cjs 剔除 minGap < 3 mm 的轨迹；增广地板 3 mm；输出 gapDrop
|
||||
ml/eval/check_r2.py 空匹配保护、默认规模、分块 256
|
||||
ml/eval/acceptance.py 起步失败 ≤ 0.2%
|
||||
ml/mining/gate.py R7 左右比例不以到达为条件
|
||||
ml/mining/tasks.py column_gap 分块
|
||||
ml/export_onnx.py --random
|
||||
tests/policy_bench.cjs r8 起点贴柱
|
||||
webapp/js/ik-policy.js 投影护栏 5 mm
|
||||
ml/README.md 一键运行、R4、训练控制台、过滤口径、估时标注、回传文件、常见问题、文件地图
|
||||
docs/Transformer轨迹拟合训练方案.md / .html 余量决策、APG 碰撞项、R4 时点
|
||||
```
|
||||
|
||||
## 四、沙箱验证（CPU，2 核，小数据）
|
||||
|
||||
| 项 | 结果 |
|
||||
|---|---|
|
||||
| `stats.cjs` 过滤 | 30 条任务：keep 20、gapDrop 9；`MIN_GAP_MM=4.4` 时 keep 16、gapDrop 13，口径一致 |
|
||||
| `build_dataset.cjs` | 20 条任务 761 样本，gapDrop 9，增广拒绝 5/226 |
|
||||
| `check_r2.py` | 小样本可跑，不再报错 |
|
||||
| APG 2 步 + 门禁（含新 R7） | 通过 |
|
||||
| `column_gap` 分块 | 300 位形 / 块 100 正常；块 512 在 7 GB 内存下被杀 → 默认 256 |
|
||||
| `export_onnx --random` | 走到导出一步，沙箱缺 `onnx` 包未完成，需在你机器上跑 `r4` |
|
||||
| 控制台接口 | 网页开始 `gen→prep`（6 条任务）：进度 2/6 → 4/6 → 打包 0/2 → 完成，返回码 0；停止 `gate1`：进程树结束、该步记为已停止、不留残缺 `consistency.json`、"已停止"提示不被覆盖 |
|
||||
| 网页 | jsdom 跑 4 个示例场景 + 开始/停止流程，无脚本错误；沙箱没有浏览器，没有截图 |
|
||||
| 未验证 | Windows 下 `console.bat` 与 Git Bash 查找、`taskkill` 停止；`policy_bench.cjs` 完整运行（沙箱无 `onnxruntime-node`） |
|
||||
|
||||
## 五、你机器上的建议顺序
|
||||
|
||||
1. `git apply review2_and_monitor.patch`（或等我推送后 `git pull`）。
|
||||
2. `bash ml/pipeline.sh setup`（如依赖已装可跳过）→ `bash ml/pipeline.sh r4` + 浏览器测延迟，把 `__POLICY.latency()` 发我。
|
||||
3. 双击 `ml/console.bat` → 「开始训练」，起始「对拍」、结束「打包样本」，跑完看 `gapDrop` 与 R2。
|
||||
4. 没问题再「开始训练」从「预训练」跑到「验收汇总」。
|
||||
|
||||
@@ -615,7 +615,9 @@ K=8，二者共用骨干，切换约 1 天</td>
|
||||
<td>越大越不易被认证拒绝</td>
|
||||
<td>越大行程越长、贴柱越难；高于老师轨迹自身间隙（实测最小间隙 p50 4.4 /
|
||||
p90 5.9 mm）会与 BC 标签对抗</td>
|
||||
<td><strong>3 mm</strong>（≈ 老师 p10），APG 碰撞项与运行时投影共用</td>
|
||||
<td>数据过滤与 APG 碰撞项 <strong>3 mm</strong>（认证最小间隙 < 3 mm
|
||||
的老师轨迹不进训练集）；运行时投影护栏独立保持 <strong>5
|
||||
mm</strong>，护栏不迁就数据分布</td>
|
||||
</tr>
|
||||
<tr class="even">
|
||||
<td>关节噪声增广 σ</td>
|
||||
@@ -1240,8 +1242,8 @@ s），统计到达率、用时 ≤ 老师 × 1.3
|
||||
反传，梯度裁剪 ≤ 1.0，lr 1e-4</code></pre>
|
||||
<ul>
|
||||
<li>碰撞项 L_col = Σ ReLU(margin − 胶囊距离)，margin = 训练余量 3
|
||||
mm（间隙已扣除 <code>margin_mm</code>）；每步端点 +
|
||||
中点；含臂×立柱、臂×台架、臂×臂（非相邻段）。</li>
|
||||
mm（间隙已扣除
|
||||
<code>margin_mm</code>）；每步端点与中点，两处取均值（与只查端点同量纲）；含臂×立柱、臂×台架、臂×臂（非相邻段）。</li>
|
||||
<li>到达项：每个截断段末的位置误差² + λ_rot·‖R −
|
||||
R*‖_F²；不做到达即停，段末项在整条展开上持续给出接近梯度。</li>
|
||||
<li>平滑项：速度² + 加速度²。</li>
|
||||
@@ -1513,9 +1515,10 @@ held-out 闭环仿真（开仿真安全层）测量，由
|
||||
<tr class="even">
|
||||
<td>R4</td>
|
||||
<td>浏览器推理延迟</td>
|
||||
<td>M4 后立即导出 ONNX，wasm-SIMD 多线程测 batch=8 P99 < 15 ms</td>
|
||||
<td>训练前用随机初始化模型导出 ONNX（延迟与权重无关），wasm-SIMD
|
||||
多线程测 batch=8 P99 < 15 ms</td>
|
||||
<td>减小模型（d=128，约 1.8M 参数）；同时测 WebGPU，更快则换</td>
|
||||
<td><strong>M4（最大不确定项）</strong></td>
|
||||
<td><strong>M1 前（最大不确定项，训练前结掉）</strong></td>
|
||||
</tr>
|
||||
<tr class="odd">
|
||||
<td>R5</td>
|
||||
|
||||
@@ -55,7 +55,7 @@
|
||||
| 挖错循环中 E2 错题请老师补路径 | 解决可微代价绕不出的局部极小 | 量小、离线 | **上** |
|
||||
| 老师：PRM 路网 A* vs `solveDyn` | A*：确定性，同类任务左右选择一致，且是路网上的最短；`solveDyn` 覆盖更全 | A*：受路网分辨率限制，个别任务失败 | **A* 为主老师**，失败的任务用 `solveDyn`（固定种子）补 |
|
||||
| 推理后端：WebGPU vs wasm | WebGPU 大模型快 | 本模型约 4M 参数，WebGPU 每次调度 33–67 μs × 150–300 次，调度开销反而大 | **wasm-SIMD 多线程**；M4 实测若 WebGPU P99 更低再换 |
|
||||
| 训练余量 | 越大越不易被认证拒绝 | 越大行程越长、贴柱越难；高于老师轨迹自身间隙（实测最小间隙 p50 4.4 / p90 5.9 mm）会与 BC 标签对抗 | **3 mm**（≈ 老师 p10），APG 碰撞项与运行时投影共用 |
|
||||
| 训练余量 | 越大越不易被认证拒绝 | 越大行程越长、贴柱越难；高于老师轨迹自身间隙（实测最小间隙 p50 4.4 / p90 5.9 mm）会与 BC 标签对抗 | 数据过滤与 APG 碰撞项 **3 mm**（认证最小间隙 < 3 mm 的老师轨迹不进训练集）；运行时投影护栏独立保持 **5 mm**，护栏不迁就数据分布 |
|
||||
| 关节噪声增广 σ | 覆盖偏离状态 | 过大产生无意义状态 | **1°** |
|
||||
| 局部牛顿精修 | 末端精度到 < 1 mm | 无 | **上**，同样过安全层 |
|
||||
|
||||
@@ -320,7 +320,7 @@ for 每个 batch（随机采样 q0 和目标，不需要老师）:
|
||||
反传，梯度裁剪 ≤ 1.0，lr 1e-4
|
||||
```
|
||||
|
||||
- 碰撞项 L_col = Σ ReLU(margin − 胶囊距离)，margin = 训练余量 3 mm（间隙已扣除 `margin_mm`）；每步端点 + 中点；含臂×立柱、臂×台架、臂×臂（非相邻段）。
|
||||
- 碰撞项 L_col = Σ ReLU(margin − 胶囊距离)，margin = 训练余量 3 mm（间隙已扣除 `margin_mm`）；每步端点与中点，两处取均值（与只查端点同量纲）；含臂×立柱、臂×台架、臂×臂（非相邻段）。
|
||||
- 到达项：每个截断段末的位置误差² + λ_rot·‖R − R*‖_F²；不做到达即停，段末项在整条展开上持续给出接近梯度。
|
||||
- 平滑项：速度² + 加速度²。
|
||||
- BC 锚定项：保留预训练损失，防止多模态被压缩；每轮监控左右比例。
|
||||
@@ -444,7 +444,7 @@ for 每个 batch（随机采样 q0 和目标，不需要老师）:
|
||||
| R1 | 老师在相邻任务上左右绕行跳变，标签自相矛盾 | 起终点扰动 ±5 mm 的邻居任务同伦类一致率 ≥ 90% | 对 A* 边代价加左右偏好项，强制同区域选同侧 | M1 |
|
||||
| R2 | 时间律仍有不可观测成分，闭环起不了步 | 近邻样本标签方差 < 10% 步长（`ml/eval/check_r2.py`）；起步失败率 = 0（闭环 `start_fail`） | 进一步把剩余路程估计加入输入 | M1 / M5 |
|
||||
| R3 | 距离认证过于保守，贴柱处拒绝率高，影响 30/30 | near_column 上认证拒绝率统计；离线 10⁵ 段 0.01° 审计漏检 = 0 | 训练余量提高到 4–6 mm，接受行程变长；收紧杠杆界（按位形分区） | M2 / M7 |
|
||||
| R4 | 浏览器推理延迟 | M4 后立即导出 ONNX，wasm-SIMD 多线程测 batch=8 P99 < 15 ms | 减小模型（d=128，约 1.8M 参数）；同时测 WebGPU，更快则换 | **M4（最大不确定项）** |
|
||||
| R4 | 浏览器推理延迟 | 训练前用随机初始化模型导出 ONNX（延迟与权重无关），wasm-SIMD 多线程测 batch=8 P99 < 15 ms | 减小模型（d=128，约 1.8M 参数）；同时测 WebGPU，更快则换 | **M1 前（最大不确定项，训练前结掉）** |
|
||||
| R5 | MeanFlow 头在 6 轴、位姿目标下穿柱或训练不稳 | near_column 穿柱率（关安全层）≤ 2%；损失不发散 | 同骨干换 WTA K=8 头 | M5 |
|
||||
| R6 | 位姿目标的多 IK 分支带来额外多峰 | 不同肘/腕分支子集到达率 ≥ 主集 − 2 个百分点 | 加目标分支标志 | M5 |
|
||||
| R7 | APG 压缩多模态或拉长路径（ELMP 中路径 +23%） | 每轮门禁：B/C 类左右绕行比例变化 ≤ 5 个百分点、行程中位数比 ≤ 1.05（`ml/mining/gate.py`） | 加大 BC 锚定权重；行程项 | M6 |
|
||||
|
||||
Reference in New Issue
Block a user