docs: ml 运行手册审查追加第二轮（对修订版 d3b7c7b 的可行性评估，只读代码未跑）：13 条处置表（R10 阈值/共识补量/头分目录/$PYTHON/三口径/exec_s 置 None/池只用本轮/fp32/验收汇总 已落地）；新引入问题 B1~B8——3 mm 是靠放松运行时投影迁就数据分布（正解在认证侧过滤老师样本，属需拍板的安全决定）、APG 端点+中点 hinge 使碰撞项约 ×2 而 w_col 未重标且 plans 60→150 单步代价上界 ~4× 而 §8 估时未改、check_r2 空匹配取 quantile 会抛且默认 20万×2万 池峰值 2–3 GB 显存、gate R7 左右比例以到达为条件会漏报多模态被压缩、r8 集合起点未查贴柱「两侧都要绕远」名不副实、§2「实测 7.6 s」是 300 条口径而流程跑 2000 条、R4 wasm batch=8 P99 至今没测；结论：1–6 步可执行、7–13 步零证据，第 7 步前先结 R4 并单独拍板 margin
This commit is contained in:
@@ -133,3 +133,89 @@
|
||||
| 8 | §10 默认 fp32 + `__POLICY.latency()` 实测后才考虑 fp16（仅 WebGPU）；loop.sh 池子只取本轮；文件地图补全；evaluate 空任务保护 | `ml/README.md` §10/文件地图、`ml/mining/loop.sh:20`、`ml/sim/closed_loop.py:161` |
|
||||
|
||||
未验证范围：第 7（m5）、8（apg）、9（mine）、10（export）、11（bench）步与浏览器 `?policy=1` 第 12 步都没跑过（`ml/node_modules` 未安装、`webapp/models/` 无模型、`onnxconverter_common` 未装）。这些通路只做过静态代码核对。
|
||||
|
||||
---
|
||||
---
|
||||
|
||||
# 第二轮：对修订版（提交 `d3b7c7b`）的可行性评估
|
||||
|
||||
评估对象：另一台机器按上述审查做的修订（18 文件、+493/−156）。方式：**只读代码 + 只读 diff，本轮没有跑任何东西**，第一轮的实测数字（6208 样本/s、keepRate 0.977、minGap p50 4.4 mm、1.56 s/条）继续沿用。上文第一轮的正文按 0218d7f 时的代码写，路径与章节号（`ml/runs/base`、12 步）在修订后已变，不逐条订正，以本节为准。
|
||||
|
||||
## 一、第一轮 13 条的处置
|
||||
|
||||
| 第一轮条目 | 状态 | 落点 |
|
||||
|---|---|---|
|
||||
| P0-1 R10 吞吐判据矛盾 | 已修 | 方案 §10.1 R10 改为"60000 步 ≤ 3.5 h，即 ≥5000 样本/s"，缓解改成 `fk_caps` 96→48 / `steps`→40000（增大 batch 明确标注无效）；`ml/train.py:101` 加 `eta_h` |
|
||||
| P0-2 共识分支缺期望数字 | 已修 | README §4 加两张表（不共识实测 / 共识估算 + 异常动作）；`ml/gen/stats.cjs:20` 加 `consensusDrop`、分位数加 p10；`ml/pipeline.sh` gen 阶段按实测"样本/任务"自动补量到 `TARGET_SAMPLES=1700000`（最多 2 次） |
|
||||
| P0-3 WTA 回退覆盖 MeanFlow 产物 | 已修 | `pipeline.sh`：输出 `ml/runs/$TAG`、`ml/runs/bench_$TAG`；m5 通过后写 `ml/runs/selected_ckpt`，apg/export/accept 经 `ckpt()` 取；`ml/train.py:58` 与 `apg_finetune.py:51` 日志改为新训覆盖、续训追加 |
|
||||
| P0-4 `python3` 在 Windows 断第 5 步 | 已修 | `run_prep.sh:8` 与各脚本统一 `${PYTHON:-python}`；README §1 加"Windows 原生 + Git Bash 实测可跑"，并写明 Windows 不要用 `python3` |
|
||||
| 口径-1 仿真安全层 ≠ 运行时 | 已修（说明层） | m5 同跑 `--safety` 一遍，产出 `m5_gate_<tag>.json` 的 `policy_only` / `with_sim_safety` 两块；README §7 明写"三口径互不替代，部署只看第 11 步" |
|
||||
| 口径-2 门禁题假时长 | 已修 | `ml/mining/tasks.py:54` `exec_s/travel` 置 None；`ml/sim/closed_loop.py:24` `NOREF_SEC=6.0`，`time_ok_1p3`/`travel_ratio` 只在有老师参考的题上统计，新增 `n_ref`、`time_budget` 字段 |
|
||||
| 口径-3 APG 定长 3.6 s + 只查端点 | 已修（但引入新问题，见下 B-2） | `apg_finetune.py:70` 展开长度随批取 `exec_s p90 × 1.2`，夹在 60–150 次推理；`:102` 铰链改端点 + 中点 |
|
||||
| 口径-4 5 mm 余量压老师间隙分布 | 已改，方向不认同 | `configs/apg.json` 与 `webapp/js/ik-policy.js:174` 一起降到 3 mm；方案决策表"训练余量 5 mm"改为 3 mm，R3 回退改"提高到 4–6 mm" |
|
||||
| 缺项-1 §9 验收表无执行点 | 已补 | 新增 `ml/eval/acceptance.py`（第 12 步 `accept`）：held-out 到达率 ≥98%、D 类停靠 ≤老师+5 mm、起步失败=0，并汇总 R2/R7/R8/R10/M5/部署形态 |
|
||||
| 缺项-2 挖错池累积 | 已修 | `ml/mining/loop.sh:21` 改为 `--pool $D/pool.jsonl` 只用本轮 |
|
||||
| 缺项-3 fp16 部署 | 已修 | `pipeline.sh` export 去掉 `--fp16`，README §10 改默认 fp32，只在 `&ep=webgpu` 实测受益才另出 fp16 对比 |
|
||||
| 缺项-4 `--n` 混控两集合 | 已修 | 拆成 `--nc-n` / `--route-n` / `--r8-n`，positional 过滤改用白名单 `VALOPT` |
|
||||
| 缺项-5 val 为空崩 | 已修 | `closed_loop.evaluate` 空任务返回 NaN 字典；`train.py:59` 无 val 任务时提示并自动 `--no-eval` |
|
||||
| 缺项-6 文件地图缺 4 文件 | 已修 | README 文件地图补 cert.cjs / pathdev.cjs / npy.cjs / toy_bimodal.py |
|
||||
| 缺项-7 R2 无执行点 | 已补 | 新增 `ml/eval/check_r2.py`，prep 末尾自动跑 |
|
||||
| 附带 | 新增 | R7（左右比例 + 行程）进 `ml/mining/gate.py:47-53`；R8 对抗集 + `brakeRate` 进 `tests/policy_bench.cjs`；出题与间隙计算分块防 OOM（`tasks.py:9` `min_gap_chunked`） |
|
||||
|
||||
## 二、修订新引入的问题（按严重度）
|
||||
|
||||
### B-1（最高）3 mm 是拿真机护栏迁就数据分布
|
||||
|
||||
依据是本轮实测"老师最小间隙 p50 4.4 mm"，但正解是在认证环节把 `cert.minGap < 3 mm` 的老师样本过滤掉（`stats.cjs` 已经算这个数，逐条记录里就有），而不是把**运行时投影余量**一起降下来。认证只保证扫掠间隙 > 0，`collide.json` 的 `margin_mm` 只有 0.3 mm，`project()` 是唯一主动把臂往外推的力量（`ik-policy.js:279`）。方案 R3 原文写的回退是"训练余量**提高到** 3–6 mm 以缓解认证过保守"，修订把这个值定成 3 = 把回退方向当成了默认。贴柱真实距离从 ≥5 mm 变 ≥3 mm 是机械/安全决定，需要单独确认，不该由 ML 口径推出。
|
||||
|
||||
### B-2 APG 两处改动耦合且没重标定
|
||||
|
||||
- `apg_finetune.py:102-104`：端点与中点两个 hinge 直接 `view(2, B).sum(0)` 相加 → 碰撞项数值约为旧版 **2 倍**，而 `w_col=2.0` 未动。
|
||||
- `:70` + `plans_max=150`：展开最坏 60→150 次推理（2.5 倍），每步 `kin.gaps` 的位形数又 ×2（端点+中点）→ 单个 APG step 代价上界约 **4 倍**。
|
||||
- 同时 margin 5→3 让铰链激活的样本数下降。一增一减方向相反，幅度都没实测。
|
||||
- README §8 的"2–4 小时"沿用旧口径，没随改动更新。
|
||||
|
||||
后验表现无法预判：APG 之后若行程变长/贴柱反而更近，第一嫌疑是这个组合而不是学习率。
|
||||
|
||||
### B-3 新代码路径一次没跑，check_r2 自身可能成为闸门
|
||||
|
||||
- `check_r2.py:39`：`m.sum()==0` 时对空张量取 `torch.quantile(std, 0.9)` 直接报错（小样本摸底必撞；`label_std_mean` 也是 NaN）。
|
||||
- 默认 `--queries 20000 --pool 200000`，分块距离矩阵 1024×200000 ≈ 0.8 GB/块，`torch.where` 再复制一份 → 峰值 2–3 GB 显存；`Samples` 本身又把 X/Y/SG 全量上卡（约 1.5 GB）。CPU 兜底时 20000×200000 fp32 = 16 GB 内存，docstring 说"降到 50000"仍然不轻。
|
||||
- 它挂在第 5 步末尾，README 写"不通过先发我，不要直接训练"→ 一个自身可能 OOM/崩的硬门禁。
|
||||
|
||||
### B-4 R7 的左右比例被成功率污染，会漏报它想抓的东西
|
||||
|
||||
`gate.py:47` 的 `left(...)` 以"到达"为条件掩码。APG 把某一侧绕行全做失败时，剩余成功集里的左右比例可以纹丝不动 → 而 R7 的目标（方案：APG 压缩多模态）恰恰是这种情况。建议按全部题的首次 J1 方向统计，不筛到达。
|
||||
|
||||
### B-5 r8 集合没实现"两侧都要绕远"
|
||||
|
||||
`policy_bench.cjs:47-64` 只约束终点贴立柱 + |ΔJ1|≥140° + 直线被挡，**起点没做 `nearColumn` 检查**。方案 §10.1 R8 的口径是"两侧都要绕远"，现在起点对侧无约束 → 恢复率会比设计意图偏松（判据偏松是危险的偏）。
|
||||
|
||||
### B-6 估时里"实测"两字一处用错、两处仍是拍的
|
||||
|
||||
- §2 写"1 分钟（实测 7.6 s 对拍）"——7.6 s 是 `dump_parity 300` 的数，pipeline 跑 2000 条，不同口径。
|
||||
- §6 的"测速 6 分钟 / 正式 3 小时"由 6.2k 样本/s 换算，可信。
|
||||
- §7 的 10–20 分钟（1000 题 ×2 遍 × 定长 6 s）、§11 的"约 1 小时"（题数已从 1070 增到 1120，且 r8 采样每条最多 200 次 `collideDetail` 重试）、§8 的 2–4 小时（见 B-2）都无依据。
|
||||
|
||||
### B-7 方案自标的最大不确定项 R4 仍然是空的
|
||||
|
||||
策略推理在 wasm 多线程、batch=8 下的 P99 从未量过：`webapp/models/` 只有一个 README.md（至今没导出过任何模型），方案 §1.1 表里的 0.19 ms 是 2D 玩具沙箱（`ml/toy/toy_bimodal.py`）的数，不是这个 4.92 M 模型。而 60 ms 一次推理的部署节奏、`safetyMs:30` 预算、`certBudget:40` 全靠它。R4 不过就要改模型规模（d=128）或提交步数（3→2），是伤筋动骨的返工，却排在第 13 步才第一次被测。
|
||||
|
||||
### B-8 杂项
|
||||
|
||||
- `build_dataset.cjs:46` 噪声增广的接受地板仍是 `S.clearance(qn, 5) > 1`，与新的 3 mm 投影不同步（一松一紧，不是矛盾但没对齐）。
|
||||
- `acceptance.py:44` 用 `start_fail == 0` 硬判：held-out 约 2500 题里任何一题 0.5 s 内行程 <1° 就整项未过，判据脆。
|
||||
- `pipeline.sh` m5 不通过 `sys.exit(3)` → `all` 会中止（有意，但应写进"常见问题"）。
|
||||
- `requirements.txt` 仍列 `onnxconverter-common`（fp16 已非默认，留着无害）。
|
||||
- `tasks.py:36` 的 `column_gap(kin, b)` 仍在 2048 行整批上算（`free_q`/`straight_blocked` 已分块），单卡可过但和"已分块防 OOM"的说法不完全一致。
|
||||
|
||||
## 三、可行性判断
|
||||
|
||||
1. **前段（第 1–6 步）可执行**：数据生成、打包、两种头、闭环仿真、对拍都在本机实测过，数字与手册自洽。修订把 R10、共识补量、目录覆盖、`python3` 这几个会真卡住人的点解决了，这部分我认可。
|
||||
2. **后段（第 7–13 步）逻辑闭合但无证据**：判据齐全、口径终于分开了，可"APG+挖错能不能把纯策略穿柱率压到 ≤2%"、"机时是不是 2–4 h"、"held-out 能不能 98%"一个都没跑过。别把 §8–§12 的估时当预算。
|
||||
3. **不建议按现值直接跑第 7 步之前**：B-1（3 mm）是需要你拍板的安全决定，B-2（w_col 没跟着重标）会让后段任何异常都无法归因。
|
||||
|
||||
## 四、第 7 步之前建议先做的两件事（都不需要训练）
|
||||
|
||||
1. **结掉 R4**：用一个随机初始化的 4.92 M 模型导出 fp32 ONNX，走 `ml/serve.py` + `?policy=1`，在目标浏览器实测 `__POLICY.latency()` 的 batch=8 P99 与安全层 P99（方案要求 <15 ms）。不过就要改 `d`/`commit`，此时改配置的成本远低于训完 3 小时再改。
|
||||
2. **把 margin 决定单独拍板**：在"过滤老师数据保 5 mm"与"放宽护栏到 3 mm"之间选一个，再把 `w_col` 与 §8 估时按选择重算。这两条是本轮唯一拦住往下跑的理由。
|
||||
|
||||
Reference in New Issue
Block a user