docs: 补 §9.2 记分板——碰撞/超VMAX 已达标，到达差41.8pp、行程超1.4倍、P99差2~3倍、刹停率估≈9.9%(判据互相拉扯，单格变好必须同报其他格)

2026-10-20 22:51:30 +08:00
parent c9344599af
commit 04fe4a007b
1 changed files with 17 additions and 0 deletions
@@ -107,6 +107,23 @@
 - **对 `backoff` 的预期与判据**：全拒意味着"连第 1 步的端点或中点已经穿进障碍"，缩步能不能救取决于**穿得有多深**（穿 0.1 mm 救得回，穿 3 mm 救不回）。这个数转储里没记（只记被选中那条），所以直接由 `backoff_mean`/`reject_all_mean` 来量：
  `reject_all_mean ≈ 原全拒次数`（=backoff_mean+brakes_mean，与轮次 33 cap 的 19.55 可比），`backoff_mean/(backoff_mean+brakes_mean)` 就是"缩步能救回的比例"。这是补跑（#22）要读的第一个数。
 ## §9.2 记分板（2026-10-20 现状，最好的合法口径 = `--inc_cap 1` + K=16）
 | 判据（§9.2） | 要求 | 当前 | 差距 |
 |---|---|---|---|
 | 实际执行碰撞 | = 0 | **0**（`collision_rate 0`、`collision_free_success` = `success`） | **达标** |
 | 超 VMAX 的题占比 | = 0（本轮新增的硬口径） | **0**（`over_vmax_rate 0.000`，开 `--inc_cap 1` 后；不开则 1.000、峰值 1.660×VMAX） | **达标**（代价：到达 −5.1 pp） |
 | held-out 可达任务到达率 | ≥ 98% | **0.5625**（K=16）/ 0.5234（K=8） | 差 **41.8 pp** |
 | 到达用时 ≤ 老师×1.3 | 全部到达题 | 达标比例 **0.2969**（K=16）/ 0.2656（K=8） | 到达题里也只有约三成按时 |
 | 关节行程 ≤ 规划器×1.10 | ≤1.10 | 行程比中位 **2.62** | 超 **1.4 倍**，且罚候选行程是负结论（见上） |
 | 冷启动 | <10 ms | 未单独测（周期 P50 9.0 ms 是稳态推理，含首段编码） | 待测 |
 | 推理 + 安全认证 P99 | <20 ms | 现口径周期 P50 33.5 / P99 64.7 ms；批量认证把最坏 80.2→37.1 ms | 差 **2~3 倍** |
 | 刹停 < 2% 推理周期 | <2% | 估算 **≈9.9%**（19.25 次全拒 ÷ 195 次规划；K=16 时 13.77/195 ≈ 7.1%） | 差 **3.5~5 倍** |
 - 刹停率这一格现在是**手算估算**：`eval` 产物里以前没存每题规划次数。已补 `n_plans` 与 `brake_rate`（并因此踩了 `per['plans']` 键名冲突的坑），当前批次之后的臂会直接给这个数，届时替换估算。
 - 记分板脚本 `ml/runs/_scoreboard.py`（读所有产物 + 轮次 33/38 的 GPU 微基准）。**注意它的输出在 GBK 控制台下会因 `⇒` 崩**，要带 `PYTHONIOENCODING=utf-8` 跑——这是我自己的老坑第 N 次复现，脚本以后只打 ASCII。
 - 读法：判据之间是相互拉扯的（限速 −5.1 pp 到达、多段推理 +2.4 pp 时限但 −15 pp 到达、放大噪声 −8.2 pp 时限），所以**任何单格变好都要同批报其他格**，这正是记分板存在的理由。
 ## 多段推理的代价实测（B=1、K=8、逐轮交替、奇数轮反序）
 - `docs/experiment_round38_steps_cost.json`（24 轮 × 每轮 40 次，取每档的中位）：