exp: 分层指标三重交叉验证通过——success_reachable 0.5514/by_cat(B27%,C34%)/brake_rate p50 0.5%但p90 31.5%、stuck_share 23.4%；老22键逐位不变

2026-10-20 23:51:51 +08:00
parent a982b0755d
commit 1b301cc58e
2 changed files with 122 additions and 0 deletions
@@ -108,6 +108,21 @@
 - **对 `backoff` 的预期与判据**：全拒意味着"连第 1 步的端点或中点已经穿进障碍"，缩步能不能救取决于**穿得有多深**（穿 0.1 mm 救得回，穿 3 mm 救不回）。这个数转储里没记（只记被选中那条），所以直接由 `backoff_mean`/`reject_all_mean` 来量：
  `reject_all_mean ≈ 原全拒次数`（=backoff_mean+brakes_mean，与轮次 33 cap 的 19.55 可比），`backoff_mean/(backoff_mean+brakes_mean)` 就是"缩步能救回的比例"。这是补跑（#22）要读的第一个数。

+## 分层指标上线并被三重交叉验证（轮次 43）
+
+- 对照配方（轮次 33 cap：1 步、`--inc_cap 1`）重跑一次带分层指标的评估：**原有 22 个指标逐位不变**，新增键全部产出（`docs/experiment_round43_control_strat.json`）：
+
+  | 新读数 | 值 | 独立离线预测 |
+  |---|---|---|
+  | `success_reachable`（排除按定义不可达的 D 类） | **0.5514** | 0.5514（逐题 dump 手算）✓ |
+  | `by_cat` 到达 | A 96/128=75%、B 20/74=27%、C 11/32=34%、D 0/13、Dr 7/9 | 与离线一致 ✓ |
+  | `brake_rate` mean / p50 / **p90** | 10.03% / 0.51% / **31.54%** | 均值与手算 19.55/195 一致 ✓ |
+  | `stuck_share`（brake_rate>0.2 的题占比） | **23.4%** | 与"最卡前 20% 题占 72.4% 刹停事件"同量级 ✓ |
+  | `reverse_p50` / `reverse_moving_p50` / `moving_share_p50` | 0.2474 / 0.3258 / 0.9587 | 离线预测 0.247 ✓ |
+
+- 三处独立来源（逐题 dump 手算、轨迹转储离线重算、评估内建指标）在四个数上完全对齐 ⇒ 这批分层读数可以当判据用，不只是看板。
+- **为什么现在必须有 p90/stuck_share**：对照口径的均值刹停率 10.03% 看着"差 5 倍"，但真相是 **p50 只有 0.51%、p90 高达 31.5%、23.4% 的题踩在卡住线上**。以前只有均值时，`backoff` 这类"专治尾巴症状"的改动能把判据刷好而行为不变（已实测：brake_rate −16%、到达 −0.8 pp）——**没有 p90/stuck_share 就看不出这种背离**，这就是 #25 存在的理由。
+
 ## `backoff` 四臂判掉：转化率能买到刹停率，买不到到达——而且它能**绕过 §9.2 的判据**（轮次 43）

 - 同一 256 题同 seed、`--inc_cap 1 --cert_batch 1`，只改缩步档数（`docs/experiment_round38_backoff{0,1,2,3}.json`）：