diff --git a/docs/探索日志.md b/docs/探索日志.md index a6f1da4..9820734 100644 --- a/docs/探索日志.md +++ b/docs/探索日志.md @@ -112,6 +112,24 @@ - **过程 bug(自造)**:衰减代码曾用变量名 `g` 覆盖 rollout 的随机数生成器,导致 `randn` 报错;改名 `gdec` 后正常——记录以免误判为模型问题。 - **下一步**:DAgger 第 2 轮——采集时加入 fb_gain + safety,让训练分布 = 部署分布(1 轮,15000 步微调,约 1 小时)。按目标要求先向用户确认。 +## 轮次 8:部署分布 DAgger 第 2 轮(exp: `exp/dagger-deploy`,边际改善) + +- **假设**:第 1 轮 DAgger 用纯策略轨迹采集,与部署分布(反馈 + 安全层)不一致;用部署分布采集可让模型学到刹停/反馈下的正确动作。 +- **判据**:部署口径 reach > 23.4%(轮次 6)或刹停显著下降且到达不降。 +- **配方**:`ml.dagger.collect --fb_gain 1.2 --safety 1`(2000 题 → 637 起点,部署分布)→ 老师重规划 → 打包 → 从 `base_dag1/best.pt` 微调 15000 步(配置 base_dag2,lr 3e-4)。 +- **对照**:base_dag1/best.pt(轮次 6 历史最佳);纯策略 eval 见训练日志。 +- **指标(部署口径,n=128,safety=True)**: + +| 模型 | gain | 到达 | 碰撞 | ratio2s | 刹停/题 | 墙钟/题 | +|---|---|---|---|---|---|---| +| dag2 best | 1.0 | 21.9% | 1.6% | 0.485 | **18.9** | **905 ms** | +| dag2 best | 1.2 | 22.7% | 1.6% | 0.491 | 25.9 | 922 ms | +| dag1 best | 1.0 | 20.3% | 2.3% | 0.480 | 21.9 | 944 ms | +| dag1 best(轮次 6) | 1.2 | **23.4%** | 1.6% | **0.454** | 31.4 | 953 ms | + +- **结论**:部署分布 DAgger 把刹停降 18–40%、时延降 ~31 ms,但到达率未突破 23% 平台(-0.7 pp),属边际权衡改善;历史最佳到达仍是 dag1+gain1.2(23.4%)。 +- **下一步**:试每步重规划(replan='empty',让反馈逐步生效)与安全层候选 K=16(减少全拒刹停)。 + ## 轮次统计 - 连续无实质进展轮数:0(轮次 5 出现实质进展:reach 0→20.3%)。