exp(dagger-deploy): 轮次8——部署分布 DAgger 把刹停降 18-40%、时延 953→922ms，到达 22.7%（未破 23% 平台）；历史最佳到达仍 dag1+gain1.2 23.4%

2026-10-20 05:05:47 +08:00
parent dc27781a72
commit 2ff02eb9a8
1 changed files with 18 additions and 0 deletions
@@ -112,6 +112,24 @@
 - **过程 bug（自造）**：衰减代码曾用变量名 `g` 覆盖 rollout 的随机数生成器，导致 `randn` 报错；改名 `gdec` 后正常——记录以免误判为模型问题。
 - **下一步**：DAgger 第 2 轮——采集时加入 fb_gain + safety，让训练分布 = 部署分布（1 轮，15000 步微调，约 1 小时）。按目标要求先向用户确认。
 ## 轮次 8：部署分布 DAgger 第 2 轮（exp: `exp/dagger-deploy`，边际改善）
 - **假设**：第 1 轮 DAgger 用纯策略轨迹采集，与部署分布（反馈 + 安全层）不一致；用部署分布采集可让模型学到刹停/反馈下的正确动作。
 - **判据**：部署口径 reach > 23.4%（轮次 6）或刹停显著下降且到达不降。
 - **配方**：`ml.dagger.collect --fb_gain 1.2 --safety 1`（2000 题 → 637 起点，部署分布）→ 老师重规划 → 打包 → 从 `base_dag1/best.pt` 微调 15000 步（配置 base_dag2，lr 3e-4）。
 - **对照**：base_dag1/best.pt（轮次 6 历史最佳）；纯策略 eval 见训练日志。
 - **指标（部署口径，n=128，safety=True）**：
 | 模型 | gain | 到达 | 碰撞 | ratio2s | 刹停/题 | 墙钟/题 |
 |---|---|---|---|---|---|---|
 | dag2 best | 1.0 | 21.9% | 1.6% | 0.485 | **18.9** | **905 ms** |
 | dag2 best | 1.2 | 22.7% | 1.6% | 0.491 | 25.9 | 922 ms |
 | dag1 best | 1.0 | 20.3% | 2.3% | 0.480 | 21.9 | 944 ms |
 | dag1 best（轮次 6） | 1.2 | **23.4%** | 1.6% | **0.454** | 31.4 | 953 ms |
 - **结论**：部署分布 DAgger 把刹停降 18–40%、时延降 ~31 ms，但到达率未突破 23% 平台（-0.7 pp），属边际权衡改善；历史最佳到达仍是 dag1+gain1.2（23.4%）。
 - **下一步**：试每步重规划（replan='empty'，让反馈逐步生效）与安全层候选 K=16（减少全拒刹停）。
 ## 轮次统计
 - 连续无实质进展轮数：0（轮次 5 出现实质进展：reach 0→20.3%）。