Robot_Arm/docs/探索日志.md

探索日志：Transformer 机械臂闭环控制

长期锚点：docs/Transformer轨迹拟合训练方案.md §9.2（部署形态 = 策略 + 安全层）。 验收口径（§9.2）：实际执行碰撞 = 0；held-out 可达任务到达率 ≥ 98%；到达用时 ≤ 老师 ×1.3；关节行程 ≤ 现有规划器 ×1.10；冷启动 < 10 ms；每次推理 + 安全认证 P99 < 20 ms；刹停发生率 < 2% 的推理周期；策略单独（关安全层）碰撞率 < 3%。

评测约定：val 任务、部署节奏（r = 3 重规划、1 段采样、K=8）；「纯策略」= 关安全层；「部署」= 开安全层。时延：桌面 RTX 3090 上 sample_k(B=64, K=8) 墙钟均值（均值，非 P99）；浏览器 ONNX P99 以 §9.2 R4 的独立测量为准。

轮次 0：基线（2026-10-18，main）

• 假设：模型开环已拟合老师（末端 ~6 mm），闭环失败另有原因。
• 判据：reach = 0 且碰撞 ≈ 100% 即失败；需同时报告碰撞 / 到达 / 精度 / 时延。
• 配方：ml/runs/base/last.pt（step 14000，旧配方、act_scale=1.0），n=256。
• 对照：老师回放 reach 1.0 / 碰撞 0；H1_oracle（老师提线走 rollout）reach 1.0、碰撞 0、轨迹偏差 p99 4.6e-4°。
• 指标：到达 0%；碰撞 99.6%；精度 ol_fk 5.98 mm / ol_best 2.92 mm / ol_div 0.655，2 s 误差比 0.755；时延未测。
• 结论：仿真/滚动无误，失败在策略输出。闭环对每步残差极敏感（老师动作加 σ=0.05×STEP 即 reach 1.0→0.218）。

轮次 1：数据规模能否救闭环（main，负结论）

• 假设：训练数据不足导致分布外状态无覆盖。
• 判据：若闭环状态到训练集最近邻距离大，且密度缩放无法在误差尺度内缩小差距，则加大同类数据无效。
• 配方：191 万老师状态最近邻分析；6 维密度缩放 d∝N^(−1/6)。
• 对照：起点（老师分布内）最近邻。
• 指标：闭环状态最近邻 p50 21.5°（起点 13.2°）；数据翻 4 倍仅降 ~21%，与 0.02° 误差尺度差三个量级。
• 结论：加大同类老师数据无效；需要「不同的数据」（闭环状态标注）。
• 下一步：DAgger 或状态扰动数据。

轮次 2：合成扰动状态微调（main，负结论）

• 假设：偏移 1.5° 状态的老师标注可补足闭环状态覆盖。
• 判据：若 success 仍 0 或开环精度退化，则配方不成立。
• 配方：2000 个扰动起点（σ 混合 0.5/1/2/4°）→ 老师重规划（2000/2000 到达）→ 36k 样本 → 从 base/last.pt 微调 3000 步（lr 3e-4 / 1e-4 两轮）。
• 对照：base/last.pt。
• 指标：碰撞 99.6%→48.4% / 60.4%；到达仍 0%；开环 6→15.3 / 16.4 mm（退化 2.5×）；ratio2s 0.927/0.893。
• 结论：只学会了「保守避撞」，开环精度被带偏，success 仍 0；此配方不成立。
• 下一步：改训练标签（绝对目标）或真实 DAgger。

轮次 3：绝对目标参数化（exp: feat/abs-target，负结论）

• 假设：模型从当前状态外推增量（判别 ρ=1.54），改为绝对目标标签可让输出指向参考位置。
• 判据：一步采样开环误差需回到 <10 mm，闭环 success > 0；否则参数化不可行。
• 配方：ABS_TARGET=1 重打主数据（201 万样本，Y=16 步绝对目标/180），train/rollout/ckpt 适配；从零训练 9950 步（p_neq 预热 5000）。过程中修复前缀噪声增广把 eps 直接加到绝对目标（≈18° 污染）的 bug。
• 对照：base/last.pt（ol_fk 5.98 mm、reach 0%）。
• 指标：一步采样动作误差 31°（4/8 段 2.3°/2.8°）；ol_fk 4000/6000/8000 步 = 74.6/140.4/139.0 mm；闭环 0% / 100%（1 段与 4 段皆然）；时延未测。
• 结论：绝对目标的一步流匹配在 MeanFlow 头上学不动（过预热后 5000 步无下降趋势）；此配方不成立。分支已推送远端 217a70b（本地分支可删，远端保留可复现）。
• 下一步：回归增量口径，上真实 DAgger。

轮次 4：真实 DAgger 1 轮（main，部分有效）

• 假设：策略自己走到的状态（离训练集 21.5°）+ 老师重标注，可让模型学会在偏移状态上行动。
• 判据：reach 是否从 0 抬头；同时看碰撞、开环精度、时延。
• 配方：ACT_SCALE=1.0 DAG_ROUNDS=1 DAG_N=2000 bash ml/dagger/run.sh base ml/runs/base/last.pt（采集 2000 题 → 老师重规划 → 打包 → 微调 15000 步，lr 3e-4；主数据 + DAgger 混合）。
• 对照：base/last.pt。
• 指标：碰撞 99.6%→40.2%（8000 步 36.9%，10000 步 58.8%）；到达 0%，仅微调 12000 步时出现 0.4%（2/512）；开环退化 6→15.7 mm；ratio2s 0.87–0.92；时延未测。
• 结论：DAgger 数据确实教会避撞，但微调把主分布带偏（开环退化），到达仍近 0；单独 DAgger 不是终点。
• 下一步：在 DAgger 模型上加目标反馈（模型前馈 + DLS 反馈）。

轮次 5：模型前馈 + DLS 目标反馈（exp: feat/fb-mix，历史最佳）

• 假设：模型擅长开环轨迹/避撞，但不指向目标；把 DLS 朝目标的反馈叠加到候选动作上，可把「走偏」拉回目标。
• 判据：部署口径（+安全层）reach 显著 > 0 且碰撞 < 3%（§9.2 策略单独碰撞线）、刹停可控；否则不成立。
• 配方：closed_loop.rollout(fb_gain=...)：inc += fb_gain · DLS(qe→T,R, n=1)（加在所有候选上，安全层评估带反馈的候选）。模型 ml/runs/base_dag1/best.pt（DAgger 轮 4 的 best，12000 步）。n=128，val。
• 对照：base/last.pt + 同反馈；DAgger 模型 + 无反馈。
• 指标（n=128）：

配置	到达	碰撞	精度 ratio2s	刹停/题	时延
DAgger 模型, gain 0	0%	44.5%	0.873	0	—
DAgger 模型, gain 1.0, 关安全层	29.7%	73.4%	0.370	0	—
DAgger 模型, gain 1.0, 开安全层	20.3%	2.3%	0.480	21.9	12.58 ms/次（B=64,K=8，桌面 3090）
base 模型, gain 1.0, 关安全层	0%	94.5%	0.554	0	—

（另测 n=32 复核：gain 1.0 + safety → reach 25.0%、碰撞 6.2%、ratio2s 0.588。）

• 结论：反馈混合是首个把到达率从 0 拉到 20%+ 的机理；安全层把碰撞从 73% 压到 2.3%（部署口径），代价是刹停 21.9 次/题（远超 §9.2 的 <2%/周期）。精度 ratio2s 0.48（2 s 时误差缩一半），时延 12.58 ms/次接近 §9.2 的 20 ms（推理+认证）门槛。
• 与历史最佳/基线对比：reach 0→20.3%、碰撞 99.6→2.3%、ratio2s 0.755→0.480；开环精度仍退化（DAgger 微调导致 15.7 mm vs 基线 5.98 mm）。
• 漂移检查：main = 70654e4（无新提交）；工作区仅用户个人 html 未跟踪；数据口径 act_scale=1.0 与 ckpt 一致；feat/abs-target 已推送远端；本次实验在独立分支 feat/fb-mix。
• 下一步：扫更大 gain（1.2–2.0）与增益衰减；目标是把刹停次数降下来、到达率再提升，并测 ONNX/浏览器时延。

轮次 6：反馈增益扩展扫描（exp: feat/fb-mix，小幅进展）

• 假设：更大增益能把到达率继续推高。
• 判据：reach 显著高于 20.3%（>25%）且碰撞 ≤3%、刹停不失控。
• 配方：rollout(fb_gain∈{1.2,1.5,2.0}, safety=True)，模型同轮次 5，n=128。
• 对照：轮次 5（gain 1.0：reach 20.3% / 碰撞 2.3% / ratio2s 0.480 / 刹停 21.9）。
• 指标：

gain	到达	碰撞	ratio2s	刹停/题	墙钟/题
1.2	23.4%	1.6%	0.454	31.4	973 ms
1.5	21.9%	2.3%	0.498	43.0	1151 ms
2.0	23.4%	0.8%	0.530	57.6	1100 ms

• 结论：到达率封顶在 ~23%，增益再大只增刹停（31→58 次/题）。当前瓶颈从「到不了目标」变成「安全层频繁刹停 + 近目标过冲」。
• 下一步：距离衰减增益（远离目标全增益、贴近目标减弱）+ 刹停兜底；目标 reach > 30% 且刹停显著下降。

轮次 7：距离衰减增益 + 刹停兜底（exp: feat/fb-mix，负结论）

• 假设：贴近目标减弱反馈可减少过冲/刹停；安全层全拒时用「半速朝目标一步」（单点安全认证）可减少原地停滞。
• 判据：reach > 23.4%（轮次 6）且碰撞 ≤3%、刹停下降。
• 配方：fb_scale=100（>100 mm 全增益，近目标最低 0.2 倍）；fb_fallback=0.5（全拒时半速 DLS 一步，认证 qe+fb1 单点无碰）。n=128，safety=True。
• 对照：轮次 6（gain 1.2、无衰减、无兜底：23.4% / 1.6% / 0.454 / 31.4 / 973 ms）。
• 指标：

配置	到达	碰撞	ratio2s	刹停/题	墙钟/题
decay + fallback (gain 1.2)	7.0%	57.8%	0.506	45.1	1166 ms
decay only (gain 1.2)	9.4%	1.6%	0.454	29.6	1106 ms
no-decay + fallback (gain 1.2)	21.1%	57.8%	0.506	46.8	1063 ms
gain 1.0 + decay + fallback	4.7%	55.5%	0.515	37.2	939 ms

• 结论：两个改动都失败。① 衰减使接近目标时的收敛变慢，到达从 23.4% 掉到 9.4%；② 兜底绕过安全层的多候选选择，碰撞从 1.6% 拉到 57.8%（仅单点认证、且执行 3 步同向动作，危险），必须清除。保留参数但默认关闭（fb_scale=0, fb_fallback=0），历史最佳配置（轮次 6）可复现。
• 过程 bug（自造）：衰减代码曾用变量名 g 覆盖 rollout 的随机数生成器，导致 randn 报错；改名 gdec 后正常——记录以免误判为模型问题。
• 下一步：DAgger 第 2 轮——采集时加入 fb_gain + safety，让训练分布 = 部署分布（1 轮，15000 步微调，约 1 小时）。按目标要求先向用户确认。

轮次 8：部署分布 DAgger 第 2 轮（exp: exp/dagger-deploy，边际改善）

• 假设：第 1 轮 DAgger 用纯策略轨迹采集，与部署分布（反馈 + 安全层）不一致；用部署分布采集可让模型学到刹停/反馈下的正确动作。
• 判据：部署口径 reach > 23.4%（轮次 6）或刹停显著下降且到达不降。
• 配方：ml.dagger.collect --fb_gain 1.2 --safety 1（2000 题 → 637 起点，部署分布）→ 老师重规划 → 打包 → 从 base_dag1/best.pt 微调 15000 步（配置 base_dag2，lr 3e-4）。
• 对照：base_dag1/best.pt（轮次 6 历史最佳）；纯策略 eval 见训练日志。
• 指标（部署口径，n=128，safety=True）：

模型	gain	到达	碰撞	ratio2s	刹停/题	墙钟/题
dag2 best	1.0	21.9%	1.6%	0.485	18.9	905 ms
dag2 best	1.2	22.7%	1.6%	0.491	25.9	922 ms
dag1 best	1.0	20.3%	2.3%	0.480	21.9	944 ms
dag1 best（轮次 6）	1.2	23.4%	1.6%	0.454	31.4	953 ms

• 结论：部署分布 DAgger 把刹停降 18–40%、时延降 ~31 ms，但到达率未突破 23% 平台（-0.7 pp），属边际权衡改善；历史最佳到达仍是 dag1+gain1.2（23.4%）。
• 下一步：试 replan=empty（r=0 规划，让反馈逐步生效）与安全层候选 K=16（减少全拒刹停）。

轮次 9：replan=empty（队列空时规划、r=0）/ K=16 安全候选（exp: exp/dagger-deploy，新历史最佳）

• 假设：replan='empty'（每次队列空时规划、无前缀 r=0）比默认 r=3 更适合反馈混合。K=16 给安全层更多候选、减少全拒。 （更正：replan='empty' 仍是每 3 步规划一次——队列空才规划，commit 3 步；收益来自 r=0 无前缀，不是规划频率。）
• 判据：部署口径 reach > 23.4% 且碰撞 ≤1.6%、刹停/时延不恶化。
• 配方：dag2 best；replan='empty'（每次 r=0 规划）；K=16。n=128，safety=True。
• 对照：轮次 8（dag2+gain1.2：22.7% / 1.6% / 0.491 / 25.9 / 922 ms）。
• 指标：

配置	到达	碰撞	ratio2s	刹停/题	墙钟/题
gain1.2 + replan=empty	26.6%	0.8%	0.453	20.6	845 ms
gain1.2 + K=16	21.1%	1.6%	0.451	19.4	1629 ms
gain1.0 + K=16	21.9%	4.7%	0.506	14.6	1588 ms

• 结论：replan=empty（r=0）全面改善（到达 +3.9 pp、碰撞 1.6→0.8%、刹停 25.9→20.6、时延 922→845 ms），成为新历史最佳。K=16 无收益且时延翻倍（1629 ms），淘汰。
• 下一步：replan=empty 下重扫增益（0.8/1.0/1.5/2.0），找新最优。

轮次 10：replan=empty（r=0）下的增益重扫（exp: exp/dagger-deploy，新历史最佳）

• 假设：r=0 规划下，最优增益会上移。
• 判据：reach > 26.6%（轮次 9）且碰撞 ≤1.6%；同时比较刹停/时延。
• 配方：dag2 best，replan='empty'，gain ∈ {0.8, 1.0, 1.2, 1.5, 2.0}，safety=True，n=128。
• 对照：轮次 9（gain 1.2：26.6% / 0.8% / 0.453 / 20.6 / 845 ms）。
• 指标：

gain	到达	碰撞	ratio2s	刹停/题	墙钟/题
0.8	21.9%	2.3%	0.505	11.3	801 ms
1.0	22.7%	0.0%	0.489	15.2	810 ms
1.2	26.6%	0.8%	0.453	20.6	845 ms
1.5	28.9%	0.8%	0.411	28.5	844 ms
2.0	28.9%	0.8%	0.414	44.9	914 ms

• 结论：到达在 gain 1.5 封顶（28.9%），2.0 无收益且刹停翻倍（44.9）。按到达优先/碰撞 ≤3%：历史最佳 = gain 1.5 + replan=empty（28.9% / 0.8% / 0.411 / 28.5 / 844 ms）；按碰撞优先：gain 1.0（22.7% / 0.0% / 0.489 / 15.2 / 810 ms）。n=128 的差异约 3–4 题，需 n=256 复核。
• 下一步：n=256 复核 gain 1.0 / 1.2 / 1.5；若平台稳定，再决定是否 DAgger 第 3 轮（采集用新部署配置）。

轮次 11：n=256 复核（发现前 128 题偏难）

• 假设：轮次 10 的 n=128 差异含样本偏差，需扩大样本复核。
• 判据：reach 排名与轮次 10 一致、碰撞 ≤3%；若差异大则以 n=256 为准。
• 配方：dag2 best，replan='empty'，safety=True，gain ∈ {1.0, 1.2, 1.5}，n=256。
• 对照：轮次 10（n=128：22.7/26.6/28.9%）。
• 指标：

gain	n=128 到达	n=256 到达	碰撞	ratio2s	刹停/题	墙钟/题
1.0	22.7%	31.6%	0.8%	0.428	15.0	748 ms
1.2	26.6%	34.8%	1.2%	0.392	18.6	752 ms
1.5	28.9%	36.7%	1.6%	0.323	27.4	760 ms

• 结论：前 128 题显著偏难；n=256 上 gain 1.5 + replan=empty = 到达 36.7% / 碰撞 1.6% / ratio2s 0.323 / 刹停 27.4 / 760 ms（新历史最佳）。gain 1.0 更保守（31.6% / 碰撞 0.8% / 刹停 15.0）。排名与 n=128 一致（1.5 > 1.2 > 1.0）。
• 下一步：n=512 复核 gain 1.2/1.5；随后评估 DAgger 第 3 轮（部署分布采集）与监控页回写。

轮次 12：n=512 复核（稳定结论）

• 假设：n=256 的 34.8–36.7% 需在更大样本上确认。
• 判据：reach 与 n=256 差异 <5 pp、碰撞 ≤3%。
• 配方：dag2 best，replan='empty'，safety=True，gain ∈ {1.2, 1.5}，n=512。
• 对照：轮次 11（n=256：34.8 / 36.7%）。
• 指标：

gain	n=256 到达	n=512 到达	碰撞	ratio2s	刹停/题	墙钟/题
1.2	34.8%	32.6%	1.0%	0.435	18.6	722 ms
1.5	36.7%	33.4%	1.0%	0.399	28.1	738 ms

• 结论：n=512 稳定在 33% 左右（n=256 略乐观）；历史最佳（n=512，部署口径）= gain 1.5 + replan=empty：到达 33.4% / 碰撞 1.0% / ratio2s 0.399 / 刹停 28.1 / 738 ms。保守版 gain 1.2：32.6% / 1.0% / 0.435 / 18.6 / 722 ms（刹停少 1/3）。
• 监控页回写：ml/monitor.py 新增 /api/explore（读 docs/探索日志.md），ml/monitor.html 新增「闭环探索日志」卡片；Edge headless 截图确认渲染正常（http://127.0.0.1:8100）。
• 下一步：候选选择器（consist/value/first）与 K=4 在反馈+每步重规划下是否影响到达/刹停。

轮次 13：选择器 / K / 失败模式（exp: exp/dagger-deploy）

• 假设：反馈混合下，候选选择器与候选数 K 会影响到达/时延；失败模式可指导下一步。
• 判据：reach > 36.7% 或时延显著下降；同时报告 time_ok_1p3。
• 配方：dag2 best，replan='empty'，gain 1.5，safety=True，n=256。
• 对照：轮次 11/12（consist K=8：36.7%）。
• 指标：

配置	到达	碰撞	ratio2s	刹停/题	墙钟/题
consist K=8	36.7%	1.6%	0.323	27.4	764 ms
value K=8	35.9%	1.6%	0.334	29.4	1063 ms
first K=8	36.3%	1.2%	0.338	28.1	780 ms
K=6	35.9%	1.6%	0.353	28.6	627 ms
K=4	31.6%	1.2%	0.396	32.6	482 ms

• 失败模式（n=256，consist K=8）：失败 149 题中 碰撞仅 3 题（1.2%）、超时无碰撞 146 题（57.0%）；失败题终点误差 p50 140 mm；time_ok_1p3 仅 13.3%；成功题 t_done p50 2.74 s（时限 p50 3.4 s）；刹停 27.4 次/题。
• 结论：选择器无差别（consist 略优）；K=8 到达最佳，K=6 省 18% 时延（到达 -0.8 pp）。当前真正的瓶颈是时间效率（频繁刹停→超时），不是碰撞。§9.2 的「用时 ≤ 老师×1.3」当前只有 13.3%。
• 下一步：每步重规划下，安全层只需认证第 1 步（现在验 3 步，过度保守→全拒→刹停）；改 safety_steps=1 验证能否在保持低碰撞的同时大幅减少刹停。

轮次 14：部分安全前缀（exp: exp/dagger-deploy，刹停大降）

• 假设：安全层现在要求 3 步全安全才执行，候选只要第 2–3 步有碰撞就全拒刹停；改为「执行到第一个不安全步为止」可减少刹停。
• 判据：刹停显著下降、到达不降、碰撞 ≤3%。
• 配方：dag2 best，replan='empty'，gain 1.5，safety=True，safety_partial=1；n=256。
• 对照：全窗口（轮次 11/13：36.7% / 1.6% / 0.323 / 27.4 / 775 ms）。
• 指标：

安全层	到达	time_ok_1p3	碰撞	ratio2s	刹停/题	墙钟/题
3 步全安全	36.7%	13.3%	1.6%	0.323	27.4	775 ms
部分安全前缀	38.3%	13.7%	1.6%	0.308	8.6	770 ms

• 结论：刹停 27.4→8.6（-69%）、到达 +1.6 pp、碰撞不变——部分安全前缀有效（新最佳：38.3% / 1.6% / 0.308 / 8.6 / 770 ms）。但 time_ok_1p3 仍 13.7%：说明超时主因不是刹停，而是执行粒度——部分前缀的填充零步仍在消耗时间。
• 下一步：commit_n=1（每次只提交 1 步、每步规划，无填充步），验证时间效率。

轮次 15：每步规划（commit_n=1）（exp: exp/dagger-deploy，新历史最佳）

• 假设：部分前缀的填充零步仍在消耗时间；每次只提交 1 步、每步重新规划可消除填充、提升时间效率。
• 判据：time_ok_1p3 显著上升、到达不降、碰撞 ≤3%。
• 配方：dag2 best，replan='empty'，gain 1.5，safety=True，safety_partial=1, commit_n=1；n=256。
• 对照：commit_n=3 部分前缀（轮次 14：38.3% / 13.7% / 1.6% / 0.308 / 8.6 / 770 ms）。
• 指标：

commit_n	到达	time_ok_1p3	碰撞	ratio2s	刹停/题	墙钟/题
3	38.3%	13.7%	1.6%	0.308	8.6	770 ms
1	41.8%	21.5%	2.3%	0.259	26.9	967 ms

• 结论：每步规划把到达推到 41.8%、时间效率 13.7→21.5%、精度 ratio2s 0.259；代价：碰撞 1.6→2.3%（仍 <3%）、刹停计数回升（每步都判断）、时延 +26%。新历史最佳（n=256，部署口径）：41.8% / 2.3% / 0.259 / 21.5% / 967 ms。
• 注：commit_n=1 的推理频率是 3 倍，真机需核对 §9.2 的 P99 <20 ms 预算（当前桌面 12.58 ms/次）。
• 下一步：n=512 复核；若稳定则收尾（更新最佳、监控页、分支清理）。

轮次 16：n=512 复核每步规划（稳定结论）

• 假设：轮次 15 的 41.8%（n=256）需更大样本确认。
• 判据：reach 与 n=256 差异 <5 pp、碰撞 ≤3%。
• 配方：dag2 best，replan='empty'，gain 1.5，safety=True，safety_partial=1，commit_n=1；n=512。
• 对照：轮次 15（n=256：41.8% / 21.5% / 2.3% / 0.259 / 967 ms）。
• 指标：到达 40.8%、time_ok_1p3 25.0%、碰撞 2.1%、ratio2s 0.309、刹停 25.3、墙钟 852 ms/题。
• 结论：稳定。历史最佳（n=512，部署口径）= 40.8% 到达 / 2.1% 碰撞 / ratio2s 0.309 / time_ok 25.0% / 852 ms/题；从基线 0% 到达提升 40.8 pp。相对 §9.2（98%、碰撞 0、用时≤老师×1.3）仍有大差距，但机理已成立。
• 下一步：每步规划下重扫增益（1.8/2.2/3.0），看时间效率是否继续提升；随后收尾。

轮次 17：每步规划下的更大增益（exp: exp/dagger-deploy）

• 假设：每步规划下更大的反馈增益可进一步提升到达与时间效率。
• 判据：time_ok 上升、到达不降、碰撞 ≤3%。
• 配方：dag2 best，replan='empty'，commit_n=1，safety_partial=1，gain ∈ {1.8, 2.2, 3.0}，n=256。
• 对照：轮次 15（gain 1.5：41.8% / 21.5% / 2.3% / 0.259 / 26.9 / 967 ms）。
• 指标：

gain	到达	time_ok_1p3	碰撞	ratio2s	刹停/题	墙钟/题
1.8	43.8%	28.9%	1.6%	0.216	40.0	956 ms
2.2	41.0%	32.4%	2.0%	0.174	64.4	976 ms
3.0	36.3%	32.8%	0.8%	0.153	123.2	994 ms

• 结论：gain 1.8 到达最高（43.8%）；2.2/3.0 精度与时间效率更好但到达下降、刹停暴涨（3.0 达 123 次/题，过冲）。历史最佳按到达优先（碰撞 ≤3%）：gain 1.8 = 到达 43.8% / 碰撞 1.6% / ratio2s 0.216 / time_ok 28.9% / 956 ms（n=256）。保守/时间优先可选 2.2。
• 下一步：n=512 复核 gain 1.8；随后收尾。

轮次 18：n=512 复核 gain 1.8（收尾）

• 假设：轮次 17 的 43.8%（n=256）需更大样本确认。
• 判据：reach 与 n=256 差异 <5 pp、碰撞 ≤3%。
• 配方：dag2 best，replan='empty'，commit_n=1，safety_partial=1，gain 1.8；n=512。
• 对照：轮次 17（n=256：43.8% / 28.9% / 1.6% / 0.216 / 40.0 / 956 ms）；轮次 16（gain 1.5 n=512：40.8% / 25.0% / 2.1% / 0.309 / 25.3 / 852 ms）。
• 指标：到达 42.2%、time_ok_1p3 29.1%、碰撞 2.9%、ratio2s 0.270、刹停 37.4、墙钟 870 ms/题。
• 结论：gain 1.8 在 n=512 稳定（42.2%），到达/时间效率优于 gain 1.5（+1.4 pp / +4.1 pp），但碰撞 2.1→2.9%（贴近 3% 线）、刹停 25.3→37.4。历史最佳（到达优先，n=512）= gain 1.8；碰撞优先 = gain 1.5。
• 下一步：本轮探索收尾（监控页已回写）；进入大规模训练需用户确认 §9.2 锚点。

轮次统计

• 连续无实质进展轮数：0（轮次 9–17 持续有实质进展）。
• 历史最佳（部署口径，n=512）：ml/runs/base_dag2_dag1/best.pt + K=8, safety=True, replan='empty', fb_gain=1.8, safety_partial=1, commit_n=1 → 到达 42.2%、碰撞 2.9%、ratio2s 0.270、time_ok_1p3 29.1%、刹停 37.4/题、仿真墙钟 870 ms/题；推理 12.58 ms/次（B=64,K=8，桌面 3090 均值，P99 未测）。
• 保守版（碰撞优先）：gain 1.5 → 40.8% / 2.1% / 0.309 / 25.0% / 25.3 / 852 ms。
• 与基线对比：到达 0→42.2%、碰撞 99.6→2.9%、ratio2s 0.755→0.270；代价：DAgger 微调使开环 ol_fk 5.98→15.7 mm。
• 相对 §9.2：到达 42.2% vs ≥98%（差距大）；碰撞 2.9% vs 0（接近策略单独 <3% 线）；用时 ≤老师×1.3 为 29.1%；推理+认证 P99 未测（桌面均值 12.58 ms，预算 20 ms）。
• 未进入大规模训练（需用户确认 §9.2 锚点）。
• 训练方法探索（轮次 19–22）：APG（管线修复、尺度失控）、反馈蒸馏（未内化）、DAgger-3（39.5%）、冻结编码器（41.8%）——均未超过 dag2 基线 43.8%。

轮次 19：APG 闭环策略梯度试跑（exp: exp/dagger-deploy，管线修复但暂不采用）

• 假设：用闭环目标/碰撞损失直接微调策略（把"朝目标走"内化），减少对执行层反馈的依赖。
• 判据：纯策略闭环 success 上升、碰撞铰链下降；部署口径（+反馈/安全层）不降。
• 配方：ml.apg.apg_finetune --init base_dag2_dag1/best.pt --steps 2（先冒烟；原计划 500 步）。
• 修复的两个既有 bug（APG 此前从未实测）：
  1. kin_torch._cat_gaps 的 p['b'] += s 是 in-place，而 b 被 autograd 索引反向图引用 → backward 报 version 错；改为 p['b'] = p['b'] + s。
  2. APG 段边界 queue.detach() 让下一段执行的动作无梯度；改为只 detach 状态并重置队列（下一 plan 走 r=0 重新提交）。
• 指标（2 步冒烟）：EVAL0（纯策略）success 0 / 碰撞 31.8%；第 0 步 col（碰撞铰链均值）409508、gnorm 473119（被裁剪）、tgt 206.6、smooth 645；EVAL@2 success 0 / 碰撞 26.0%。
• 结论：管线已能跑，但损失尺度失控（碰撞铰链均值 40 万，远大于 margin 3mm 的合理量级）；且 APG 展开是纯策略口径（无反馈/安全层/每步规划），与当前部署形态不一致。暂不采用，转「反馈蒸馏」。
• 下一步：反馈蒸馏——用最终部署配置收集 (特征, 复合动作=模型输出+目标反馈) 样本，微调模型把反馈内化。

轮次 20：反馈蒸馏（exp: exp/dagger-deploy，负结论）

• 假设：用最终部署配置收集 (特征, 复合动作 = 模型输出 + 目标反馈) 样本，微调后模型可内化反馈（部署时降低/去掉反馈仍能到目标）。
• 判据：部署口径下 fb_gain=0~0.9 时 success 接近/超过基线（43.8%，n=256），且 time_ok 不降。
• 配方：rollout 加 collect 钩子（与部署一致：safety、replan='empty'、safety_partial=1、commit_n=1、fb_gain=1.8）收集 500 题 → 17.7 万样本；train.py --config distill.json（lr 1e-4、3000 步、w_value=0、w_sub=0、w_fk=0.1、w_smooth=0.01）+ 主数据 BC 锚定，从 dag2 best 微调。
• 对照：dag2 + gain 1.8（n=256：43.8% / 28.9% / 1.6% / 0.216 / 40.0 / 956 ms）。
• 指标（n=256，部署口径）：

模型	gain	到达	time_ok_1p3	碰撞	ratio2s	刹停/题	墙钟/题
distill	0.0	0.8%	—	0.0%	0.708	2.1	762 ms
distill	0.9	36.7%	10.5%	1.2%	0.421	12.4	916 ms
distill	1.8	43.4%	27.7%	2.0%	0.228	47.4	925 ms
dag2（基线）	1.8	43.8%	28.9%	1.6%	0.216	40.0	956 ms

• 结论：反馈未内化——gain=0 时到达仅 0.8%（与基线纯策略一样）；gain=1.8 时与基线持平（43.4 vs 43.8，差约 1 题），碰撞/刹停略差。蒸馏样本占比仅 8.5%、标签仍以主数据增量为主，模型没有学会"看目标修正"。此配方不成立。
• 下一步：与最终部署配置一致的 DAgger 第 3 轮（采集时已用 safety+fb 1.2，但仍是 3 步提交/全窗口；现在部署是每步规划+部分前缀）。

轮次 21：DAgger-3（最终部署配置采集）（exp: exp/dagger-deploy，负结论）

• 假设：用最终部署配置（每步规划 + 部分安全前缀 + 反馈 gain1.8 + 安全层）采集，训练分布与部署完全一致，可继续提升。
• 判据：部署口径 success > 43.8%（dag2 基线，n=256）。
• 配方：collect --fb_gain 1.8 --safety 1 --replan empty --commit_n 1 --safety_partial 1（500 题、73 起点）→ 老师重规划 → 打包 → 从 dag2 best 微调 15000 步（lr 3e-4，配置 base_dag3）。
• 对照：dag2 + gain1.8（n=256：43.8% / 28.9% / 1.6% / 0.216 / 40.0 / 956 ms）。
• 指标（n=256，部署口径）：

模型	gain	到达	time_ok_1p3	碰撞	ratio2s	刹停/题	墙钟/题
dag3	1.5	39.8%	16.0%	1.2%	0.360	14.7	912 ms
dag3	1.8	39.5%	21.1%	1.2%	0.320	24.5	935 ms
dag2（基线）	1.8	43.8%	28.9%	1.6%	0.216	40.0	956 ms

• 结论：DAgger-3 到达 -4.3 pp（39.5 vs 43.8），time_ok -7.8 pp；碰撞/刹停略好但主指标下降。开环进一步退化（ol_fk 19.5 mm vs dag2 15.7）。负结论：继续微调（15000 步 lr 3e-4）会退化主分布，训练侧收益递减。
• 下一步：冻结编码器、只微调解码器（假设：微调退化来自表征漂移），用同一份数据与预算验证。

轮次 22：冻结编码器微调（exp: exp/dagger-deploy，负结论）

• 假设：微调导致的分布退化来自表征漂移；冻结编码器（enc + enc_norm）、只调解码器/头，可保留开环精度同时吸收 DAgger-3 的部署分布样本。
• 判据：部署口径 success > 43.8%（dag2）且 ol_fk 不退化（≤16 mm）。
• 配方：train.py --freeze-enc（优化器只含 requires_grad 参数），数据 = 主数据 + DAgger-3 样本，lr 3e-4、5000 步，从 dag2 best 初始化；n=256 部署口径。
• 对照：dag2 + gain1.8（43.8% / 28.9% / 1.6% / 0.216 / 40.0 / 956 ms）。
• 指标：

模型	gain	到达	time_ok_1p3	碰撞	ratio2s	刹停/题	墙钟/题	ol_fk
冻结编码器	1.5	39.8%	22.3%	1.2%	0.293	25.4	936 ms	15.8 mm
冻结编码器	1.8	41.8%	26.2%	2.3%	0.274	41.4	940 ms	15.8 mm
dag2（基线）	1.8	43.8%	28.9%	1.6%	0.216	40.0	956 ms	15.7 mm

• 结论：冻结编码器确实减缓了开环退化（ol_fk 15.8 vs 全微调 19.5），但部署到达仍比 dag2 低 2.0 pp——无提升。至此训练侧四种方法（APG、反馈蒸馏、DAgger-3、冻结编码器）均未超过 dag2 基线（43.8%），训练侧在当前数据/预算下已到平台。
• 下一步（超出小规模范围，需确认）：更大规模训练（24000 步从头 + 8000×2 轮 DAgger）或改特征/架构（目标条件化、状态扰动训练需重算特征）。

分支清理（2026-10-20）

• feat/fb-mix（8e5431c）：反馈混合方案的中间分支，已验证是 exp/dagger-deploy 的祖先（所有提交都在后者历史里），本地/远端分支删除，内容保留在 exp/dagger-deploy。
• feat/abs-target（217a70b）：绝对目标参数化负结论分支（轮次 3）；打 tag archive/abs-target 保留可复现实体后，删除远端分支（本地此前已删）。
• backup/pre-deep-squash、backup/pre-squash：历史备份分支，非实验方案，保留未动。
• 保留：main（70654e4）、exp/dagger-deploy（39c870c，历史最佳）。