ml: 显存预算按 19–20 GB 落地（APG batch 128→48 + 每进程硬帽 + vram 上日志/网页）；自检四处判据与环境坑修好，整轮 7/8 通过 3.5 分钟

- ml/configs/apg.json：batch 128→48。本机实测（d=192 同结构、每进程 19.2 GB 硬帽、1 步即到位）batch=128 无论 plans 取 60 还是 150 都 OOM（崩前已分配 17.85 GiB；d=32 小模型也 17.54 GiB，说明是展开图吃显存而非模型大小）；48/plans=150 为 13.08、48/60 为 7.67。展开长度 plans 没动，降 plans 会把长任务绕出段截掉。
- ml/common/vram.py（新）：limit() 设每进程帽 VRAM_FRAC 默认 0.78≈18.7 GiB 并打印上限；peak_gib() 供日志。train.py 与 apg_finetune.py 调用，每条记录新增 vram 字段（实测 train batch=1024 → 2.71，APG 自检档 → 0.33）。没帽时 APG 会把整卡顶到 23.6 GB、连桌面一起挤掉。
- ml/monitor.py / monitor.html：状态带 vram_budget_gb（默认 20，VRAM_BUDGET_GB 可改），GPU 显存条按预算算并超线变色，指标卡加「显存峰值」（>14 黄 >17 红）。headless 加载渲染 DOM 复核过。
- ml/configs/smoke.json 补 apg 段（batch=8）+ selftest.sh 的 APG 两项带 --config：原先不带 → 自检第 6 项按正式 batch=128 跑，本机必 OOM。
- ml/selftest.sh：gen_resume 判据由 cmp -s 改为剔除 plan_ms/cert.ms 两个墙钟字段后逐条比（旧判据恒 false）；rec() 值非合法 JSON 时记 false 不再静默丢项。
- ml/selftest_proc.py：alive() 读 tasklist 改 text=True+errors='replace' 并防 None（中文 Windows 表头 GBK 会让读线程抛 UnicodeDecodeError→stdout=None→TypeError）；wait_pids 带上最后一次异常。
- ml/monitor.py find_bash()：便携版 git 的 mingw64 布局要再上一层找 bash，并兜 which('bash')（排除 System32 的 WSL）。本机原先返回 None → 网页「开始训练」起不动、自检进程两项没跑。
- 整轮自检重跑：gen_resume/prep_rerun/train_stop/train_stopfile/apg_resume/tree_killed/survive_parent_exit 全 true，仅 train_term false（timeout 的 TERM 送不到原生 python，rc=124 硬杀）；用时 3.5 分钟。
- 文档：新增第七节（显存实测表、自检 8 项结果、四条判据/环境坑、本机改动清单）；A-3 改为「实现方已改、待复跑验证」，C-5/C-6 标为已实测，D 组复核后关闭。

ml/selftest.sh

@@ -17,14 +17,21 @@ git ls-files -z | tar --null -T - -cf - | (cd "$D" && tar xf -)
 [ -d ml/node_modules ] && cp -r ml/node_modules "$D/ml/node_modules"
 cd "$D"; mkdir -p ml/runs ml/data
 R=ml/runs/selftest_items.jsonl; : > $R
-rec() { $PY -c "import json,sys;print(json.dumps({'item':sys.argv[1],'pass':json.loads(sys.argv[2]),'detail':sys.argv[3]},ensure_ascii=False))" "$1" "$2" "$3" >> $R; echo "[selftest] $1 → $2  $3"; }
+rec() { $PY -c "import json,sys
+try: v=json.loads(sys.argv[2])
+except Exception: v=False      # 值不是合法 JSON 时记 false，不能让整项静默消失（第七轮实测：'none' 抛异常 → 两项没进结果）
+print(json.dumps({'item':sys.argv[1],'pass':v,'detail':sys.argv[3]},ensure_ascii=False))" "$1" "$2" "$3" >> $R; echo "[selftest] $1 → $2  $3"; }
 CFGS=ml/configs/smoke.json
 # 1 生成续写
 node ml/gen/gen_dataset.cjs --n 6 --seed 11 --out ml/data/a.jsonl 2>/dev/null
 node ml/gen/gen_dataset.cjs --n 3 --seed 11 --out ml/data/shard_0011.jsonl.part 2>/dev/null
 sz=$(wc -c < ml/data/shard_0011.jsonl.part); head -c $((sz - 40)) ml/data/shard_0011.jsonl.part > t && mv t ml/data/shard_0011.jsonl.part
 node ml/gen/gen_dataset.cjs --n 6 --seed 11 --out ml/data/shard_0011.jsonl.part 2>ml/runs/st_gen.log; mv ml/data/shard_0011.jsonl.part ml/data/shard_0011.jsonl
-cmp -s ml/data/a.jsonl ml/data/shard_0011.jsonl && rec gen_resume true "$(grep -o '续写[^,]*' ml/runs/st_gen.log | head -1)" || rec gen_resume false "续写结果与一口气生成不同"
+gd=$($PY -c "import json,sys
+f=lambda p:[json.dumps({**r,'plan_ms':0,'cert':{**r.get('cert',{}),'ms':0}},sort_keys=True) for r in (json.loads(l) for l in open(p,encoding='utf-8') if l.strip())]
+a,b=f(sys.argv[1]),f(sys.argv[2]);print('OK' if a==b else '不同 %d/%d 条'%(sum(x!=y for x,y in zip(a,b))+abs(len(a)-len(b)),max(len(a),len(b))))" ml/data/a.jsonl ml/data/shard_0011.jsonl)
+if [ "$gd" = OK ]; then rec gen_resume true "$(grep -o '续写[^,]*' ml/runs/st_gen.log | head -1)（逐条一致；不含 plan_ms/cert.ms 两个墙钟字段，第七轮实测 cmp -s 恒不等）"
+else rec gen_resume false "续写与一口气生成不同：$gd"; fi
 rm -f ml/data/a.jsonl
 node ml/gen/gen_dataset.cjs --n 40 --seed 12 --out ml/data/shard_0012.jsonl 2>/dev/null   # 训练自检用的小数据
 # 2 打包二次运行
@@ -49,13 +56,16 @@ if command -v timeout >/dev/null; then
   grep -q "收到停止请求" ml/runs/st_c.log && rec train_term true "rc=$rc，TERM 送达并存档" || rec train_term false "rc=$rc，TERM 没送到 python（Windows 原生进程常见）→ 阶段超时只能硬杀，进度靠每 10 分钟存档"
 else rec train_term false "没有 timeout 命令"; fi
 # 6 APG 续跑
-$PY -m ml.apg.apg_finetune --init ml/runs/st_a/last.pt --samples ml/data/samples --out ml/runs/st_apg --steps 10 --stop-at 5 > ml/runs/st_apg.log 2>&1; rc=$?
-$PY -m ml.apg.apg_finetune --init ml/runs/st_a/last.pt --samples ml/data/samples --out ml/runs/st_apg --steps 10 --resume ml/runs/st_apg/last.pt >> ml/runs/st_apg.log 2>&1; rc2=$?
+$PY -m ml.apg.apg_finetune --config $CFGS --init ml/runs/st_a/last.pt --samples ml/data/samples --out ml/runs/st_apg --steps 10 --stop-at 5 > ml/runs/st_apg.log 2>&1; rc=$?
+$PY -m ml.apg.apg_finetune --config $CFGS --init ml/runs/st_a/last.pt --samples ml/data/samples --out ml/runs/st_apg --steps 10 --resume ml/runs/st_apg/last.pt >> ml/runs/st_apg.log 2>&1; rc2=$?
 [ $rc = 143 ] && [ $rc2 = 0 ] && rec apg_resume true "" || rec apg_resume false "rc=$rc 续跑rc=$rc2（日志 $D/ml/runs/st_apg.log）"
 # 7 进程树 / 关窗口
 pj=$($PY ml/selftest_proc.py 2>ml/runs/st_proc.err | tail -1)
 echo "$pj" > ml/runs/st_proc.json
-k=$($PY -c "import json,sys;d=json.loads(sys.argv[1]);print(str(d.get('tree_killed')).lower(), str(d.get('survive_parent_exit')).lower())" "$pj" 2>/dev/null || echo "null null")
+k=$($PY -c "import json,sys
+try: d=json.loads(sys.argv[1])
+except Exception: d={}
+print(json.dumps(d.get('tree_killed')), json.dumps(d.get('survive_parent_exit')))" "$pj" 2>/dev/null || echo "null null")
 rec tree_killed ${k% *} "$pj" ; rec survive_parent_exit ${k#* } ""
 mkdir -p "$SRC/ml/runs"
 $PY - "$R" "$SRC/ml/runs/selftest.json" "$D" <<'PY'