 cbb
|
c2732fb3cd
|
feat(train/monitor): 评估峰值不再撑爆整卡 + 从指定阶段重训 + 闭环误差诊断
- train.py：evaluate 改 bs=64，结束后 empty_cache()。WDDM 下 15.9 GiB 的评估峰值用完不退，
整卡顶到 96% 后驱动把训练张量换出（实测 Local 18.8 GB / Shared 1.9 GB），吞吐从 5.5k
掉到 444 samples/s、8000 步 eval 卡死 68 分钟；改后峰值 5.32 GiB、eval 106 s、吞吐 6.4–7.0k。
- pstate/pipeline：新增 --fresh-from=<阶段>：只把该阶段及之后的产物移进 ml/archive/（不删），
与参数失效取并集；配合 FROM 实现"只重训某一阶段，之后全部重做"（沙盒实测选 train 只归档 ml/runs/base）。
- monitor：运行方式加「从指定阶段重训」+ 起始阶段下拉；TARGET_SAMPLES 默认改 200 万；
「最好 X%」改标最好那次 eval 的步数（原来错标当前步，18,000 步显示成 0.2% 的出处）。
连同工作区已有的停止补扫 sweep_nt（按命令行补杀 git-bash 下逃逸的孙进程）一并提交。
- eval/diag_tail.py：闭环末位误差 / 是否进过 5 mm 窗口的逐题诊断（手动运行，不进流水线）。
|
2026-10-18 23:15:53 +08:00 |
|
|
cbb
|
4a59ca84f6
|
feat(monitor): 每个阶段都按实时数据算剩余时间，用时精确到秒——打包按已打包分片数、预训练用脚本自报 eta_h、APG 用 it/min、挖错用本轮 APG + 已完成轮次平均时长、头门禁用已完成那次评估、一致性门禁读日志里的 k/300 行（只读日志尾部，不占 CPU）；修 mine 的当前轮判断（原来 len(cur)>k 在第二轮起永远判不到在跑）与 APG 漏加的 eta；总用时/本步用时/步骤条用时改为带秒，预估仍只到分钟
|
2026-10-18 17:59:46 +08:00 |
|
|
cbb
|
faf6dd2748
|
feat(monitor): CPU 卡加温度和功耗——走 MSI Afterburner 的共享内存（MAHMSharedMemory）：Windows 上免驱动的唯一口子（psutil 不支持、ACPI 热区只有板温、Power Meter 无实例）；实测 CPU 98-100 °C / 222-227 W，用 GPU1 power 对 nvidia-smi 校准过（125.29 vs 124.57）；数据比 10 秒旧就当读不到、Afterburner 没开就自动隐藏这两行；28 核条悬停可看每核温度
|
2026-10-18 17:31:05 +08:00 |
|
|
cbb
|
b1cf4126fd
|
feat(vram): 显存上限改为浮动——本进程上限 = min(整卡 − nvidia-smi 已用 − 1 GB 余量, CUDA 空闲 − 余量)，别人占多少自动扣掉，不再写死 0.78（实测当前口径 14.1 GiB；VRAM_FRAC 仍可显式对拍旧口径）；网页显存行改成"8.7 / 23 GB · 空 14.3"并把解释放悬停（长文本不再把行挤成两行，.gr 行加了省略号保护）；README/审查文档同步口径
|
2026-10-18 17:23:57 +08:00 |
|
|
cbb
|
db0bbbc15d
|
feat(monitor): 用时改为按阶段累计——"总用时"=各阶段之和、"本步用时"=该阶段累计，停止后再"继续训练"不再归零（训练跑 5 万步停一次，之前那段的时间会保留）；只有产物被归档、要从头重做的阶段才清零；本次改动前完成的老记录用 start/end 兜底；停止与流水线退出两处记账幂等（实测 180 s 不翻倍）
|
2026-10-18 16:59:21 +08:00 |
|
|
cbb
|
21ad209747
|
feat(monitor): CPU 卡显示型号（psutil 只给核数，型号走注册表 ProcessorNameString / Linux /proc/cpuinfo），加在卡底与 GPU 同名同位置
|
2026-10-18 16:15:44 +08:00 |
|
|
cbb
|
83dcc1c3ee
|
fix(monitor): CPU 占用读数改为后台每秒独立采样（此前在请求里算差值，网页 1 秒轮询会把窗口压成几毫秒 → 恒为 0）；CPU 并进 GPU 同一个卡（上 GPU 环+显存/温度/功耗，下 CPU 环+28 核逐核条）
实测：空闲 16.8% → 14 个满载循环 71.7% → 结束 19.1%，随负载单调；截图复核合并卡排版正常。
|
2026-10-18 15:13:37 +08:00 |
|
|
cbb
|
9ed213417b
|
feat(monitor): 网页加 CPU 占用卡（总占用环 + 28 核逐核条），psutil 采样缓存 1 秒；顺便重启控制台让之前的补量进度口径与停止补杀生效
|
2026-10-18 13:57:48 +08:00 |
|
|
cbb
|
e6418da084
|
fix(monitor): 补量时进度条显示全量而不是从 0 开始；停止时补杀 Git Bash 逃掉的 node 孙进程
- gen 进度：分子改为统计全部分片（含之前轮次），分母仍是累计 target_tasks，补量时显示 50,008/79,688 并标注「本轮补 N 条」。此前只统计本轮开始后改过的文件，看起来像从零重跑。
- 停止：taskkill /T 在 Git Bash 下只杀到 bash，node 孙进程会逃（实测点了停止还有 28 个 gen_dataset 在跑）。按命令行补扫 gen_dataset.cjs / run_parallel.sh / teacher.cjs / policy_bench.cjs 并 Stop-Process；正则已验证命中 gen、不误伤普通 node。
|
2026-10-18 13:54:16 +08:00 |
|
|
cbb
|
c128288c1b
|
fix: gen 判定改按产物而不是 wait 退出码——实测 28 个种子跑 5 小时后全部 wait 报失败，但每个 .part 都是完整的 1786 行（node 打了 done、mv 没执行），Git Bash 长跑后 wait 返回码不可靠；现在只要 .part 行数达标就补改名并记成功，只有产物缺失/不全才算失败。另：监控页 1 秒轮询（并行取 status/job/runs + nvidia-smi 缓存），GPU 数字 2 秒缓存。
|
2026-10-18 13:48:30 +08:00 |
|
 Hark
|
d03f34822c
|
第八轮：monitor 状态三项被注释吞掉的 bug；R9 改判稳态 planWarmP99 + 运动中饥饿 + 认证超时占比；APG steps 8000（batch 48 保持总任务量）；r4 不再静默退回 CDN；自检副本含未跟踪文件；显存文案按 19–20 GB；审查文档精简为实测/判据/待数据/三段训练
|
2026-10-18 06:40:26 +08:00 |
|
|
cbb
|
8ad6b58fca
|
ml: 显存预算按 19–20 GB 落地 + ort 本地副本入库 + R4 复跑（feat_dyn）通过
- 显存：APG batch 128→48（实测 d=192 下 128 无论 plans 60/150 都 OOM，崩前已分配 17.85 GiB；48/plans150=13.08、48/60=7.67）；新增 ml/common/vram.py 每进程硬帽 VRAM_FRAC=0.78 并把 vram 峰值写进 train/APG 日志、监控页加「显存峰值」卡与按 20 GB 预算的显存条；smoke.json 补 apg 段并让自检带 --config。
- 自检修复：find_bash 兼容便携版 git 的 mingw64 布局（本机原返回 None → 网页「开始训练」起不动）；selftest_proc.alive 读中文 tasklist 的 GBK 崩溃；rec 值非法 JSON 时静默丢项；gen_resume 判据剔除 plan_ms/cert.ms 两个墙钟字段（旧判据恒 false）。整轮重跑 7/8 通过、3.5 分钟，仅 train_term 为 Windows 真实限制（TERM 送不到原生 python）。
- vendor: onnxruntime-web 1.20.1 本地副本入库（约 33 MB），查看器与 R4/R9 探针不再依赖 npm/CDN；.gitignore 同步移除该目录。
- docs: 第八节 R4 复跑（feat_dyn 新模型）：部署口径 P99 12.67 通过；WebGPU 首次实测 27.09（有界面窗口，adapter nvidia ampere）；viewer_ref 随机模型 planP99 131 / starve 32.7% / lookaheadP99 170 / certFailWhy time 948 / tickGapMax 736，三条判读留给实现方。
|
2026-10-18 06:40:25 +08:00 |
|
|
Hark
|
591678703a
|
第六、七轮：离线 ort/WebGPU、R9 查看器整周期、安全层截止下沉、enc_once 前瞻 bug（feat 动态轴）、UTF-8、断点 RNG 续跑与 --stop-at、R2 池无关性自检、R8 出题缓存、本机自检 selftest、冒烟 smoke；遗留清单并入审查文档第六节
|
2026-10-18 06:40:25 +08:00 |
|
|
Hark
|
f40a40c56b
|
第五轮：锁/续跑/超时/自动分支/R4 探针与 encode-once/控制台加固；阶段内断点续跑（gen 按条、prep 按 shard、训练与 APG 定时原子存档+体面停止）；分歧以实现方意见为准
|
2026-10-18 06:40:25 +08:00 |
|
|
Hark
|
5591adb39a
|
ml: 第二轮审查 B-1~B-8 处置 + 一键训练控制台
- B-1 运行时投影护栏恢复 5 mm；老师轨迹按认证最小间隙 < 3 mm 剔除（stats/build_dataset，gapDrop）
- B-2 APG 端点+中点 hinge 取均值；B-3 check_r2 空匹配保护、5000×50000、分块 256，pass=false 时 prep 停下
- B-4 R7 按全部 B/C 题统计；B-5 r8 起点贴柱；B-7 pipeline r4（export_onnx --random，训练前测延迟）
- B-8 起步失败 ≤0.2%、column_gap 分块、pipefail、门禁结果先写 .tmp
- 训练控制台：ml/console.bat|sh → ml/monitor.py（开始/停止/进度/日志接口）+ monitor.html；
pipeline.sh all 支持 FROM/TO，阶段状态写 ml/runs/pipeline.json（ml/pstate.py）；训练/APG 日志加 total、t
- 文档：README 一键运行与训练控制台；审查文档追加第三轮处置；方案余量决策与 R4 时点
|
2026-10-18 06:40:24 +08:00 |
|