cbb/Robot_Arm
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
79 Commits 1 Branch 0 Tags
main
Commit Graph
20 Commits
Author SHA1 Message Date
cbb 1f2f2a2bb1 monitor: 开环指标两张图；pstate: train 归档加 review_* 2026-10-19 02:33:46 +08:00
cbb 0b47905a1c feat(prep/monitor): 打包每 10% 打一行进度 + 监控按实测算进度/ETA；prep 估时 0.5→2.0 h 
- build_dataset.cjs：每 10% 打 `[prep] shard_xxxx a/b`（只加日志，不改计算）。新增广
  （40%/3°/12，每个增广样本 6 次碰撞检查）让这批打包从上次的 25 分钟涨到约 1 小时，
  而原来整片完成前一行输出都没有，看起来像卡死。
- monitor.py prep 分支：解析这些行，按 (已完成分片 + 进行中分片的任务比例)/总分片 算 frac，
  按实测速率外推 eta；首批完成前显示"首波处理中，第一批完成后显示预估"。
- pstate/monitor.html：prep 估时 0.5 h → 2.0 h（超时 1.5 h → 6 h），与实际耗时一致。
 2026-10-19 00:33:11 +08:00
cbb 0d522dd782 feat(monitor): 开始训练弹窗视觉重做 + 进度卡片「重新训练」按钮 + 记住上次设置 
- 弹窗：头部图标/标题/说明、分区标题（运行方式 / 模型与数据）、下拉统一自绘箭头与焦点环、
  每个控件加提示行、警告条改成左侧色条的信息块、取消改 ghost 按钮；宽度 560→780。
- 进度卡片加「⟳ 重新训练」（运行中禁用并提示先停止），点开即预设"从 train 重训"。
- 记住上次设置（localStorage mlmon.pref.v1）：起始阶段/CFG/共识/N_TASKS/NPROC/TARGET_SAMPLES/
  ROUNDS/MIN_GAP_MM/平滑/对数轴。运行方式不记忆——记成"全部重跑"会把数据一起归档，风险不对等。
- ?start=<阶段> 直接打开重训弹窗（便于收藏与脚本化验证）。
- 端到端验证（CDP 驱动无头 Edge）：改 fT/fFrom/smooth → 刷新 → 三个值都保留，fMode 复位 resume。
 2026-10-19 00:11:13 +08:00
Hark 979a5814c1 fix(train): 首次正式预训练（21850 步闭环到达 0%）排查后修正——FK/平滑改加在配对去噪估计上（原加在随机噪声一步采样上=回归条件均值，多峰塌成单峰，实测候选标准差 0.030/幅度 0.151）；时间嵌入最高角频率 1000→50、MF 分支 fp32、p_neq 前 5000 步为 0（实测 du/dt 均方根 6–12 vs v 1.1）；增广 40%/3°/12 步收回；新增 dagger 阶段（策略闭环状态请老师重规划 ×2 轮微调）；开训前老师轨迹回放自检；评估加开环误差与候选多样性，best/早停按到达率+开环误差 2026-10-18 15:56:39 +00:00
cbb c2732fb3cd feat(train/monitor): 评估峰值不再撑爆整卡 + 从指定阶段重训 + 闭环误差诊断 
- train.py：evaluate 改 bs=64，结束后 empty_cache()。WDDM 下 15.9 GiB 的评估峰值用完不退，
  整卡顶到 96% 后驱动把训练张量换出（实测 Local 18.8 GB / Shared 1.9 GB），吞吐从 5.5k
  掉到 444 samples/s、8000 步 eval 卡死 68 分钟；改后峰值 5.32 GiB、eval 106 s、吞吐 6.4–7.0k。
- pstate/pipeline：新增 --fresh-from=<阶段>：只把该阶段及之后的产物移进 ml/archive/（不删），
  与参数失效取并集；配合 FROM 实现"只重训某一阶段，之后全部重做"（沙盒实测选 train 只归档 ml/runs/base）。
- monitor：运行方式加「从指定阶段重训」+ 起始阶段下拉；TARGET_SAMPLES 默认改 200 万；
  「最好 X%」改标最好那次 eval 的步数（原来错标当前步，18,000 步显示成 0.2% 的出处）。
  连同工作区已有的停止补扫 sweep_nt（按命令行补杀 git-bash 下逃逸的孙进程）一并提交。
- eval/diag_tail.py：闭环末位误差 / 是否进过 5 mm 窗口的逐题诊断（手动运行，不进流水线）。
 2026-10-18 23:15:53 +08:00
cbb 7fe1e5e0b3 feat(monitor): 失败提示做醒目——顶部红色横幅（阶段名 + 返回码 + 终端里最后一行真实报错，如 OutOfMemory 那条）+ 右上角胶囊变红「失败 · 停在「预训练」返回码 1」+ 步骤条那一格红字加粗；并补三层"永不空白"保险：正文脚本前装看门狗（3 秒没跑完就显示"卡片空白不是训练出问题"）、window.onerror 显示出错文件与行号、渲染调用 try/catch 让单个面板出错不拖垮整页；同时修掉我上一轮写坏的 JS 字符串（Python 转义把 \n 写成真实换行 → 整个脚本不执行 → 页面全空，就是用户看到的"失败时什么都不显示"） 2026-10-18 19:43:24 +08:00
cbb 3c4bc6c8ab fix(vram): 上限不再从 nvidia-smi 的"已用"里扣——WDDM 下那部分驱动可换出，按它扣会把本进程上限压到 14.45 GiB，预训练第一次 evaluate 峰值 ~15 GiB 就自己 OOM（实测当时卡上还有 9.98 GiB 空闲）；改成上限 = CUDA 可用 − 1 GiB（实测 21.8 GiB），别人占多少只打印不扣；实测分配 15.5 GiB 通过；顺带删掉 monitor.html 里被塞进模板字符串、当成文字渲染出来的 JS 注释（剩余时间那格） 2026-10-18 19:18:41 +08:00
cbb 4a59ca84f6 feat(monitor): 每个阶段都按实时数据算剩余时间，用时精确到秒——打包按已打包分片数、预训练用脚本自报 eta_h、APG 用 it/min、挖错用本轮 APG + 已完成轮次平均时长、头门禁用已完成那次评估、一致性门禁读日志里的 k/300 行（只读日志尾部，不占 CPU）；修 mine 的当前轮判断（原来 len(cur)>k 在第二轮起永远判不到在跑）与 APG 漏加的 eta；总用时/本步用时/步骤条用时改为带秒，预估仍只到分钟 2026-10-18 17:59:46 +08:00
cbb faf6dd2748 feat(monitor): CPU 卡加温度和功耗——走 MSI Afterburner 的共享内存（MAHMSharedMemory）：Windows 上免驱动的唯一口子（psutil 不支持、ACPI 热区只有板温、Power Meter 无实例）；实测 CPU 98-100 °C / 222-227 W，用 GPU1 power 对 nvidia-smi 校准过（125.29 vs 124.57）；数据比 10 秒旧就当读不到、Afterburner 没开就自动隐藏这两行；28 核条悬停可看每核温度 2026-10-18 17:31:05 +08:00
cbb b1cf4126fd feat(vram): 显存上限改为浮动——本进程上限 = min(整卡 − nvidia-smi 已用 − 1 GB 余量, CUDA 空闲 − 余量)，别人占多少自动扣掉，不再写死 0.78（实测当前口径 14.1 GiB；VRAM_FRAC 仍可显式对拍旧口径）；网页显存行改成"8.7 / 23 GB · 空 14.3"并把解释放悬停（长文本不再把行挤成两行，.gr 行加了省略号保护）；README/审查文档同步口径 2026-10-18 17:23:57 +08:00
cbb c65b9986ca feat(monitor): 当前阶段进度放大——「当前步骤 · X」的百分比 20px 加粗、阶段进度条 14px 高（原来 12.5px/8px 太小）；顶部步骤条当前格的百分比也放大加色；顺带把已完成格子的「用时」改用累计值（续跑的阶段不再只显示最后一段） 2026-10-18 17:13:35 +08:00
cbb db0bbbc15d feat(monitor): 用时改为按阶段累计——"总用时"=各阶段之和、"本步用时"=该阶段累计，停止后再"继续训练"不再归零（训练跑 5 万步停一次，之前那段的时间会保留）；只有产物被归档、要从头重做的阶段才清零；本次改动前完成的老记录用 start/end 兜底；停止与流水线退出两处记账幂等（实测 180 s 不翻倍） 2026-10-18 16:59:21 +08:00
cbb 21ad209747 feat(monitor): CPU 卡显示型号（psutil 只给核数，型号走注册表 ProcessorNameString / Linux /proc/cpuinfo），加在卡底与 GPU 同名同位置 2026-10-18 16:15:44 +08:00
cbb 83dcc1c3ee fix(monitor): CPU 占用读数改为后台每秒独立采样（此前在请求里算差值，网页 1 秒轮询会把窗口压成几毫秒 → 恒为 0）；CPU 并进 GPU 同一个卡（上 GPU 环+显存/温度/功耗，下 CPU 环+28 核逐核条） 
实测：空闲 16.8% → 14 个满载循环 71.7% → 结束 19.1%，随负载单调；截图复核合并卡排版正常。
 2026-10-18 15:13:37 +08:00
cbb 9ed213417b feat(monitor): 网页加 CPU 占用卡（总占用环 + 28 核逐核条），psutil 采样缓存 1 秒；顺便重启控制台让之前的补量进度口径与停止补杀生效 2026-10-18 13:57:48 +08:00
cbb c128288c1b fix: gen 判定改按产物而不是 wait 退出码——实测 28 个种子跑 5 小时后全部 wait 报失败，但每个 .part 都是完整的 1786 行（node 打了 done、mv 没执行），Git Bash 长跑后 wait 返回码不可靠；现在只要 .part 行数达标就补改名并记成功，只有产物缺失/不全才算失败。另：监控页 1 秒轮询（并行取 status/job/runs + nvidia-smi 缓存），GPU 数字 2 秒缓存。 2026-10-18 13:48:30 +08:00
cbb c175357b72 docs: 训练定名「Transformer 多峰策略端到端训练与浏览器部署」——写入 ml/README 标题与控制台顶栏（含浏览器标签），长跑时打开网页即见；截图复核排版未挤坏控件 2026-10-18 06:40:26 +08:00
cbb 8ad6b58fca ml: 显存预算按 19–20 GB 落地 + ort 本地副本入库 + R4 复跑（feat_dyn）通过 
- 显存：APG batch 128→48（实测 d=192 下 128 无论 plans 60/150 都 OOM，崩前已分配 17.85 GiB；48/plans150=13.08、48/60=7.67）；新增 ml/common/vram.py 每进程硬帽 VRAM_FRAC=0.78 并把 vram 峰值写进 train/APG 日志、监控页加「显存峰值」卡与按 20 GB 预算的显存条；smoke.json 补 apg 段并让自检带 --config。
- 自检修复：find_bash 兼容便携版 git 的 mingw64 布局（本机原返回 None → 网页「开始训练」起不动）；selftest_proc.alive 读中文 tasklist 的 GBK 崩溃；rec 值非法 JSON 时静默丢项；gen_resume 判据剔除 plan_ms/cert.ms 两个墙钟字段（旧判据恒 false）。整轮重跑 7/8 通过、3.5 分钟，仅 train_term 为 Windows 真实限制（TERM 送不到原生 python）。
- vendor: onnxruntime-web 1.20.1 本地副本入库（约 33 MB），查看器与 R4/R9 探针不再依赖 npm/CDN；.gitignore 同步移除该目录。
- docs: 第八节 R4 复跑（feat_dyn 新模型）：部署口径 P99 12.67 通过；WebGPU 首次实测 27.09（有界面窗口，adapter nvidia ampere）；viewer_ref 随机模型 planP99 131 / starve 32.7% / lookaheadP99 170 / certFailWhy time 948 / tickGapMax 736，三条判读留给实现方。
 2026-10-18 06:40:25 +08:00
Hark f40a40c56b 第五轮：锁/续跑/超时/自动分支/R4 探针与 encode-once/控制台加固；阶段内断点续跑（gen 按条、prep 按 shard、训练与 APG 定时原子存档+体面停止）；分歧以实现方意见为准 2026-10-18 06:40:25 +08:00
Hark 5591adb39a ml: 第二轮审查 B-1~B-8 处置 + 一键训练控制台 
- B-1 运行时投影护栏恢复 5 mm；老师轨迹按认证最小间隙 < 3 mm 剔除（stats/build_dataset，gapDrop）
- B-2 APG 端点+中点 hinge 取均值；B-3 check_r2 空匹配保护、5000×50000、分块 256，pass=false 时 prep 停下
- B-4 R7 按全部 B/C 题统计；B-5 r8 起点贴柱；B-7 pipeline r4（export_onnx --random，训练前测延迟）
- B-8 起步失败 ≤0.2%、column_gap 分块、pipefail、门禁结果先写 .tmp
- 训练控制台：ml/console.bat|sh → ml/monitor.py（开始/停止/进度/日志接口）+ monitor.html；
  pipeline.sh all 支持 FROM/TO，阶段状态写 ml/runs/pipeline.json（ml/pstate.py）；训练/APG 日志加 total、t
- 文档：README 一键运行与训练控制台；审查文档追加第三轮处置；方案余量决策与 R4 时点
 2026-10-18 06:40:24 +08:00