ml/gen: 确定性老师（碰撞次数计时 + resetSession）、pos 任务冻结 J6、--consensus 邻域共识过滤、Dr 类、README（高性能机器运行说明）

2026-10-17 15:48:19 +00:00
parent b02b8291c4
commit 7e70c4e811
8 changed files with 109 additions and 23 deletions
@@ -1,11 +1,11 @@
 #!/usr/bin/env bash
-# 并行生成：bash ml/gen/run_parallel.sh <每进程条数> <进程数> [起始种子=1]
+# 并行生成：bash ml/gen/run_parallel.sh <每进程条数> <进程数> [起始种子=1] ["--consensus 4"]
 # 例：8 核机器 5 万条 → bash ml/gen/run_parallel.sh 6250 8
 set -e
-N=${1:-500}; P=${2:-2}; S0=${3:-1}
+N=${1:-500}; P=${2:-2}; S0=${3:-1}; EXTRA=${4:-}
 cd "$(dirname "$0")/../.."
 mkdir -p ml/data
-for ((i=0;i<P;i++)); do s=$((S0+i)); node ml/gen/gen_dataset.cjs --n $N --seed $s --out ml/data/shard_$(printf %04d $s).jsonl 2> ml/data/log_$s.txt & done
+for ((i=0;i<P;i++)); do s=$((S0+i)); node ml/gen/gen_dataset.cjs --n $N --seed $s --out ml/data/shard_$(printf %04d $s).jsonl $EXTRA 2> ml/data/log_$s.txt & done
 wait
 node ml/gen/stats.cjs ml/data/shard_*.jsonl > ml/data/stats.json
 cat ml/data/stats.json