12 lines
514 B
Bash
Executable File
12 lines
514 B
Bash
Executable File
#!/usr/bin/env bash
|
|
# 并行生成：bash ml/gen/run_parallel.sh <每进程条数> <进程数> [起始种子=1]
|
|
# 例：8 核机器 5 万条 → bash ml/gen/run_parallel.sh 6250 8
|
|
set -e
|
|
N=${1:-500}; P=${2:-2}; S0=${3:-1}
|
|
cd "$(dirname "$0")/../.."
|
|
mkdir -p ml/data
|
|
for ((i=0;i<P;i++)); do s=$((S0+i)); node ml/gen/gen_dataset.cjs --n $N --seed $s --out ml/data/shard_$(printf %04d $s).jsonl 2> ml/data/log_$s.txt & done
|
|
wait
|
|
node ml/gen/stats.cjs ml/data/shard_*.jsonl > ml/data/stats.json
|
|
cat ml/data/stats.json
|