Robot_Arm/ml/prep/run_prep.sh

#!/usr/bin/env bash
# 并行打包样本：bash ml/prep/run_prep.sh [进程数=CPU 核数]
# 2026-10-18 断点续跑：samples/<shard>.tasks.jsonl 存在且比 shard 新 → 该 shard 已打包完，跳过；
#   shard 已不存在的旧打包结果删掉（不让上一批数据混进来）。中断后重跑只补没打完的 shard。
# 2026-10-19（审查 review_closedloop F11）：打包参数（数据版本、ACT_SCALE、AUG_P/AUG_SIGMA/AUG_BACK、MIN_GAP_MM）变了也要重打：
#   build_dataset.cjs --sig 给出当前签名，已打包 shard 的 <shard>.meta.json 里 sig 不同（或没有 meta 的旧打包）→ 重新打包。
set -e
cd "$(dirname "$0")/../.."
P=${1:-$(nproc)}
D=ml/data/samples
mkdir -p $D
for t in $D/*.tasks.jsonl; do
  [ -e "$t" ] || continue; b=$(basename "$t" .tasks.jsonl)
  [ -f ml/data/$b.jsonl ] || { echo "[prep] 删除旧打包 $b（对应 shard 已不存在）"; rm -f $D/$b.*; }
done
SIG=$(node ml/prep/build_dataset.cjs --sig)
echo "[prep] 打包签名 $SIG"
todo=()
for f in ml/data/shard_*.jsonl; do
  b=$(basename "$f" .jsonl)
  if [ -f $D/$b.tasks.jsonl ] && [ $D/$b.tasks.jsonl -nt "$f" ] && grep -qF "\"sig\":\"$SIG\"" $D/$b.meta.json 2>/dev/null; then continue; fi
  rm -f $D/$b.tasks.jsonl                      # 先撤完成标记：重打中途断了不会被当成已完成
  todo+=("$f")
done
echo "[prep] 共 $(ls ml/data/shard_*.jsonl | wc -l) 个 shard，待打包 ${#todo[@]} 个"
[ ${#todo[@]} = 0 ] || printf '%s\n' "${todo[@]}" | xargs -P "$P" -I{} node ml/prep/build_dataset.cjs {} $D
${PYTHON:-python} -m ml.data --index $D