45 lines
1.9 KiB
Python
45 lines
1.9 KiB
Python
|
"""断点存档与"体面停止"（2026-10-18 第五轮补充：用户要求长训练意外中断后能接着跑，不从头来）。
|
|||
|
|
|
|||
|
|
- atomic_save：先写 <名>.tmp 再 os.replace —— 断电/被杀发生在写盘中途时，旧的 last.pt 仍完整可用。
|
|||
|
|
- Saver.due()：按墙钟每 every_min 分钟存一次 last.pt（不再只在每 2000 步验证时存，断电最多丢 10 分钟）。
|
|||
|
|
- Saver.stop()：收到 SIGTERM/SIGINT，或看到停止标记文件 ml/runs/STOP 时返回 True；
|
|||
|
|
训练循环据此先存 last.pt 再以 143 退出。Windows 上 taskkill /F 是硬杀、收不到信号，
|
|||
|
|
所以控制台「停止」先写 STOP 文件、等进程自己存档退出，超时才硬杀（见 monitor.Job.stop）。
|
|||
|
|
"""
|
|||
|
|
import os, signal, time
|
|||
|
|
import torch
|
|||
|
|
|
|||
|
|
ROOT = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
|
|||
|
|
STOP = os.path.join(ROOT, 'ml', 'runs', 'STOP')
|
|||
|
|
|
|||
|
|
|
|||
|
|
def atomic_save(obj, path):
|
|||
|
|
tmp = path + '.tmp'
|
|||
|
|
torch.save(obj, tmp)
|
|||
|
|
os.replace(tmp, path)
|
|||
|
|
|
|||
|
|
|
|||
|
|
class Saver:
|
|||
|
|
def __init__(self, every_min=10.0):
|
|||
|
|
self.every = every_min * 60; self.last = time.time(); self._sig = False; self._chk = 0.0
|
|||
|
|
for s in ('SIGTERM', 'SIGINT', 'SIGBREAK', 'SIGHUP'):
|
|||
|
|
if hasattr(signal, s):
|
|||
|
|
try: signal.signal(getattr(signal, s), self._on)
|
|||
|
|
except (ValueError, OSError): pass # 非主线程等情况：只靠 STOP 文件
|
|||
|
|
|
|||
|
|
def _on(self, *_): self._sig = True
|
|||
|
|
|
|||
|
|
def stop(self):
|
|||
|
|
if self._sig: return True
|
|||
|
|
now = time.time()
|
|||
|
|
if now - self._chk > 2: # 文件每 2 s 查一次，不拖慢训练步
|
|||
|
|
self._chk = now; self._sig = os.path.exists(STOP)
|
|||
|
|
return self._sig
|
|||
|
|
|
|||
|
|
def due(self):
|
|||
|
|
if time.time() - self.last >= self.every:
|
|||
|
|
self.last = time.time(); return True
|
|||
|
|
return False
|
|||
|
|
|
|||
|
|
def mark(self): self.last = time.time()
|