Files
Robot_Arm/docs/Transformer轨迹拟合训练方案.html
T

2274 lines
94 KiB
HTML
Raw Normal View History

<!DOCTYPE html>
<html xmlns="http://www.w3.org/1999/xhtml" lang="" xml:lang="">
<head>
<meta charset="utf-8" />
<meta name="generator" content="pandoc" />
<meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=yes" />
<title>Transformer轨迹拟合训练方案</title>
<style>
html {
color: #1a1a1a;
background-color: #fdfdfd;
}
body {
margin: 0 auto;
max-width: 36em;
padding-left: 50px;
padding-right: 50px;
padding-top: 50px;
padding-bottom: 50px;
hyphens: auto;
overflow-wrap: break-word;
text-rendering: optimizeLegibility;
font-kerning: normal;
}
@media (max-width: 600px) {
body {
font-size: 0.9em;
padding: 12px;
}
h1 {
font-size: 1.8em;
}
}
@media print {
html {
background-color: white;
}
body {
background-color: transparent;
color: black;
font-size: 12pt;
}
p, h2, h3 {
orphans: 3;
widows: 3;
}
h2, h3, h4 {
page-break-after: avoid;
}
}
p {
margin: 1em 0;
}
a {
color: #1a1a1a;
}
a:visited {
color: #1a1a1a;
}
img {
max-width: 100%;
}
svg {
height: auto;
max-width: 100%;
}
h1, h2, h3, h4, h5, h6 {
margin-top: 1.4em;
}
h5, h6 {
font-size: 1em;
font-style: italic;
}
h6 {
font-weight: normal;
}
ol, ul {
padding-left: 1.7em;
margin-top: 1em;
}
li > ol, li > ul {
margin-top: 0;
}
blockquote {
margin: 1em 0 1em 1.7em;
padding-left: 1em;
border-left: 2px solid #e6e6e6;
color: #606060;
}
code {
font-family: Menlo, Monaco, Consolas, 'Lucida Console', monospace;
font-size: 85%;
margin: 0;
hyphens: manual;
}
pre {
margin: 1em 0;
overflow: auto;
}
pre code {
padding: 0;
overflow: visible;
overflow-wrap: normal;
}
.sourceCode {
background-color: transparent;
overflow: visible;
}
hr {
background-color: #1a1a1a;
border: none;
height: 1px;
margin: 1em 0;
}
table {
margin: 1em 0;
border-collapse: collapse;
width: 100%;
overflow-x: auto;
display: block;
font-variant-numeric: lining-nums tabular-nums;
}
table caption {
margin-bottom: 0.75em;
}
tbody {
margin-top: 0.5em;
border-top: 1px solid #1a1a1a;
border-bottom: 1px solid #1a1a1a;
}
th {
border-top: 1px solid #1a1a1a;
padding: 0.25em 0.5em 0.25em 0.5em;
}
td {
padding: 0.125em 0.5em 0.25em 0.5em;
}
header {
margin-bottom: 4em;
text-align: center;
}
#TOC li {
list-style: none;
}
#TOC ul {
padding-left: 1.3em;
}
#TOC > ul {
padding-left: 0;
}
#TOC a:not(:hover) {
text-decoration: none;
}
code{white-space: pre-wrap;}
span.smallcaps{font-variant: small-caps;}
div.columns{display: flex; gap: min(4vw, 1.5em);}
div.column{flex: auto; overflow-x: auto;}
div.hanging-indent{margin-left: 1.5em; text-indent: -1.5em;}
/* The extra [class] is a hack that increases specificity enough to
override a similar rule in reveal.js */
ul.task-list[class]{list-style: none;}
ul.task-list li input[type="checkbox"] {
font-size: inherit;
width: 0.8em;
margin: 0 0.8em 0.2em -1.6em;
vertical-align: middle;
}
.display.math{display: block; text-align: center; margin: 0.5rem auto;}
/* CSS for syntax highlighting */
pre > code.sourceCode { white-space: pre; position: relative; }
pre > code.sourceCode > span { line-height: 1.25; }
pre > code.sourceCode > span:empty { height: 1.2em; }
.sourceCode { overflow: visible; }
code.sourceCode > span { color: inherit; text-decoration: inherit; }
div.sourceCode { margin: 1em 0; }
pre.sourceCode { margin: 0; }
@media screen {
div.sourceCode { overflow: auto; }
}
@media print {
pre > code.sourceCode { white-space: pre-wrap; }
pre > code.sourceCode > span { display: inline-block; text-indent: -5em; padding-left: 5em; }
}
pre.numberSource code
{ counter-reset: source-line 0; }
pre.numberSource code > span
{ position: relative; left: -4em; counter-increment: source-line; }
pre.numberSource code > span > a:first-child::before
{ content: counter(source-line);
position: relative; left: -1em; text-align: right; vertical-align: baseline;
border: none; display: inline-block;
-webkit-touch-callout: none; -webkit-user-select: none;
-khtml-user-select: none; -moz-user-select: none;
-ms-user-select: none; user-select: none;
padding: 0 4px; width: 4em;
color: #aaaaaa;
}
pre.numberSource { margin-left: 3em; border-left: 1px solid #aaaaaa; padding-left: 4px; }
div.sourceCode
{ }
@media screen {
pre > code.sourceCode > span > a:first-child::before { text-decoration: underline; }
}
code span.al { color: #ff0000; font-weight: bold; } /* Alert */
code span.an { color: #60a0b0; font-weight: bold; font-style: italic; } /* Annotation */
code span.at { color: #7d9029; } /* Attribute */
code span.bn { color: #40a070; } /* BaseN */
code span.bu { color: #008000; } /* BuiltIn */
code span.cf { color: #007020; font-weight: bold; } /* ControlFlow */
code span.ch { color: #4070a0; } /* Char */
code span.cn { color: #880000; } /* Constant */
code span.co { color: #60a0b0; font-style: italic; } /* Comment */
code span.cv { color: #60a0b0; font-weight: bold; font-style: italic; } /* CommentVar */
code span.do { color: #ba2121; font-style: italic; } /* Documentation */
code span.dt { color: #902000; } /* DataType */
code span.dv { color: #40a070; } /* DecVal */
code span.er { color: #ff0000; font-weight: bold; } /* Error */
code span.ex { } /* Extension */
code span.fl { color: #40a070; } /* Float */
code span.fu { color: #06287e; } /* Function */
code span.im { color: #008000; font-weight: bold; } /* Import */
code span.in { color: #60a0b0; font-weight: bold; font-style: italic; } /* Information */
code span.kw { color: #007020; font-weight: bold; } /* Keyword */
code span.op { color: #666666; } /* Operator */
code span.ot { color: #007020; } /* Other */
code span.pp { color: #bc7a00; } /* Preprocessor */
code span.sc { color: #4070a0; } /* SpecialChar */
code span.ss { color: #bb6688; } /* SpecialString */
code span.st { color: #4070a0; } /* String */
code span.va { color: #19177c; } /* Variable */
code span.vs { color: #4070a0; } /* VerbatimString */
code span.wa { color: #60a0b0; font-weight: bold; font-style: italic; } /* Warning */
</style>
<style>
:root{--fg:#1d2733;--mut:#5b6b7c;--acc:#1f5fa8;--bd:#d9e1ea;--bg2:#f5f8fb}
body{max-width:1080px;margin:0 auto;padding:32px 28px 80px;font:15px/1.75 -apple-system,"PingFang SC","Microsoft YaHei","Noto Sans CJK SC",sans-serif;color:var(--fg)}
h1{font-size:26px;border-bottom:3px solid var(--acc);padding-bottom:10px}
h2{font-size:21px;margin-top:44px;padding-left:10px;border-left:5px solid var(--acc)}
h3{font-size:17px;margin-top:28px;color:#16324f}
table{border-collapse:collapse;width:100%;margin:14px 0;font-size:13.5px;display:block;overflow-x:auto}
th,td{border:1px solid var(--bd);padding:6px 9px;vertical-align:top}
th{background:#e9f0f7;text-align:left;white-space:nowrap}
tr:nth-child(even) td{background:var(--bg2)}
code{background:#eef2f6;padding:1px 5px;border-radius:4px;font-size:90%}
pre{background:#0f1b2a;color:#e3ecf5;padding:14px 16px;border-radius:8px;overflow-x:auto;line-height:1.5}
pre code{background:none;color:inherit;padding:0}
blockquote{margin:16px 0;padding:10px 16px;background:#fff8e6;border-left:4px solid #e0a800;color:#4a3b00}
#TOC{background:var(--bg2);border:1px solid var(--bd);border-radius:8px;padding:12px 20px;margin:20px 0;font-size:14px}
#TOC ul{margin:4px 0;padding-left:20px}
a{color:var(--acc)}
</style>
</head>
<body>
<header id="title-block-header">
<h1 class="title">Transformer轨迹拟合训练方案</h1>
</header>
<nav id="TOC" role="doc-toc">
<ul>
<li><a href="#transformer-避障运动策略无老师闭环部署方案审查稿-v231"
id="toc-transformer-避障运动策略无老师闭环部署方案审查稿-v231">Transformer
避障运动策略:无老师闭环部署方案(审查稿 v2.3.1)</a>
<ul>
<li><a href="#0-定位与边界" id="toc-0-定位与边界">0. 定位与边界</a></li>
<li><a href="#0a-v23-逐项可行性核查结论必读"
id="toc-0a-v23-逐项可行性核查结论必读">0A. v2.3
逐项可行性核查结论(必读)</a>
<ul>
<li><a href="#0a1-四处硬伤已在正文修正"
id="toc-0a1-四处硬伤已在正文修正">0A.1 四处硬伤(已在正文修正)</a></li>
<li><a href="#0a2-逐项核查表" id="toc-0a2-逐项核查表">0A.2
逐项核查表</a></li>
<li><a href="#0a3-沙箱对照实验2d-绕柱双模态cpu"
id="toc-0a3-沙箱对照实验2d-绕柱双模态cpu">0A.3 沙箱对照实验(2D
绕柱双模态,CPU)</a></li>
<li><a href="#0a5-修复状态v231" id="toc-0a5-修复状态v231">0A.5
修复状态(v2.3.1)</a></li>
<li><a href="#0a4-仍需用户确认--实测才能消除的风险"
id="toc-0a4-仍需用户确认--实测才能消除的风险">0A.4 仍需用户确认 /
实测才能消除的风险</a></li>
</ul></li>
<li><a href="#1-业界调研具身智能里的神经运动规划"
id="toc-1-业界调研具身智能里的神经运动规划">1.
业界调研:具身智能里的神经运动规划</a></li>
<li><a href="#2-我们的方案和主流的差异以及据此做的优化"
id="toc-2-我们的方案和主流的差异以及据此做的优化">2.
我们的方案和主流的差异,以及据此做的优化</a>
<ul>
<li><a href="#21-我们的独特条件" id="toc-21-我们的独特条件">2.1
我们的独特条件</a></li>
<li><a href="#22-v1-方案与主流的差异--v2-的调整"
id="toc-22-v1-方案与主流的差异--v2-的调整">2.2 v1 方案与主流的差异 → v2
的调整</a></li>
<li><a href="#23-v2-相对主流的额外优化点"
id="toc-23-v2-相对主流的额外优化点">2.3 v2 相对主流的额外优化点</a></li>
<li><a href="#24-20242026-前沿生成式策略逐项评估v22"
id="toc-24-20242026-前沿生成式策略逐项评估v22">2.4 2024–2026
前沿生成式策略逐项评估(v2.2)</a></li>
</ul></li>
<li><a href="#3-训练环境" id="toc-3-训练环境">3. 训练环境</a></li>
<li><a href="#4-第一步离线造预训练数据老师只在这里出现"
id="toc-4-第一步离线造预训练数据老师只在这里出现">4.
第一步:离线造预训练数据(老师只在这里出现)</a>
<ul>
<li><a href="#41-新增文件" id="toc-41-新增文件">4.1 新增文件</a></li>
<li><a href="#42-一条原始样本" id="toc-42-一条原始样本">4.2
一条原始样本</a></li>
<li><a href="#43-采样分布5-万条任务" id="toc-43-采样分布5-万条任务">4.3
采样分布(5 万条任务)</a></li>
<li><a href="#44-过滤" id="toc-44-过滤">4.4 过滤</a></li>
<li><a href="#45-时间参数化--闭环训练样本v2-新增关键"
id="toc-45-时间参数化--闭环训练样本v2-新增关键">4.5 时间参数化 →
闭环训练样本(v2 新增,关键)</a></li>
<li><a href="#46-耗时与存储" id="toc-46-耗时与存储">4.6
耗时与存储</a></li>
<li><a href="#47-检查点" id="toc-47-检查点">4.7 检查点</a></li>
</ul></li>
<li><a href="#5-第二步表示与预处理" id="toc-5-第二步表示与预处理">5.
第二步:表示与预处理</a>
<ul>
<li><a href="#51-输入条件" id="toc-51-输入条件">5.1
输入(条件)</a></li>
<li><a href="#52-输出动作块" id="toc-52-输出动作块">5.2
输出(动作块)</a></li>
<li><a href="#53-连续轴" id="toc-53-连续轴">5.3 连续轴</a></li>
</ul></li>
<li><a href="#6-第三步模型与预训练行为克隆"
id="toc-6-第三步模型与预训练行为克隆">6.
第三步:模型与预训练(行为克隆)</a>
<ul>
<li><a href="#61-结构参考-impact去掉点云部分"
id="toc-61-结构参考-impact去掉点云部分">6.1 结构(参考
IMPACT,去掉点云部分)</a></li>
<li><a href="#61a-v22-动作头升级一步流匹配默认与-wta基线"
id="toc-61a-v22-动作头升级一步流匹配默认与-wta基线">6.1A v2.2
动作头升级:一步流匹配(默认)与 WTA(基线)</a></li>
<li><a href="#62-预训练损失" id="toc-62-预训练损失">6.2
预训练损失</a></li>
<li><a href="#63-训练配置" id="toc-63-训练配置">6.3 训练配置</a></li>
<li><a href="#64-对拍与验证每-epoch" id="toc-64-对拍与验证每-epoch">6.4
对拍与验证(每 epoch)</a></li>
</ul></li>
<li><a href="#7-第四步后训练无老师为主"
id="toc-7-第四步后训练无老师为主">7. 第四步:后训练(无老师为主)</a>
<ul>
<li><a href="#71-主力apg-可微微调借鉴-elmp"
id="toc-71-主力apg-可微微调借鉴-elmp">7.1 主力:APG 可微微调(借鉴
ELMP)</a></li>
<li><a href="#72-辅助闭环挖错--门禁v11-循环的无老师版"
id="toc-72-辅助闭环挖错--门禁v11-循环的无老师版">7.2 辅助:闭环挖错 +
门禁(v1.1 循环的无老师版)</a></li>
<li><a href="#73-可选拒绝采样自蒸馏" id="toc-73-可选拒绝采样自蒸馏">7.3
可选:拒绝采样自蒸馏</a></li>
</ul></li>
<li><a href="#8-第五步无老师闭环部署" id="toc-8-第五步无老师闭环部署">8.
第五步:无老师闭环部署</a>
<ul>
<li><a href="#81-每个控制周期做什么默认-50-hz"
id="toc-81-每个控制周期做什么默认-50-hz">8.1 每个控制周期做什么(默认 50
Hz)</a></li>
<li><a href="#82-模式粘滞防左右摇摆" id="toc-82-模式粘滞防左右摇摆">8.2
模式粘滞(防左右摇摆)</a></li>
<li><a href="#83-安全层唯一的硬保证" id="toc-83-安全层唯一的硬保证">8.3
安全层(唯一的硬保证)</a></li>
<li><a href="#84-部署包里有什么没有什么"
id="toc-84-部署包里有什么没有什么">8.4 部署包里有什么、没有什么</a></li>
<li><a href="#85-为什么会超时以及无老师怎样做到-3030"
id="toc-85-为什么会超时以及无老师怎样做到-3030">8.5
为什么会"超时",以及无老师怎样做到 30/30</a></li>
<li><a href="#86-控制周期业界案例与评估"
id="toc-86-控制周期业界案例与评估">8.6 控制周期:业界案例与评估</a></li>
</ul></li>
<li><a href="#9-第六步评估与验收" id="toc-9-第六步评估与验收">9.
第六步:评估与验收</a>
<ul>
<li><a href="#91-测试集合" id="toc-91-测试集合">9.1 测试集合</a></li>
<li><a href="#92-验收标准部署形态--策略--安全层"
id="toc-92-验收标准部署形态--策略--安全层">9.2 验收标准(部署形态 = 策略
+ 安全层)</a></li>
</ul></li>
<li><a href="#10-风险与维护" id="toc-10-风险与维护">10.
风险与维护</a></li>
<li><a href="#11-目录规划" id="toc-11-目录规划">11. 目录规划</a></li>
<li><a href="#12-里程碑" id="toc-12-里程碑">12. 里程碑</a></li>
<li><a href="#13-参考文献" id="toc-13-参考文献">13. 参考文献</a></li>
<li><a href="#14-需要用户确认" id="toc-14-需要用户确认">14.
需要用户确认</a></li>
</ul></li>
</ul>
</nav>
<h1
id="transformer-避障运动策略无老师闭环部署方案审查稿-v231">Transformer
避障运动策略:无老师闭环部署方案(审查稿 v2.3.1)</h1>
<blockquote>
<ul>
<li>v1(2026-10-17 20:06,<code>40af3b4</code>):模型一次生成整条 32
点路径,失败回落到原规划器("有老师部署")。</li>
<li>v1.1(20:25,<code>c51f8f9</code>):加入后训练挖错循环。</li>
<li><strong>v2(本稿)</strong>:按用户决定改为 <strong>无老师部署 +
每个控制周期重算(闭环)</strong>,删除全部"回落原规划器"设计;
加入具身智能领域主流做法的调研与对比(§1–§2),并据此调整模型输出、后训练方法和验收标准。</li>
<li>v2.1(2026-10-17 20:58):训练机定为 RTX 3090 24 GB;near_column
验收改为 <strong>30/30</strong>,新增 §8.5「为什么会超时、无老师怎样做到
30/30」;新增 §8.6 控制周期业界调研与评估。</li>
<li>v2.2(2026-10-17 21:10):调研 2024–2026
前沿生成式策略(流匹配/MeanFlow 一步生成、实时动作块
RTC、代价引导扩散规划、流策略强化学习微调、π0.5/FAST
等),逐项判断是否适用,新增
§2.4,并据此把动作头升级为<strong>一步流匹配头 + 碰撞代价引导 +
前缀条件</strong>(§6.1A)。</li>
<li><strong>v2.3(2026-10-17 21:30):逐项可行性核查。</strong> 4
路全文精读(约 40 篇论文)+ 沙箱 2D
双模态绕柱对照实验,对每一项方案给出证据等级、残余风险、门禁测试和回退;发现并修正
4 处硬伤(安全层离散检查漏检、<code>animTo</code>
时间律不可学、交叉淡入绕过安全层、训练/部署节奏不一致)和 24
处内部不一致。核查结论见新增 <strong>§0A</strong>,全部证据见
<code>docs/方案逐项核查报告.md</code>。</li>
<li>基于
<code>main@3c7c814</code>(贴立柱修复后的规划器)。本文只是方案,代码尚未编写。</li>
<li>审查重点:§0 定位、§2 差异与优化、§5 输出表示、§7 后训练(APG)、§8
闭环部署与安全层、§9 验收。</li>
</ul>
</blockquote>
<hr />
<h2 id="0-定位与边界">0. 定位与边界</h2>
<table>
<thead>
<tr class="header">
<th>项目</th>
<th>决定</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>部署形态</td>
<td><strong>无老师</strong>:运行时只有「神经策略 + 碰撞安全层」,不加载
IK 大表、PRM 路网、A*/RRT,也不调用 <code>solveDyn</code> /
<code>routeRT</code></td>
</tr>
<tr class="even">
<td>运行方式</td>
<td><strong>闭环滚动重算</strong>(MPC 式):每个控制周期(默认 50
Hz,20
ms)读当前关节角和目标,重新推理一段短动作块,只执行最前面一小段,下一周期再算。某一周期算错,下一周期有机会纠正</td>
</tr>
<tr class="odd">
<td>碰撞安全层</td>
<td><strong>保留</strong>。它不是老师:不做搜索,只对模型给出的下一小段做胶囊碰撞检查(已有
<code>collideFree</code> + 包围球预筛),不安全就换候选或刹停</td>
</tr>
<tr class="even">
<td>老师的角色</td>
<td>只在<strong>离线训练</strong>时出现:生成预训练数据。后训练阶段用可微碰撞代价(§7),基本不再需要老师</td>
</tr>
<tr class="odd">
<td>不做的事</td>
<td>不学动力学(速度/加速度上限由插补器保证);不用相机/点云(环境固定:台架
+ P01 立柱,几何已知)</td>
</tr>
<tr class="even">
<td>收益目标</td>
<td>冷启动(新目标到第一个动作)&lt; 10 ms;每次推理 + 安全检查 &lt; 20
ms(每 60 ms 一次,留 3 倍余量;须 M4 后在浏览器实测,v2.3
更正);拖拽重规划 P99(现状约 321 ms)不再存在</td>
</tr>
<tr class="odd">
<td>底线</td>
<td>实时拖拽<strong>碰撞帧 = 0</strong>(由安全层的距离下界认证保证,见
§8.3;离散采样检查不能单独作此保证);到达率、行程在 §9
的指标上不低于现有规划器</td>
</tr>
</tbody>
</table>
<p>为什么安全层必须保留:调研里最好的神经运动策略在静态场景里仍有约 10%
的轨迹发生碰撞(§1 DRP 附录表 6、ELMP 表 I)。
我们的环境几何完全已知、检查只要几毫秒,保留它代价极小,却把"偶尔撞一下"变成"偶尔停一下"。</p>
<hr />
<h2 id="0a-v23-逐项可行性核查结论必读">0A. v2.3
逐项可行性核查结论(必读)</h2>
<p><strong>先说清楚一件事:没有任何方案能在实测前被"证明完全没有风险"。</strong>
论文证据只能说明"别人在相近条件下做成过";我们的条件(低维状态、单根固定立柱、5M
参数、浏览器推理、30/30)没有一篇论文完全一样。所以 v2.3
的做法是:每一项都给出①证据等级 ②残余风险
③在本仓库可测的<strong>门禁</strong>(通不过就不进下一步)④通不过时的<strong>回退</strong>。唯一做成"硬保证"的是安全层(改为距离认证后,碰撞与否不依赖模型好坏)。</p>
<p>证据等级:<strong>A</strong> 有充分证据(直接先例 + 数字) ·
<strong>B</strong> 部分证据(相近先例,需本仓库验证) ·
<strong>C</strong> 仅推断 · <strong>✗</strong> 有反证(已修改)</p>
<h3 id="0a1-四处硬伤已在正文修正">0A.1 四处硬伤(已在正文修正)</h3>
<table>
<thead>
<tr class="header">
<th>#</th>
<th>原方案</th>
<th>反证</th>
<th>v2.3 修正</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>H1</td>
<td>§8.3 安全层用 1°+半格离散采样"保证不撞"</td>
<td>本臂杠杆实测:关节转 1°,TCP/胶囊最多移动 24.3 mm;0.5°
间距下两采样点之间可偏出约 6 mm,远大于 0.3 mm
余量。仓库自己的规划报告也记过 0.28 mm 残余侵入。Schwarzer 2005、LARC
均证明离散检查会漏检</td>
<td>臂×立柱/台架改为<strong>距离下界认证</strong>:d(q_a)+d(q_b) &gt; Σ
r_j·</td>
</tr>
<tr class="even">
<td>H2</td>
<td>§4.5 沿用 <code>animTo</code>(全局 smoothstep +
总时长夹取)做时间参数化</td>
<td>同一状态的标签速度取决于输入看不到的"整条路径长度/进度" →
非马尔可夫;起步段 Δq≈0 → 闭环可能起不了步。MπNets
为此把老师路径重定时为匀速;Diffusion Policy
报告单步策略会卡在停顿动作</td>
<td>改为<strong>局部可观测时间律</strong>:匀速巡航 +
只按"剩余路程"决定的梯形加减速,并把当前速度 q_t−q_{t−1} 加入输入</td>
</tr>
<tr class="odd">
<td>H3</td>
<td>§8.1 插补器对新旧动作块做时间集成/交叉淡入</td>
<td>实际执行的是两块的混合,没被安全层检查;左绕块与右绕块平均可能正好穿柱。π0
试过时间集成后放弃,BID 报告多模态下掉性能</td>
<td><strong>删除交叉淡入</strong>,执行的就是被认证过的那一块;块间连续性靠前缀条件(§6.1A)</td>
</tr>
<tr class="even">
<td>H4</td>
<td>部署每 20 ms 推理、只走 1 步;APG 每 3
步推理一次;"周期"三种定义</td>
<td>BID(2408.17355)证明动作时域 = 1
会破坏块内一致性、导致来回摆动</td>
<td>统一为:<strong>50 Hz 执行,每 3 步(60 ms)推理一次、提交 3
步</strong>;APG 展开节奏与部署完全一致。"每步重推理"留作 A/B 对照</td>
</tr>
</tbody>
</table>
<h3 id="0a2-逐项核查表">0A.2 逐项核查表</h3>
<table>
<thead>
<tr class="header">
<th>§</th>
<th>方案</th>
<th>等级</th>
<th>关键证据</th>
<th>残余风险</th>
<th>门禁(本仓库)</th>
<th>回退</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>§0</td>
<td>不用 VLA 大模型,3–5M 参数专用策略</td>
<td>A</td>
<td>IMPACT 4.67M 参数、300 Hz;π0 3B 单次预填充 46 ms(4090)</td>
<td>—</td>
<td>—</td>
<td>—</td>
</tr>
<tr class="even">
<td>§4.1–4.3</td>
<td>采样式老师离线造 5 万条任务</td>
<td>B</td>
<td>MπNets、DRP、ELMP 均用规划器老师;MπNets:老师不一致时碰撞率
13.78%,一致老师 0.94%</td>
<td>我们的老师是随机采样式,同类任务可能左右绕不一致</td>
<td>同任务 5 个种子:同伦类一致率 ≥ 90%,行程 CV &lt; 10%</td>
<td>固定种子 + "最短同伦类优先",或用 PRM 路网 A*(确定)作老师</td>
</tr>
<tr class="odd">
<td>§4.3 D 类</td>
<td>不可达目标 → 停在最近安全位形</td>
<td>B</td>
<td>DRP 有同类数据</td>
<td>停靠点随目标跳变</td>
<td>目标扫过立柱时相邻 20 ms 停靠点跳变 &lt; 5 mm</td>
<td>停靠标签加连续性约束</td>
</tr>
<tr class="even">
<td>§4.5</td>
<td>时间参数化</td>
<td>✗→改</td>
<td>见 H2</td>
<td>—</td>
<td>近邻标签方差 &lt; 10% 步长;起步失败率 = 0</td>
<td>输入当前速度</td>
</tr>
<tr class="odd">
<td>§4.5-④</td>
<td>"路径后缀 = 免费 DAgger"</td>
<td>✗→删</td>
<td>DAgger 要求学生自己偏离后的状态;后缀仍是老师状态</td>
<td>协变量偏移</td>
<td>闭环到达率与单步准确率差距</td>
<td>关节噪声增广(σ 0.5–1°,DART +62%)+ 离线老师重标 + §7</td>
</tr>
<tr class="even">
<td>§5.1</td>
<td>输入:sin/cos、TCP、6D 姿态、胶囊距离</td>
<td>B</td>
<td>6D 旋转连续(Zhou 2019);ELMP、MπNets 同类输入</td>
<td>位姿目标多 IK 分支 → 额外多峰;缺子目标/前缀/速度字段(已补)</td>
<td>去胶囊特征消融差 ≥ 3 pp 才保留</td>
<td>加目标分支标志</td>
</tr>
<tr class="odd">
<td>§5.2</td>
<td>16 步 Δq 动作块</td>
<td>A</td>
<td>DRP、Diffusion Policy(位置式优于速度式)</td>
<td>补零样本过多 → 早停</td>
<td>补零占比 &gt; 30% 则降权</td>
<td>—</td>
</tr>
<tr class="even">
<td>§6.1</td>
<td>IMPACT 式编码器-解码器去点云</td>
<td>A(结构)/C(够不够)</td>
<td>IMPACT 原文表 7</td>
<td>实算约 4.1M</td>
<td>1000 样本过拟合 → 0;held-out ≥ 95%(APG 前)</td>
<td>加宽</td>
</tr>
<tr class="odd">
<td>§6.1A</td>
<td><strong>动作头:一步生成</strong></td>
<td>B</td>
<td>沙箱实验见 0A.3;COT 有双峰实证;K-MF 表 1 原生 MeanFlow 会失败;OFP
自引导 λ=0.5 出现模态塌缩</td>
<td>小模型能否学出陡峭模态边界未知;训练不稳</td>
<td>M5 A/B:一步头 vs WTA,看穿柱率、到达率、摇摆率</td>
<td><strong>WTA K=4</strong>(沙箱中同样全部通过)</td>
</tr>
<tr class="even">
<td>§6.1A</td>
<td>一步头选型</td>
<td>B</td>
<td>首选 MeanFlow(沙箱验证)或 Shortcut+COT 配对(无需
JVP);<strong>否决</strong> Consistency
Policy(原文承认偏向一侧)、OneDP(故意取单模态)、朴素 1 步
FM(数学上等于条件均值)</td>
<td>组合未见论文</td>
<td>同上</td>
<td>WTA</td>
</tr>
<tr class="odd">
<td>§6.1A</td>
<td>生成时碰撞代价引导</td>
<td>✗→改</td>
<td>无论文在 1–2 步下测过;DiffusionSeeder 5 步引导仅 80.6%→81.1%;RTC
附录:引导权重过大发散</td>
<td>—</td>
<td>—</td>
<td>改为<strong>事后投影</strong>:对输出块做 1–2
步解析胶囊距离梯度,只在 d &lt; 余量时启用;修不了"绕错侧",靠多候选 +
安全层</td>
</tr>
<tr class="even">
<td>§6.1A</td>
<td>前缀条件(RTC)</td>
<td>B</td>
<td>RTC 原文只验证 n=5
步去噪、需反向传播;<strong>训练时前缀条件化</strong>(2512.05964)推理零开销,d≥2
时优于 RTC,天然适用 1 步生成器</td>
<td>我们 d≈0–1 时略差</td>
<td>块边界加速度跳变 vs 无前缀</td>
<td>无前缀 + 一致性打分</td>
</tr>
<tr class="odd">
<td>§6.1A</td>
<td>B 样条输出</td>
<td>C</td>
<td>仅 FAST/频域表示的间接证据</td>
<td>可能损失贴柱精度</td>
<td>near_column 与 16 步 Δq 对比</td>
<td><strong>默认改回 16 步 Δq</strong>,B 样条降为可选</td>
</tr>
<tr class="even">
<td>§6.2</td>
<td>损失:WTA-L1/CE、FK 胶囊端点、平滑</td>
<td>B</td>
<td>ELMP 式 FK 损失(§III-B 式 2)</td>
<td>流头损失原缺(已补:流匹配损失 + FK 损失加在一步输出上)</td>
<td>FK 消融:C 类碰撞率降 ≥ 20% 才保留</td>
<td>—</td>
</tr>
<tr class="odd">
<td>§6.3</td>
<td>训练配置与耗时</td>
<td>C</td>
<td>DRP:4090 上 100 万步 3 天(含点云)</td>
<td>原文"20 万步≈30 epoch"算错,实为约 68 epoch</td>
<td>先跑 2000 步测吞吐再定步数</td>
<td>30 epoch ≈ 8.8 万步</td>
</tr>
<tr class="even">
<td>§6.4</td>
<td>胶囊距离 PyTorch/JS 对拍</td>
<td>A(工程)</td>
<td>仓库已有 0 差异对拍惯例</td>
<td>浮点不可能"0 误差"</td>
<td>布尔判定 0 差异 + 距离误差 &lt; 1e-4 mm + 梯度对有限差分 &lt;
1e-3</td>
<td>—</td>
</tr>
<tr class="odd">
<td>§7.1</td>
<td>APG 可微微调(ELMP)</td>
<td>A</td>
<td>ELMP:碰撞率 31.3%→8.9%;1 万示范+APG 72.0% &gt; 60 万纯 BC
57.9%;H=69 步仅用梯度裁剪 ≤1</td>
<td>铰链损失只能侧推,不能从"撞柱"换到另一侧;可能压缩多模态;ELMP
中路径长度 +23%</td>
<td>每轮左右比例监控;行程门禁</td>
<td>保留 BC 锚定损失</td>
</tr>
<tr class="even">
<td>§7.2</td>
<td>无老师挖错 + 门禁</td>
<td>B</td>
<td>DRP 迭代师生微调 +45%(5 轮 10 h)</td>
<td>门禁集与验收集重叠 → 选择偏差(已拆分)</td>
<td>遗忘门禁:A 类每轮降幅 ≤ 0.5 pp</td>
<td>回滚</td>
</tr>
<tr class="odd">
<td>§7.3</td>
<td>拒绝采样自蒸馏</td>
<td>B</td>
<td>ReST</td>
<td>选"最短" → 贴柱,余量变小、多样性塌缩</td>
<td>C 类间隙中位数 ≥ 原 80%</td>
<td>改为"间隙 ≥ 阈值中最短"</td>
</tr>
<tr class="even">
<td>§7 可选</td>
<td>ReinFlow/DPPO</td>
<td>B</td>
<td>ReinFlow +40%,1–4 步可调,比 DPPO 省 62.8% 墙钟;DPPO 16
步块稳定</td>
<td>RL 会重塑模式分布(DPPO D3IL)</td>
<td>按左右分组平衡奖励</td>
<td>不做</td>
</tr>
<tr class="odd">
<td>§8.2</td>
<td>模式/噪声粘滞</td>
<td>✗→改</td>
<td>BID:沿用上次噪声 7 个任务中 3 个变差;后向一致性打分 + N=16 相对
+32%</td>
<td>—</td>
<td>E5 摇摆 &lt; 1%</td>
<td><strong>改为 BID 式一致性打分</strong>(与已提交块重叠步加权
L2)</td>
</tr>
<tr class="even">
<td>§8.3</td>
<td>安全层 + 可刹停不变式</td>
<td>不变式 A;离散实现 ✗→改</td>
<td>Thumm &amp; Althoff 2022 failsafe 盾</td>
<td>刹停"最大减速度"原未定义(已补加速度上限)</td>
<td>见 H1</td>
<td>训练余量提到 3–6 mm</td>
</tr>
<tr class="odd">
<td>§8.3</td>
<td>安全层耗时 &lt; 5 ms</td>
<td>C</td>
<td>仓库 collideFree 1.25 ms/次</td>
<td>贴柱时预筛失效;每步 4–13°</td>
<td>near_column 全程 P99 &lt; 5 ms</td>
<td>距离认证一次查询覆盖整段;提交步数降到 2</td>
</tr>
<tr class="even">
<td>§8.5</td>
<td>子目标头、价值头、短前瞻、卡死换向</td>
<td>B / C</td>
<td>AWE(航点 +25%)、SHAC、BID</td>
<td>卡死换向可能活锁</td>
<td>50 个对抗用例 3 s 内恢复 ≥ 95%,活锁 = 0</td>
<td>子目标改为离散绕行锚点分类</td>
</tr>
<tr class="odd">
<td>§8.6</td>
<td>50 Hz 策略层</td>
<td>B</td>
<td>π0 50 Hz、Diffusion Policy 10 Hz 预测 16 执行 8 最优</td>
<td>rAF 60 Hz 与 20 ms 不整除;后台标签页节流</td>
<td>P99 周期误差 &lt; 2 ms</td>
<td>Worker + 自有时钟</td>
</tr>
<tr class="even">
<td>§8/§9</td>
<td>浏览器推理 2–5 ms</td>
<td>C(偏乐观)</td>
<td>WebGPU 每次 dispatch 33–67 μs、同步 2–3 ms(2604.02344 表 6)</td>
<td>8 层 Transformer 约 150–300 次 dispatch → 调度开销 5–20 ms</td>
<td><strong>M4 后立刻</strong>导出 ONNX 实测 batch=8 P99</td>
<td>wasm-SIMD 多线程;每 3 步推理一次(预算 60 ms)</td>
</tr>
<tr class="odd">
<td>§9</td>
<td>验收 30/30</td>
<td>✗→改</td>
<td>30/30 时失败率 95% 上界仍约 9.5%</td>
<td>30 例被反复用于挑模型</td>
<td><strong>新造 ≥1000 例 near_column 一次性验收集</strong>(0 失败 ⇒
上界约 0.3%);到达率分母只算可达任务</td>
<td>—</td>
</tr>
</tbody>
</table>
<h3 id="0a3-沙箱对照实验2d-绕柱双模态cpu">0A.3 沙箱对照实验(2D
绕柱双模态,CPU)</h3>
<p>为验证"一步生成会不会把左右平均成穿柱",在沙箱做了一个最小实验:2D
点从柱左侧到右侧,示教一半从上绕一半从下绕,16 步动作块、每 3
步重推理,与本方案同构。代码 <code>ml/toy/toy_bimodal.py</code>,150
个"起终点都贴近中轴"的难例:</p>
<table>
<thead>
<tr class="header">
<th>动作头</th>
<th>单样本、无安全层:到达 / 穿柱回合</th>
<th>8 候选 + 安全层:到达 / 穿柱 / 平均刹停</th>
<th>推理(CPU,8 候选)</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>MSE 回归</td>
<td>100% / 0%</td>
<td>100% / 0% / 0</td>
<td>0.13 ms</td>
</tr>
<tr class="even">
<td>WTA K=4</td>
<td>100% / 0%</td>
<td>100% / 0% / 0</td>
<td>0.19 ms</td>
</tr>
<tr class="odd">
<td>流匹配 10 步</td>
<td>100% / 4.0%</td>
<td>99.3% / 0% / 3.7</td>
<td>2.13 ms</td>
</tr>
<tr class="even">
<td><strong>朴素流匹配 1 步</strong></td>
<td>87.3% / <strong>23.3%</strong></td>
<td>81.3% / 0% / 14.0</td>
<td>0.25 ms</td>
</tr>
<tr class="odd">
<td><strong>MeanFlow 1 步</strong></td>
<td>100% / 2.7%</td>
<td>100% / 0% / 0.3</td>
<td>0.25 ms</td>
</tr>
</tbody>
</table>
<p>结论与局限:</p>
<ul>
<li><strong>证实</strong>:朴素 1 步流匹配会把模态平均到柱子里(23%
穿柱),必须用 MeanFlow/Shortcut 一类;MeanFlow 1 步达到 10
步流匹配的质量,推理快约 8 倍。</li>
<li><strong>证实</strong>:安全层在所有方法上都把穿柱降为
0,代价是刹停次数。</li>
<li><strong>没能区分</strong>:闭环里状态一偏离中轴,MSE/WTA
也能自然打破对称,所以这个玩具任务太容易,<strong>分不出一步头和 WTA
谁更好</strong>。真实 6 轴、位姿目标下的多峰更复杂,必须在 M5 用真实数据
A/B,不能凭论文或玩具定结论。</li>
<li>早期 300 步训练的 MSE 在同一难例上 100% 穿柱、加安全层后 0%
到达(卡死),说明"欠拟合时平均模态"的风险真实存在。</li>
</ul>
<h3 id="0a5-修复状态v231">0A.5 修复状态(v2.3.1)</h3>
<p>《方案逐项核查报告》是<strong>修复前</strong>的审查记录:它列的是问题和证据,不是修复结果。修复结果都落在本文正文里,状态如下:</p>
<table>
<thead>
<tr class="header">
<th>类别</th>
<th>条目</th>
<th>状态</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>硬伤</td>
<td>H1 安全层距离认证、H2 时间律、H3 删交叉淡入、H4 推理节奏统一</td>
<td>✅ 正文已改(§4.5、§8.1、§8.3)</td>
</tr>
<tr class="even">
<td>方案替换</td>
<td>生成时引导→事后投影、RTC→训练时前缀、噪声粘滞→一致性打分、B
样条→可选、否决 CP/OneDP/朴素 1 步 FM、后缀≠DAgger</td>
<td>✅ 正文已改(§2.4、§4.5、§6.1A、§8.2)</td>
</tr>
<tr class="odd">
<td>内部不一致</td>
<td>I1 epoch、I2 样本数、I3 APG 展开长度、I4 时间集成、I5 候选数、I6
k_prev、I7 输入表、I8 流头损失、I9 延迟预算、I10 安全层耗时、I11
检查口径、I12 加速度上限(已列为待定参数)、I13 D 类分母、I14
门禁/验收分离、I15 用时口径、I16 碰撞保证表述、I17 重训耗时、I18
预热表述、I19 执行步数、I21 非马尔可夫、I22 子目标触发、I23
精修过安全层、I24 模型体积</td>
<td>✅ 正文已改</td>
</tr>
<tr class="even">
<td>内部不一致</td>
<td>I20 route 基准口径不符</td>
<td>已重跑:仓库 40 例基准为到达 40/40、有效 39/40,§9.2
现状列已按实测改写;<strong>说明老师本身在 1 例上路径不合格,M1
数据过滤(§4.4)必须把这类样本丢掉</strong></td>
</tr>
<tr class="odd">
<td><strong>只能靠实测消除</strong></td>
<td>浏览器推理延迟;一步头 vs WTA
谁更好;老师一致性;距离认证后的拒绝率是否影响 30/30;APG
是否压缩多模态;真机加速度上限</td>
<td>⏳ 已设门禁与回退(§0A.2),在 M1/M4/M5/M7
里按顺序测,<strong>论文和推理消除不了</strong></td>
</tr>
</tbody>
</table>
<h3 id="0a4-仍需用户确认--实测才能消除的风险">0A.4 仍需用户确认 /
实测才能消除的风险</h3>
<ol type="1">
<li>浏览器端推理延迟(最大不确定项,M4 后第一时间测)。</li>
<li>真机电机/驱动/通信方式(决定插补频率与刹停加速度上限)。</li>
<li>老师一致性(M1 第一项门禁)。</li>
<li>Neural MP
式"运行时采样多条、用解析距离挑选"是否算违反"无运行时老师"——v2.3
的理解是<strong>不算</strong>(不做搜索,只对模型自己的候选打分),请确认。</li>
</ol>
<hr />
<h2 id="1-业界调研具身智能里的神经运动规划">1.
业界调研:具身智能里的神经运动规划</h2>
<p>以下数据均来自论文原文(链接见 §13)。</p>
<table>
<thead>
<tr class="header">
<th>工作</th>
<th>年份 / 会议</th>
<th>输入</th>
<th>输出</th>
<th>老师与数据量</th>
<th>关键做法</th>
<th>运行方式</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td><strong>MπNets</strong>(NVIDIA)</td>
<td>2022 CoRL</td>
<td>点云 + 当前关节角 + 目标位姿</td>
<td>下一步关节位置</td>
<td>规划器生成 300 万+ 问题、50 万+ 环境;8×V100 训练一周</td>
<td>端到端行为克隆</td>
<td>闭环 9 Hz,每次执行约 70% 推出的路径,1 kHz PD 跟踪</td>
</tr>
<tr class="even">
<td><strong>Neural MP</strong>(CMU)</td>
<td>2024 / IROS 2025</td>
<td>点云 + 关节角 + 目标</td>
<td>GMM(LSTM)</td>
<td>AIT* 等,100 万–300 万条</td>
<td><strong>测试时优化(TTO)</strong>:采样多条,选与场景穿透最少的</td>
<td>开环为主;冷启动约 2970 ms</td>
</tr>
<tr class="odd">
<td><strong>MπFormer / Avoid Everything</strong>(NVIDIA)</td>
<td>2024 CoRL WS</td>
<td>点云</td>
<td>关节动作</td>
<td>规划器数据</td>
<td>师生微调 + <strong>困难负样本挖掘</strong></td>
<td>闭环</td>
</tr>
<tr class="even">
<td><strong>DRP / IMPACT</strong>(CMU)</td>
<td>2025 CoRL</td>
<td>点云 + 当前关节角 + <strong>目标关节角</strong></td>
<td><strong>动作块</strong>:10 步关节增量,MSE 回归</td>
<td>cuRobo 生成 <strong>1000 万条</strong>;4090 训练 3 天</td>
<td>① 大规模预训练 ② <strong>迭代师生微调</strong>(局部控制器 Geometric
Fabrics 当老师,不用全局规划器,因为每步都规划太贵)③ 局部反应层 DCP-RMP
改写目标 ④ 加入"目标被挡→停在最近安全处"的数据</td>
<td>闭环;4.67 M 参数,300 Hz(4090),冷启动 3.48 ms</td>
</tr>
<tr class="odd">
<td><strong>ELMP</strong>(ETH)</td>
<td>2026 arXiv</td>
<td>点云 + 关节角 + 目标位姿(12 维)</td>
<td>关节增量</td>
<td>AIT* 约 60 万条</td>
<td>行为克隆后做 <strong>APG
微调</strong>:可微运动学展开,碰撞/到达/平滑三项损失直接反传,<strong>不再需要老师数据</strong></td>
<td>MPC 式闭环 30 Hz;冷启动 7.8 ms</td>
</tr>
<tr class="even">
<td>Diffusion Policy / ACT 一类</td>
<td>2023–</td>
<td>视觉 + 本体</td>
<td>动作块(扩散 / CVAE)</td>
<td>人类示教</td>
<td>动作块 + 滚动执行(receding horizon)+ 时间集成</td>
<td>闭环</td>
</tr>
</tbody>
</table>
<p>几个关键数字:</p>
<ul>
<li>DRP:迭代师生微调使成功率比纯预训练<strong>提高
45%</strong>;纯预训练的 IMPACT "经常有轻微碰撞"。</li>
<li>ELMP:只用 1 万条老师轨迹 + APG(成功率 72.0%、碰撞 19.4%)就超过 60
万条纯行为克隆(57.9%、31.9%),<strong>老师数据少 60 倍</strong>;APG
把环境碰撞率降到原来的 1/3 以下。新环境下,采样 20 万个 APG 问题约 4.5
CPU 小时,而生成同样数量的老师轨迹要 1194 CPU 小时以上。</li>
<li>即便最好的方法,静态场景碰撞率也约 9–10%(ELMP-APG 8.9%,DRP
10.16%)——所以实际部署都配有某种检查或反应层。</li>
</ul>
<p><strong>行业共识</strong>:</p>
<ol type="1">
<li>都是<strong>闭环</strong>策略,每个周期根据当前状态重新出动作,而不是一次性出整条路径。</li>
<li>输出<strong>短动作块</strong>(10
步左右)并滚动执行,兼顾平滑和反应速度。</li>
<li>老师只用于离线造数据;微调阶段倾向于<strong>便宜的老师</strong>(局部控制器)或<strong>不要老师</strong>(可微代价)。</li>
<li>纯模仿有"分布偏移、误差累积"问题,必须做后训练(DAgger / 师生微调 /
APG)。</li>
</ol>
<hr />
<h2 id="2-我们的方案和主流的差异以及据此做的优化">2.
我们的方案和主流的差异,以及据此做的优化</h2>
<h3 id="21-我们的独特条件">2.1 我们的独特条件</h3>
<table>
<thead>
<tr class="header">
<th>条件</th>
<th>主流(DRP/ELMP 等)</th>
<th>本项目</th>
<th>意味着</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>环境</td>
<td>未知、多变,靠点云感知</td>
<td><strong>固定且精确已知</strong>(台架 + 立柱,1936 个胶囊)</td>
<td>不需要点云编码器;模型可以小很多;碰撞检查是<strong>精确</strong>的</td>
</tr>
<tr class="even">
<td>机器人</td>
<td>Franka 7 轴</td>
<td>自研 6 轴,J1/J3/J6 连续转</td>
<td>需处理连续轴展开</td>
</tr>
<tr class="odd">
<td>碰撞模型</td>
<td>SDF / 球近似,有感知噪声</td>
<td>胶囊解析距离,可微</td>
<td>可以直接做 APG;安全层可信</td>
</tr>
<tr class="even">
<td>运行平台</td>
<td>台式 GPU</td>
<td>浏览器(后续真机)</td>
<td>模型要小,ONNX + WebGPU/wasm</td>
</tr>
</tbody>
</table>
<p>结论:我们的问题比主流<strong>窄得多也"干净"得多</strong>,主流用来对付感知噪声和环境泛化的大部分复杂度(点云、千万级数据、多环境)都可以省掉,资源应投在<strong>闭环稳定性、多解选择和安全层</strong>上。</p>
<h3 id="22-v1-方案与主流的差异--v2-的调整">2.2 v1 方案与主流的差异 → v2
的调整</h3>
<table>
<thead>
<tr class="header">
<th>#</th>
<th>v1 做法</th>
<th>主流做法</th>
<th>v2 调整</th>
<th>理由</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>1</td>
<td>一次生成整条 32 点路径,开环执行</td>
<td>闭环 + 短动作块滚动执行</td>
<td><strong>改为动作块策略</strong>:每周期输出未来 16 步(320 ms),每
60 ms 推理一次,提交并执行前 3 步(v2.3 统一)</td>
<td>用户要求每周期重算;可纠错、可应对拖拽目标变化</td>
</tr>
<tr class="even">
<td>2</td>
<td>失败回落原规划器</td>
<td>无回落;靠后训练提升 + 局部反应/检查</td>
<td><strong>删除回落</strong>,改为安全层:换候选 → 刹停保持 →
下周期重算</td>
<td>用户决定无老师部署</td>
</tr>
<tr class="odd">
<td>3</td>
<td>512 桶离散化 + 自回归 186 token</td>
<td>DRP 用 MSE 回归动作块;Neural MP 用 GMM</td>
<td><strong>K 个模式的动作块头(K=4)+
模式分类</strong>,非自回归一次前向</td>
<td>闭环下多峰主要出现在"刚出发选左绕还是右绕",K 模式足够;一次前向比
186 步自回归快一个数量级</td>
</tr>
<tr class="even">
<td>4</td>
<td>以目标位姿为条件</td>
<td>DRP 用目标关节角(IK 另算);ELMP 用目标位姿</td>
<td><strong>用目标位姿</strong>(位置 + 6D 旋转 +
模式标志),末段可选局部牛顿精修</td>
<td>无老师就没有全量 IK;位姿条件让模型连 IK
一起学。局部牛顿精修只是梯度下降几步,不属于搜索</td>
</tr>
<tr class="odd">
<td>5</td>
<td>后训练:挖错 + 老师重标(每轮 1–2 小时老师计算)</td>
<td>DRP:便宜局部老师;ELMP:APG 无老师</td>
<td><strong>主力换成
APG</strong>(可微胶囊碰撞),挖错循环保留但不再需要老师重标</td>
<td>我们的胶囊模型可微且精确,正好适合 APG;省掉绝大部分老师计算</td>
</tr>
<tr class="even">
<td>6</td>
<td>拒判头(REJECT)</td>
<td>DRP:目标被挡时学会"停在最近安全处"</td>
<td><strong>改为"停靠"行为</strong>:目标不可达时,数据里老师路径停在离目标最近的安全位形</td>
<td>闭环下"停在最近处"比"拒绝"更有用(目标常在拖拽中短暂进入立柱区)</td>
</tr>
<tr class="odd">
<td>7</td>
<td>20 万条老师数据</td>
<td>主流百万–千万条,但它们要泛化到任意环境</td>
<td><strong>降到 5 万条</strong>(+ 切片增广),其余靠 APG</td>
<td>ELMP 显示 APG 下 1 万条已胜过 60
万条纯克隆;我们的环境固定,需求更小</td>
</tr>
<tr class="even">
<td>8</td>
<td>无</td>
<td>DRP 的 DCP-RMP 局部反应层</td>
<td>暂不做;安全层已覆盖静态环境。未来真机有人/动态障碍时再加</td>
<td>当前环境静态</td>
</tr>
</tbody>
</table>
<h3 id="23-v2-相对主流的额外优化点">2.3 v2 相对主流的额外优化点</h3>
<ol type="1">
<li><strong>精确安全层</strong>:主流因感知噪声做不到精确检查,我们可以。每周期对即将执行的动作段做
1° 细验 + 半格复验,保证<strong>只执行检查过的动作</strong>。</li>
<li><strong>可刹停不变式</strong>:只有当"执行这一段之后,仍存在一条已检查过的刹停轨迹"时才执行(见
§8.3),保证任何周期推理失败都能安全停住。</li>
<li><strong>模式粘滞</strong>:闭环每周期重算最怕左右摇摆(这一帧选左绕、下一帧选右绕)。部署时对"切换模式"加代价,除非当前模式不安全(§8.2)。</li>
<li><strong>APG
损失直接用我们的胶囊距离</strong>(<code>segSegDist</code>
的可微版本),训练和部署检查同一套几何,消除"训练用球、检查用网格"的口径差(ELMP
的做法有这个差)。</li>
<li><strong>数据便宜</strong>:环境固定,老师离线 5 万条在沙箱约 5
小时即可,不需要集群。</li>
</ol>
<h3 id="24-20242026-前沿生成式策略逐项评估v22">2.4 2024–2026
前沿生成式策略逐项评估(v2.2)</h3>
<p>用户问:"能不能用更先进的大模型算法?"先说结论:<strong>大模型本身(VLA,30
亿参数级)不适合这个任务</strong>,但它们背后的几项<strong>动作生成技术</strong>很适合,而且能直接解决我们
v2 的三个弱点:K=4
固定模式太粗、动作块拼接处有顿挫、贴柱难例要靠规则兜底。</p>
<table>
<thead>
<tr class="header">
<th>技术(代表工作)</th>
<th>核心做法</th>
<th>公开结果</th>
<th>用在我们这里?</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td><strong>流匹配动作头</strong>(π0 / π0.5 action
expert,2024–25)</td>
<td>用流匹配从噪声生成连续动作块,天然多模态</td>
<td>π0 以 50 Hz 输出 50 步动作块</td>
<td>✅ <strong>采纳</strong>,替换 K=4 WTA 头:不再只有 4
个固定"模式",左绕/右绕/上绕及其细分都能表达</td>
</tr>
<tr class="even">
<td><strong>一步生成</strong>:MeanFlow(MP1,AAAI
2026)、OFP(2026)、条件 OT 耦合(CoRL 2025)、Consistency Policy /
OneDP</td>
<td>学"平均速度场"或自蒸馏,1 次前向就出动作,不需迭代去噪</td>
<td>MP1 推理约 6.8 ms;OFP 一步超过 100 步扩散,并在 π0.5 上一步胜过原
10 步;OneDP 1.5 Hz → 62 Hz</td>
<td>✅ <strong>采纳 OFP/MeanFlow</strong>:OFP
从零自蒸馏,<strong>不需要预训练老师模型</strong>,与"无老师"原则一致;推理仍是
1–2 次前向</td>
</tr>
<tr class="odd">
<td><strong>代价引导采样</strong>(MPD、EDMP、GPD,2023–25)</td>
<td>采样过程中加入碰撞代价梯度,把轨迹推离障碍</td>
<td>MPD/EDMP 引导显著提高成功率;GPD 约 0.8 s</td>
<td>✅ <strong>采纳,但只在 1–2
步内做</strong>:我们已有可微胶囊距离(APG
要用),在去噪最后一步加一次梯度修正,几乎零额外训练成本。不采纳整条轨迹扩散(MPD
约 1 s,太慢)</td>
</tr>
<tr class="even">
<td><strong>扩散种子 + 优化</strong>(DiffusionSeeder + cuRobo,CoRL
2024)</td>
<td>扩散给初值,GPU 轨迹优化几轮</td>
<td>真机规划 26 ms,比 cuRobo 成功率高 51%</td>
<td>⚠️ 部分采纳:只保留"对已生成动作块做 2–3
次局部梯度修正",不引入全局轨迹优化器(那等于又加回一个老师)</td>
</tr>
<tr class="odd">
<td><strong>实时动作块执行 RTC</strong>(Black 等,NeurIPS 2025)</td>
<td>生成新动作块时,把已提交但未执行的动作当作"已知前缀"补全,异步推理不卡顿</td>
<td>解决动作块拼接处的停顿与跳变</td>
<td>✅ <strong>采纳</strong>:以"已提交的 3 步"为前缀条件生成新块,替代
v2 的时间集成;推理偶发超时也不会顿挫</td>
</tr>
<tr class="even">
<td><strong>流/扩散策略的强化学习微调</strong>(DPPO,ICLR
2025;ReinFlow,NeurIPS 2025)</td>
<td>在仿真里用 PPO 类方法微调生成式策略</td>
<td>ReinFlow 在操作任务上成功率平均提升 40%,可在 1–4 步去噪下微调,比
DPPO 省 60%+ 时间</td>
<td>✅ <strong>采纳为第三阶段(可选)</strong>:APG
擅长连续可微目标;"到达/卡死/安全层刹停次数"这类离散目标交给
ReinFlow。仿真就是我们的 GPU 批量 FK + 胶囊检测,3090 上可跑</td>
</tr>
<tr class="odd">
<td><strong>FAST 动作分词 / π0.5 知识隔离</strong>(2025)</td>
<td>DCT 压缩动作块成离散 token,供大语言模型骨干学习</td>
<td>FAST 训练提速最多 5 倍</td>
<td>❌ 分词本身不采纳(为语言大模型服务,自回归推理慢);⚠️
借鉴"频域/样条表示":动作块改用 <strong>B
样条控制点</strong>输出,平滑性由表示保证</td>
</tr>
<tr class="even">
<td><strong>VLA 大模型</strong>(π0/π0.5、GR00T、OpenVLA)</td>
<td>视觉语言骨干 + 动作专家</td>
<td>3B 模型单次预填充 46 ms(4090)</td>
<td>❌ 不采纳:我们没有图像、没有语言指令,环境固定精确;30
亿参数只会更慢,不会更准</td>
</tr>
</tbody>
</table>
<blockquote>
<p><strong>v2.3 核查修正(见
§0A)</strong>:①碰撞代价引导改为输出后的事后投影(1–2
步生成下无引导证据);②RTC
改为训练时前缀条件化(2512.05964,推理零开销);③一步头首选
MeanFlow(沙箱验证)或 Shortcut+COT,否决 Consistency Policy/OneDP/朴素
1 步 FM;④B 样条降为可选;⑤OFP 未找到公开代码,不作首选。</p>
</blockquote>
<p><strong>结论:v2.2 采纳"一步流匹配头 + 碰撞代价引导 + 前缀条件 + B
样条表示 + 可选 ReinFlow"。</strong> 这正是 π0.5、MP1/OFP、MPD、RTC
这几条前沿线在"低维状态、精确几何、实时控制"场景下的组合,规模仍然是几百万参数。</p>
<hr />
<h2 id="3-训练环境">3. 训练环境</h2>
<table>
<thead>
<tr class="header">
<th>阶段</th>
<th>在哪里跑</th>
<th>说明</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>预训练数据生成</td>
<td>Hark 沙箱(2 vCPU / 7 GB,Node)或用户机器</td>
<td>纯 JS,无需 GPU</td>
</tr>
<tr class="even">
<td>预训练 + APG 微调</td>
<td><strong>用户的 GPU 机器</strong></td>
<td>沙箱无 GPU、无 PyTorch。<strong>已定:RTX 3090 24
GB</strong>(显存对 3–4 M 参数模型绰绰有余,可用 batch 1024–2048)</td>
</tr>
<tr class="odd">
<td>部署推理</td>
<td>浏览器(onnxruntime-web,WebGPU 优先,wasm
兜底);后续真机控制器</td>
<td>与现有查看器同页</td>
</tr>
</tbody>
</table>
<div class="sourceCode" id="cb1"><pre
class="sourceCode bash"><code class="sourceCode bash"><span id="cb1-1"><a href="#cb1-1" aria-hidden="true" tabindex="-1"></a><span class="ex">conda</span> create <span class="at">-n</span> armtf python=3.11 <span class="at">-y</span> <span class="kw">&amp;&amp;</span> <span class="ex">conda</span> activate armtf</span>
<span id="cb1-2"><a href="#cb1-2" aria-hidden="true" tabindex="-1"></a><span class="ex">pip</span> install torch <span class="at">--index-url</span> https://download.pytorch.org/whl/cu121 <span class="co"># 按本机 CUDA 版本选</span></span>
<span id="cb1-3"><a href="#cb1-3" aria-hidden="true" tabindex="-1"></a><span class="ex">pip</span> install numpy pyarrow tqdm tensorboard onnx onnxruntime</span></code></pre></div>
<hr />
<h2 id="4-第一步离线造预训练数据老师只在这里出现">4.
第一步:离线造预训练数据(老师只在这里出现)</h2>
<h3 id="41-新增文件">4.1 新增文件</h3>
<table>
<thead>
<tr class="header">
<th>文件</th>
<th>作用</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td><code>ml/gen/gen_dataset.cjs</code></td>
<td>采样任务 → 调老师 → 校验 → 时间参数化 → 写分片</td>
</tr>
<tr class="even">
<td><code>ml/gen/sampler.cjs</code></td>
<td>起点/目标采样(4.3)</td>
</tr>
<tr class="odd">
<td><code>ml/gen/run_parallel.sh</code></td>
<td>多进程,不同种子</td>
</tr>
<tr class="even">
<td><code>ml/data/shard_XXXX.jsonl</code></td>
<td>原始样本(不入库)</td>
</tr>
</tbody>
</table>
<p>复用 <code>tests/route_bench_setup.cjs</code>
装配求解器(关节表、<code>docs/travel.json</code>、<code>docs/collide.json</code>)。</p>
<h3 id="42-一条原始样本">4.2 一条原始样本</h3>
<div class="sourceCode" id="cb2"><pre
class="sourceCode json"><code class="sourceCode json"><span id="cb2-1"><a href="#cb2-1" aria-hidden="true" tabindex="-1"></a><span class="fu">{</span></span>
<span id="cb2-2"><a href="#cb2-2" aria-hidden="true" tabindex="-1"></a> <span class="dt">&quot;id&quot;</span><span class="fu">:</span> <span class="st">&quot;s0003_000127&quot;</span><span class="fu">,</span> <span class="dt">&quot;mode&quot;</span><span class="fu">:</span> <span class="st">&quot;pos&quot;</span> <span class="er">|</span> <span class="st">&quot;pose&quot;</span><span class="fu">,</span></span>
<span id="cb2-3"><a href="#cb2-3" aria-hidden="true" tabindex="-1"></a> <span class="dt">&quot;q0&quot;</span><span class="fu">:</span> <span class="ot">[</span><span class="dv">6</span><span class="ot">]</span><span class="fu">,</span> <span class="dt">&quot;T&quot;</span><span class="fu">:</span> <span class="ot">[</span><span class="er">x</span><span class="ot">,</span><span class="er">y</span><span class="ot">,</span><span class="er">z</span><span class="ot">]</span><span class="fu">,</span> <span class="dt">&quot;R&quot;</span><span class="fu">:</span> <span class="ot">[[</span><span class="dv">3</span><span class="er">x3</span><span class="ot">]]</span> <span class="er">|</span> <span class="kw">null</span><span class="fu">,</span> <span class="dt">&quot;tool&quot;</span><span class="fu">:</span> <span class="dv">0</span><span class="fu">,</span></span>
<span id="cb2-4"><a href="#cb2-4" aria-hidden="true" tabindex="-1"></a> <span class="dt">&quot;path&quot;</span><span class="fu">:</span> <span class="ot">[[</span><span class="dv">6</span><span class="ot">],</span> <span class="er">...</span><span class="ot">]</span><span class="fu">,</span> <span class="er">//</span> <span class="er">老师折线</span> <span class="er">q0</span> <span class="er">→</span> <span class="er">via...</span> <span class="er">→</span> <span class="er">q_end</span></span>
<span id="cb2-5"><a href="#cb2-5" aria-hidden="true" tabindex="-1"></a> <span class="dt">&quot;reached&quot;</span><span class="fu">:</span> <span class="kw">true</span><span class="fu">,</span> <span class="er">//</span> <span class="er">false</span> <span class="er">=</span> <span class="er">目标不可达,q_end</span> <span class="er">为离目标最近的安全位形(</span><span class="dt">&quot;停靠&quot;</span><span class="er">)</span></span>
<span id="cb2-6"><a href="#cb2-6" aria-hidden="true" tabindex="-1"></a> <span class="dt">&quot;travel_deg&quot;</span><span class="fu">:</span> <span class="fl">123.4</span><span class="fu">,</span> <span class="dt">&quot;plan_ms&quot;</span><span class="fu">:</span> <span class="fl">812.0</span><span class="fu">,</span></span>
<span id="cb2-7"><a href="#cb2-7" aria-hidden="true" tabindex="-1"></a> <span class="dt">&quot;fp&quot;</span><span class="fu">:</span> <span class="st">&quot;collide.json 指纹&quot;</span></span>
<span id="cb2-8"><a href="#cb2-8" aria-hidden="true" tabindex="-1"></a><span class="fu">}</span></span></code></pre></div>
<h3 id="43-采样分布5-万条任务">4.3 采样分布(5 万条任务)</h3>
<p>关节限位(<code>docs/travel.json</code>):J1/J3/J6 连续 ±180°;J2
[−92, 9],J4 [−111, 16],J5 [−93, 34]。</p>
<table>
<thead>
<tr class="header">
<th>类别</th>
<th style="text-align: right;">占比</th>
<th>采样方式</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>A 均匀</td>
<td style="text-align: right;">45%</td>
<td>q0、目标位形 b 均匀采样且无干涉;目标 = <code>fk(b)</code>(pose
模式加 <code>orient(b)</code>)</td>
</tr>
<tr class="even">
<td>B 直线被挡</td>
<td style="text-align: right;">30%</td>
<td>q0→b 关节直线 1° 细验有干涉(route_bench 口径)</td>
</tr>
<tr class="odd">
<td>C 贴立柱</td>
<td style="text-align: right;">15%</td>
<td>b 满足 <code>nearColumn</code>,q0 在立柱另一侧(near_column_bench
口径)</td>
</tr>
<tr class="even">
<td>D 目标不可达</td>
<td style="text-align: right;">10%</td>
<td>目标在立柱内/所有分支都撞/工作空间外;老师标签 =
停在离目标最近的安全位形</td>
</tr>
</tbody>
</table>
<ul>
<li>pos / pose 各半;老师用 <code>solveDyn</code>(松手口径)。</li>
<li><strong>测试集隔离</strong>:固定种子另造 2000
条留出;三个基准案例不进训练集。</li>
</ul>
<h3 id="44-过滤">4.4 过滤</h3>
<ol type="1">
<li>整条路径 1° 细验 + 半格复验,任一段干涉即丢弃。</li>
<li><code>poseRelaxed</code> 样本只当 pos 模式用。</li>
<li>行程 &gt; 同任务 <code>routeRT</code> 1.5
倍的视为绕远(先统计,再定是否丢弃)。</li>
</ol>
<h3 id="45-时间参数化--闭环训练样本v2-新增关键">4.5 时间参数化 →
闭环训练样本(v2 新增,关键)</h3>
<p>闭环策略学的是"在某个状态下,接下来 16
步怎么走",所以要把整条路径切成很多个"状态 → 动作块"样本:</p>
<ol type="1">
<li><strong>(v2.3 修正,见 H2)</strong> 不再沿用 <code>animTo</code>
的全局 smoothstep + 总时长夹取。改为局部可观测时间律:按轴速比
<code>VREL = [0.6, 0.6, 0.9, 0.9, 1.2, 1.8]</code>
匀速巡航,加减速为梯形,且只取决于"当前速度 +
剩余路程"(加速度上限另设),控制周期 <strong>dt = 20
ms</strong>;当前速度 q_t − q_{t−1} 作为输入。</li>
<li>得到状态序列 q_0, q_1, …, q_N。对每个 t(每隔 3 步取 1
个,减少冗余)生成样本:
<ul>
<li>输入:当前 q_t、目标 (T, R, mode)</li>
<li>标签:未来 S = 16 步的增量 Δq_{t+1..t+16} = q_{t+k} −
q_t(到终点后补零,即"停住")</li>
</ul></li>
<li>每条路径约 40–50 个样本(route_bench 平均执行约 2.5 s)→ 5
万条任务约 200 万个训练样本(以 M1 的 stats.json 为准)。</li>
<li><del>路径后缀等于免费 DAgger</del>(v2.3
删除:后缀仍是老师状态)。改为关节噪声增广(σ 0.5–1°)+
离线老师重标,偏离状态的覆盖靠 §7。</li>
</ol>
<h3 id="46-耗时与存储">4.6 耗时与存储</h3>
<ul>
<li><code>solveDyn</code> 约 0.7 s/条:5 万条在沙箱 2 进程约 5
小时;用户 8 核机器约 1.5 小时。</li>
<li>300 万样本 × 约 0.5 KB ≈ 1.5 GB 原始;Parquet 约 300 MB。</li>
</ul>
<h3 id="47-检查点">4.7 检查点</h3>
<ul class="task-list">
<li><label><input
type="checkbox" /><code>ml/data/stats.json</code>:类别、到达率、行程、样本数分布</label></li>
<li><label><input type="checkbox" />抽 20 条在查看器回放(新增
<code>?replay=</code> URL 参数)</label></li>
<li><label><input
type="checkbox" />测试集与训练集、基准案例无重叠</label></li>
</ul>
<hr />
<h2 id="5-第二步表示与预处理">5. 第二步:表示与预处理</h2>
<p>文件 <code>ml/prep/build_dataset.py</code> →
<code>train/val/test.parquet</code>、<code>norm.json</code>。</p>
<h3 id="51-输入条件">5.1 输入(条件)</h3>
<table>
<thead>
<tr class="header">
<th>量</th>
<th style="text-align: right;">维度</th>
<th>编码</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>当前 q_t</td>
<td style="text-align: right;">6</td>
<td>每轴 (sin, cos) → 12;限位轴另加归一化值 → +3</td>
</tr>
<tr class="even">
<td>当前 TCP 位置与姿态</td>
<td style="text-align: right;">3 + 6</td>
<td><code>fk(q_t)</code>、<code>orient(q_t)</code> 的 6D
表示(给模型笛卡尔线索)</td>
</tr>
<tr class="odd">
<td>目标位置 T</td>
<td style="text-align: right;">3</td>
<td>/600 mm</td>
</tr>
<tr class="even">
<td>目标姿态 R</td>
<td style="text-align: right;">6</td>
<td>6D 表示;pos 模式填 0</td>
</tr>
<tr class="odd">
<td>目标 − 当前 TCP</td>
<td style="text-align: right;">3</td>
<td>位置差,/600 mm</td>
</tr>
<tr class="even">
<td>模式</td>
<td style="text-align: right;">2</td>
<td>one-hot [pos, pose]</td>
</tr>
<tr class="odd">
<td>上一周期选的模式 k_prev</td>
<td style="text-align: right;">K+1</td>
<td>one-hot(含"无"),<strong>仅 WTA 基线头使用</strong></td>
</tr>
<tr class="even">
<td>当前关节速度 q_t − q_{t−1}</td>
<td style="text-align: right;">6</td>
<td>按每轴速度上限归一化(v2.3 新增,使时间律可观测)</td>
</tr>
<tr class="odd">
<td>已提交未执行前缀</td>
<td style="text-align: right;">3×6</td>
<td>前缀 Δq + 有效长度掩码(v2.3 新增,训练时随机遮盖 0–3 步)</td>
</tr>
<tr class="even">
<td>当前子目标</td>
<td style="text-align: right;">6</td>
<td>子目标头输出的关节途经点(sin/cos
前的弧度,归一化);无子目标时填当前 q(v2.3 新增)</td>
</tr>
<tr class="odd">
<td>关键胶囊对最小距离</td>
<td style="text-align: right;">8</td>
<td>当前位形下臂各段到立柱的胶囊距离(cheap,现成函数),给模型"离柱子多近"的直接信号</td>
</tr>
</tbody>
</table>
<h3 id="52-输出动作块">5.2 输出(动作块)</h3>
<ul>
<li><strong>K = 4 个模式</strong>,每个模式一整块 16 步 × 6 轴的关节增量
Δq(连续值,按每轴最大步长归一化)。</li>
<li>一个模式分类头:4 类 logits。</li>
<li>训练时
<strong>winner-takes-all</strong>:只对与标签最接近的那个模式回归,分类头学"选哪个"(MTR
/
多模态轨迹预测的常用做法)。这样左绕、右绕会落到不同模式里,不会被平均到穿过立柱。</li>
<li>附加头:到达剩余时间估计(帮助排序和早停)。</li>
</ul>
<h3 id="53-连续轴">5.3 连续轴</h3>
<p>J1/J3/J6 统一用 <code>unwrapTo</code>
口径展开后再做增量;预处理和部署共用一份实现,§6.4 对拍时一并验证。</p>
<hr />
<h2 id="6-第三步模型与预训练行为克隆">6.
第三步:模型与预训练(行为克隆)</h2>
<h3 id="61-结构参考-impact去掉点云部分">6.1 结构(参考
IMPACT,去掉点云部分)</h3>
<pre><code>条件特征(约 60 维)──MLP──▶ 8 个条件 token (d=192)
│
4 层 Transformer encoder
│ (memory)
K×16 个可学习动作 token ──▶ 4 层 Transformer decoder(非自回归,一次前向)
│
├─ 动作头:每 token 输出 6 维 Δq
├─ 模式分类头:K=4
├─ 价值头(剩余时间/代价):1 ← v2.1,§8.5
└─ 子目标头:2 个关节空间途经点 + 是否需要(触发:新目标或目标跳变 &gt; 50 mm;到达子目标 &lt; 5° 后切下一个;v2.3 定义)← v2.1,§8.5</code></pre>
<table>
<thead>
<tr class="header">
<th>超参</th>
<th>值</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>d_model / 头数 / FFN</td>
<td>192 / 8 / 768</td>
</tr>
<tr class="even">
<td>encoder / decoder 层数</td>
<td>4 / 4</td>
</tr>
<tr class="odd">
<td>参数量</td>
<td>约 3–4 M(DRP 为 4.67 M,含点云编码)</td>
</tr>
<tr class="even">
<td>推理</td>
<td>一次前向得到 4 条候选动作块</td>
</tr>
</tbody>
</table>
<h3 id="61a-v22-动作头升级一步流匹配默认与-wta基线">6.1A v2.2
动作头升级:一步流匹配(默认)与 WTA(基线)</h3>
<table>
<thead>
<tr class="header">
<th></th>
<th>v2 WTA 头(保留为基线)</th>
<th><strong>v2.2 一步流匹配头(默认)</strong></th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>多模态</td>
<td>固定 K=4 个模式</td>
<td>连续分布;每周期并行采 K=8 个噪声 → 8 条候选</td>
</tr>
<tr class="even">
<td>训练</td>
<td>WTA-L1 + 模式 CE</td>
<td><strong>MeanFlow</strong>(沙箱已验证 1 步可用)或 Shortcut + COT
条件配对(无需 JVP);损失 = 流匹配损失 + FK
胶囊端点损失(加在一步输出上)。不采用 Consistency Policy / OneDP / 朴素
1 步 FM</td>
</tr>
<tr class="odd">
<td>输出</td>
<td>16 步 Δq</td>
<td><strong>16 步 Δq</strong>(v2.3:B 样条 6 控制点降为可选,需
near_column 消融不掉点才启用)</td>
</tr>
<tr class="even">
<td>前缀条件</td>
<td>无</td>
<td><strong>训练时前缀条件化</strong>(2512.05964):输入已提交且未执行的步,训练时随机遮盖前缀长度
0–3;推理零额外开销</td>
</tr>
<tr class="odd">
<td>碰撞修正</td>
<td>无</td>
<td><strong>事后投影</strong>:对输出块做 1–2 步解析胶囊距离梯度,仅 d
&lt; 余量时启用(v2.3:生成中引导在 1–2 步下无证据)</td>
</tr>
<tr class="even">
<td>推理成本</td>
<td>1 次前向</td>
<td>1–2 次前向 + 1 次解析梯度(JS 实现,不走 ONNX)</td>
</tr>
<tr class="odd">
<td>APG 兼容</td>
<td>✅</td>
<td>✅(固定噪声后生成器是确定性可微映射)</td>
</tr>
</tbody>
</table>
<p>候选排序(v2.3 修正):不用"噪声粘滞"(BID 中 7 个任务有 3
个变差),改为 BID 式一致性打分:分数 =
−‖候选与上一已提交块重叠步之差‖²(加权)−
λ·价值头剩余代价。子目标头、价值头(§8.5)保持不变。</p>
<p>M4 同时实现两种头,M5 预训练后在 near_column + held-out 上
A/B;若一步流匹配不优于 WTA,回退 WTA(风险可控)。</p>
<h3 id="62-预训练损失">6.2 预训练损失</h3>
<pre><code>L = WTA-L1(动作块, 最近模式) 权重 1.0
+ CE(模式分类) 权重 0.5
+ FK 损失:预测与标签位形下各连杆胶囊端点的位置差 权重 0.5 ← 借鉴 ELMP
+ 平滑:二阶差分 权重 0.05
+ L1(剩余时间) 权重 0.1 (与价值头共用一个输出,不重复)</code></pre>
<p>一步流匹配头(v2.3 补):</p>
<pre><code>L = MeanFlow 损失(或 Shortcut 自一致 + FM 锚定损失) 权重 1.0
+ FK 损失:一步生成输出(固定噪声)的胶囊端点位置差 权重 0.5
+ 平滑:二阶差分(作用于一步输出) 权重 0.05
+ 子目标头 L1 + 价值头 L1 权重 0.1 / 0.1</code></pre>
<h3 id="63-训练配置">6.3 训练配置</h3>
<table>
<thead>
<tr class="header">
<th>项</th>
<th>值</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>优化器</td>
<td>AdamW,β=(0.9, 0.95),wd 0.01</td>
</tr>
<tr class="even">
<td>学习率</td>
<td>1e-3,预热 1000 步,余弦退火(DRP 预热 100 步;我们 batch 更大,取
1000,v2.3 更正表述)</td>
</tr>
<tr class="odd">
<td>batch</td>
<td>1024(3090 24 GB)</td>
</tr>
<tr class="even">
<td>精度</td>
<td>bf16 混合精度</td>
</tr>
<tr class="odd">
<td>步数</td>
<td>先跑 2000 步测吞吐再定;参考:200 万样本 × 30 epoch ÷ bs 1024 ≈ 6
万步(v2.3 更正:原"20 万步≈30 epoch"实为约 68
epoch),验证集闭环成功率不再上升即停</td>
</tr>
<tr class="even">
<td>预计耗时</td>
<td>RTX 3090 约 1.5–3 小时(估算;DRP 4.67 M 参数在 4090 上预训练 100
万步用 3 天,我们的样本少、无点云编码,步数约其
1/5,跑完首轮再校正)</td>
</tr>
</tbody>
</table>
<h3 id="64-对拍与验证每-epoch">6.4 对拍与验证(每 epoch)</h3>
<ul>
<li><code>ml/eval/collide_torch.py</code>:胶囊距离的 PyTorch
批量版(<strong>可微</strong>,§7 要用),先与 JS
<code>collideFree</code> 对拍 10 万个位形,判定 0 误差。</li>
<li>验证用<strong>闭环仿真</strong>而不是单步误差:从 1000 个验证任务的
q0 出发,每 20 ms 推理一次、提交前 3 步,直到到达或超时(超时 =
老师同任务路径动画时长 × 2,最少 3 s),统计到达率、<strong>用时 ≤ 老师
× 1.3 的达标率</strong>(与 §9.2
口径一致,v2.3)、碰撞步数(安全层关闭时)、行程比。</li>
</ul>
<hr />
<h2 id="7-第四步后训练无老师为主">7. 第四步:后训练(无老师为主)</h2>
<h3 id="71-主力apg-可微微调借鉴-elmp">7.1 主力:APG 可微微调(借鉴
ELMP)</h3>
<p>不再请老师标注,直接让模型在可微仿真里闭环展开,用代价反传:</p>
<pre><code>for 每个 batch(随机采样 q0 和目标,82 ms 级别的便宜采样,不需要老师):
q = q0
for t in 0..H-1 (H = 60 次推理 × 3 步 = 180 步 ≈ 3.6 s,与部署节奏一致;长任务分段截断反传,v2.3 更正):
chunk, logits = π(obs(q, 目标))
Δq = chunk[选中模式][0:3] # 执行前 3 步,与部署一致
q = clamp(q + Δq) # 限位
累计 L_col(q), L_smooth(Δq)
L = w_tgt·L_target(q_H) + w_col·ΣL_col + w_smooth·ΣL_smooth (+ w_len·行程)
反传(BPTT),梯度裁剪 ≤ 1.0</code></pre>
<ul>
<li><strong>碰撞项</strong> L_col = Σ_胶囊对 ReLU(margin −
胶囊距离),margin 取 <code>collide.json</code> 的 <code>margin_mm</code>
基础上再加 5 mm 训练余量;包含臂×立柱、臂×台架、臂×臂(非相邻段)。</li>
<li><strong>到达项</strong>:位置误差² + λ_rot·‖R − R*‖_F²(弦距离,ELMP
同款,避免四元数梯度消失)。</li>
<li><strong>平滑项</strong>:速度² + 加速度²。</li>
<li>可加 <strong>行程项</strong>,直接把"关节行程短"写进目标(ELMP
用笛卡尔路径长度项做过同类事情)。</li>
<li>模式选择不可导:用 Gumbel-Softmax,或对 K 个模式都展开 1
步再取最小代价(K=4,代价可接受)。</li>
<li>采样任务分布同 §4.3,但 B/C/D 类提到 60%。</li>
<li>预期:参照 ELMP,APG
主要降低碰撞率、提高末端精度;<strong>不需要任何老师计算</strong>。</li>
</ul>
<h3 id="72-辅助闭环挖错--门禁v11-循环的无老师版">7.2 辅助:闭环挖错 +
门禁(v1.1 循环的无老师版)</h3>
<p>每轮:</p>
<ol type="1">
<li><strong>出题</strong>:新种子 5 万任务 + 2000
段模型在环拖拽仿真(目标沿随机曲线移动)。</li>
<li><strong>闭环作答</strong>:完全按部署方式运行(含模式粘滞,<strong>关闭安全层</strong>以暴露真实错误)。</li>
<li><strong>验算</strong>:GPU
批量胶囊检查;记录到达、碰撞、行程、摇摆次数。</li>
<li><strong>错题分类</strong>:E1 撞了 / E2 没到(超时或卡在局部极小)/
E3 绕远(&gt; 1.2× 参考)/ E4 末端精度差 / E5 模式来回切换 ≥ 3 次 / E6
拖拽失稳。</li>
<li><strong>针对性训练</strong>:错题的起点和目标(以及 ±5 mm / ±3° 的
10 个邻居)加入 APG 的采样池,按类别加权(E1、E6 ×2)。
<ul>
<li>只有
E2(卡在局部极小——可微代价本身解决不了的"需要绕远路"问题)才可选地请老师离线给一条路径做行为克隆补充。这是唯一残留的老师用途,量很小,可以在沙箱慢慢跑。</li>
</ul></li>
<li><strong>门禁</strong>(v2.3:门禁集与 §9
验收集分开造,验收集只在最后用一次):门禁集闭环到达率上升、三个基准不退化、上一轮修好的错题
95% 仍对;否则回滚。</li>
<li><strong>停止</strong>:连续 2 轮提升 &lt; 0.5 个百分点,或满 6
轮,或达到 §9 全部标准。</li>
</ol>
<h3 id="73-可选拒绝采样自蒸馏">7.3 可选:拒绝采样自蒸馏</h3>
<p>对每个任务采样多条闭环轨迹(不同模式、不同温度),只保留验算通过且最短的一条做行为克隆标签——模型自己当老师。适合
APG 收敛后进一步缩短行程。</p>
<hr />
<h2 id="8-第五步无老师闭环部署">8. 第五步:无老师闭环部署</h2>
<h3 id="81-每个控制周期做什么默认-50-hz">8.1 每个控制周期做什么(默认 50
Hz)</h3>
<pre><code>每 60 ms 推理一次(v2.3,见 H4;执行仍是 50 Hz,每步 20 ms):
1. 读当前 q(真机读编码器;查看器读当前插补位形)和最新目标(拖拽时每周期都在变)
2. 推理一次:一步头 8 条候选(WTA 基线为 4 条)16 步动作块 延迟须 M4 实测
3. 按&quot;模式概率 − 切换代价&quot;排序(§8.2)
4. 安全层依次检查候选的前 n=3 步(60 ms 的运动)+ 刹停段(§8.3)
第一个通过的 → 把这 3 步&quot;提交&quot;给插补器;记下 k_prev
(实际上 20 ms 后只走完第 1 步,第 2、3 步是已验证的&quot;缓冲&quot;:
下一周期的新结果会覆盖它们;若下一周期推理超时或全部不安全,就沿缓冲 + 刹停段安全停下)
5. 全部不通过 → 进入刹停:按已验证的刹停轨迹减速停下,保持;下一周期继续推理
6. 到达判据:TCP 误差 &lt; 1 mm(pose 另需 &lt; 0.5°)且速度≈0 → 结束;
接近目标(&lt; 5 mm)时可选做 1–3 次局部牛顿精修(solveTo 单步,不是全量 IK);精修段同样必须通过安全层认证(v2.3)</code></pre>
<p>v2.3:<strong>删除插补器交叉淡入/时间集成</strong>(见
H3)。执行的必须就是安全层认证过的那一块;块间连续性由前缀条件和一致性打分保证。"每
20 ms 重推理只执行 1 步"仅作 A/B 对照。</p>
<h3 id="82-模式粘滞防左右摇摆">8.2 模式粘滞(防左右摇摆)</h3>
<ul>
<li>WTA 基线:排序分数 = log p(k) − c·[k ≠ k_prev],c 初值 2.0;k_prev
仅对 WTA 头作为输入。</li>
<li>一步头:BID 式一致性打分(见 §6.1A),不使用 k_prev / log
p(k)。</li>
</ul>
<h3 id="83-安全层唯一的硬保证">8.3 安全层(唯一的硬保证)</h3>
<ul>
<li>检查内容(v2.3 修正,见
H1):臂×立柱/台架用<strong>距离下界认证</strong>——段两端最小距离之和
&gt; Σ_j r_j·|Δθ_j|(r_j 为每轴实测杠杆上界,J1 约 9.0
mm/°)即判整段安全,否则二分到通过或判不安全;自碰撞对复用 pair2d
杠杆界;外加关节限位。离散
1°+半格检查只作快速预筛,不再作为保证。现有代码口径实为
1.5°+半格,文档原写法有误。</li>
<li><strong>可刹停不变式</strong>:执行前还要检查"从第 3
步末状态按最大减速度(v2.3
新增每轴加速度上限,待真机参数)停下"的刹停段也无干涉。于是任何时候系统都处在"有一条已验证的停车路线"的状态,下一周期就算模型完全失效,也只会停下、不会撞。</li>
<li>耗时(v2.3 重估):每步主导轴 4–13°,3 步 + 刹停段按离散采样需 13–39
个位形;8 候选最坏 8 × 39 × 1.25 ms ≈ 390 ms(不可接受)→ 实际做法:
<ul>
<li>距离认证:每段一次距离查询覆盖整段,不通过才二分,通常 2–6
次查询;</li>
<li>先用现有包围球预筛(大多数位形直接判安全,见 2026-10-15 记录
collideFree 2.9→1.8 ms);</li>
<li>按排序<strong>逐个</strong>检查,第一个通过就停(多数周期只检查 1
条);</li>
<li>目标:每周期安全检查 &lt; 5 ms(需在 M6 实测;不达标则把检查放到 Web
Worker 与推理流水线并行)。</li>
</ul></li>
<li>现有 <code>ik-glue.js</code>
的"每帧碰撞守卫"保留,作为第二道保险。</li>
</ul>
<h3 id="84-部署包里有什么没有什么">8.4 部署包里有什么、没有什么</h3>
<table>
<thead>
<tr class="header">
<th>有</th>
<th>没有</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td><code>traj_v2.onnx</code>(fp16,约 8.3 MB:4.13M 参数 × 2 B)+
<code>norm.json</code></td>
<td>PRM 路网(<code>collide.json.roadmap</code>)、IK 候选大表</td>
</tr>
<tr class="even">
<td>胶囊碰撞检查(现有
<code>collideFree</code>、包围球预筛、<code>pair2d</code> 表)</td>
<td><code>solveDyn</code> / <code>routeRT</code> / RRT / A*</td>
</tr>
<tr class="odd">
<td>正运动学 <code>fk</code> / <code>orient</code>、局部牛顿精修
<code>solveTo</code> 单步</td>
<td>全量 IK 枚举</td>
</tr>
</tbody>
</table>
<p><code>collide.json</code>
指纹写进模型;不一致时前端<strong>拒绝运行并提示重训</strong>(不再回落旧规划器)。</p>
<h3 id="85-为什么会超时以及无老师怎样做到-3030">8.5
为什么会"超时",以及无老师怎样做到 30/30</h3>
<p><strong>超时不是算得慢。</strong>
模型每周期只要几毫秒,比原规划器快得多;"超时"指的是<strong>机械臂在规定时间内没走到目标</strong>,是决策错了,不是计算慢了。无老师闭环下有三种典型情形:</p>
<table>
<thead>
<tr class="header">
<th>失效形态</th>
<th>现象</th>
<th>为什么更快的推理救不了</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>局部极小 / 活锁</td>
<td>目标在立柱背后,策略每周期都想"直着过去",安全层每周期都刹停,原地抖动</td>
<td>每周期都做同样的错误决定,算得再快也只是更快地重复</td>
</tr>
<tr class="even">
<td>模式摇摆</td>
<td>这一周期选左绕、下一周期选右绕,来回切换,进度为零</td>
<td>同上</td>
</tr>
<tr class="odd">
<td>绕远</td>
<td>选了一条可行但很长的路,在时限内走不完</td>
<td>方向对了但路线差</td>
</tr>
</tbody>
</table>
<p>原规划器不会这样,是因为它做<strong>全局搜索</strong>(PRM +
A*)。去掉老师后,全局"想清楚往哪绕"这件事必须由模型自己承担。v2.1
用五个手段(全部在运行时不需要老师)把 near_column 要求提到
<strong>30/30</strong>:</p>
<ol type="1">
<li><strong>全局子目标头(分层)</strong>:模型在冷启动(新目标到达的第一个周期)额外输出
1–2
个途经点(关节空间),作为"绕柱方向"的锚点;之后每周期的动作块以"当前子目标"为条件,到达子目标后切到下一个。训练标签直接取自老师路径的拐点(离线已有)。这相当于把老师的全局搜索结果蒸馏成一次前向。</li>
<li><strong>价值头(剩余代价估计)</strong>:模型额外预测"从这个状态到目标还要多少时间"。APG
展开时有真实值可监督,不需要老师。部署时用它给 K
个模式打分,并作为"有没有进展"的判据。</li>
<li><strong>短前瞻选模式</strong>:每次推理对候选(WTA 4 条 / 一步头 8
条)各自再往前推一块(共 2 次批量前向,延迟待实测),用 胶囊碰撞 +
价值头 给 32
步后的终态打分,选最好的。比只看第一块的概率更能避开"走两步就撞墙"的分支。</li>
<li><strong>卡死检测 + 强制换向</strong>:0.3 s 内价值头没有下降、或连续
2 个周期刹停 →
判定卡死,强制切到另一个绕行方向(另一个子目标/模式)并锁定 1
s(防止又切回来)。规则很简单、确定性、可测试。</li>
<li><strong>训练侧针对性加强</strong>:贴柱类任务在 APG 采样里占
40%;APG 展开长度覆盖整段绕行(约 3 s = 150 步 = 50
次推理,分段截断反传);对贴柱任务做拒绝采样自蒸馏(§7.3),模型自己成功的路线成为新标签。</li>
</ol>
<p>验收相应改为(§9.2):near pos / near rt 都必须
<strong>30/30</strong>,且到达用时 ≤ 老师路径动画时长 × 1.3。</p>
<h3 id="86-控制周期业界案例与评估">8.6 控制周期:业界案例与评估</h3>
<p><strong>工业臂 / 研究臂的外部实时接口(伺服层)</strong></p>
<table>
<thead>
<tr class="header">
<th>产品 / 接口</th>
<th>周期</th>
<th>说明</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>Franka FCI(libfranka)</td>
<td><strong>1 ms(1 kHz)</strong></td>
<td>关节位置/速度/力矩、笛卡尔位姿;每周期往返 + 计算必须 &lt; 1 ms</td>
</tr>
<tr class="even">
<td>Universal Robots e-Series RTDE</td>
<td><strong>2 ms(500 Hz)</strong></td>
<td><code>servoj</code> 默认 t = 0.002</td>
</tr>
<tr class="odd">
<td>Universal Robots CB3 RTDE</td>
<td><strong>8 ms(125 Hz)</strong></td>
<td><code>servoj</code> 默认 t = 0.008</td>
</tr>
<tr class="even">
<td>ABB EGM</td>
<td><strong>4 ms(250 Hz)</strong>,可设为 4 ms 的整数倍</td>
<td>控制滞后 10–20 ms(随机型)</td>
</tr>
<tr class="odd">
<td>KUKA RSI</td>
<td><strong>4 ms</strong>(Fast)或 <strong>12
ms</strong>(Normal)</td>
<td></td>
</tr>
<tr class="even">
<td>FANUC DPM</td>
<td>约 <strong>8 ms</strong></td>
<td>R-30iB 无 1–2 ms 通道</td>
</tr>
<tr class="odd">
<td>MoveIt Servo(ROS 2)</td>
<td>默认 <strong>10 ms</strong>(新版);旧版示例 34 ms</td>
<td>常设为 ros2_control 更新频率的倒数(如 50 Hz → 20 ms)</td>
</tr>
<tr class="even">
<td>舵机(RC PWM)</td>
<td><strong>20 ms(50 Hz)</strong> 帧周期</td>
<td>数字舵机可到更高帧率</td>
</tr>
</tbody>
</table>
<p><strong>学习型策略的推理周期(策略层)</strong></p>
<table>
<thead>
<tr class="header">
<th>方法</th>
<th>策略频率</th>
<th>动作块</th>
<th>执行方式</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>MπNets</td>
<td>9 Hz</td>
<td>单步</td>
<td>线性插值,1 kHz PD 跟踪</td>
</tr>
<tr class="even">
<td>Diffusion Policy</td>
<td>10 Hz</td>
<td>16 步</td>
<td>线性插值到 125 Hz 交给 UR5</td>
</tr>
<tr class="odd">
<td>ELMP</td>
<td>30 Hz(真机)</td>
<td>单步 Δq</td>
<td>每步 3 个航点线性插值给 Franka 位置控制器</td>
</tr>
<tr class="even">
<td>π0</td>
<td>50 Hz 动作,约每 0.5 s 推理一次</td>
<td>50 步(1 s)</td>
<td>执行 25 步后重算</td>
</tr>
<tr class="odd">
<td>ACT</td>
<td>50 Hz</td>
<td>100 步</td>
<td>时间集成</td>
</tr>
<tr class="even">
<td>DRP / IMPACT</td>
<td>可跑 300 Hz(4090)</td>
<td>10 步</td>
<td>闭环</td>
</tr>
</tbody>
</table>
<p><strong>结论:业界一律是"两层"结构</strong>——策略层 10–50 Hz(少数到
300 Hz)给出关节目标,伺服/插补层 125 Hz–1 kHz
负责平滑跟踪。没有人让神经网络直接跑 1 kHz 伺服环。</p>
<p><strong>对本方案的评估:</strong></p>
<ol type="1">
<li><strong>策略层 50 Hz(20 ms)合适</strong>:与 π0、ACT 同档,高于
ELMP 的 30 Hz 和 MπNets 的 9 Hz;我们模型小(3–4
M)、无点云,v2.3:推理每 60 ms 一次(执行仍 50 Hz),推理 + 安全 &lt;
20 ms 为目标,须实测。浏览器 rAF 为 60 Hz、与 20 ms
不整除且后台标签页会节流,执行时钟放 Web Worker、按实际 dt 插值。</li>
<li><strong>"提交 3 步(60
ms)"合适,且应按刹停距离定</strong>:它的作用是给推理抖动和通信滞后留缓冲。ABB
EGM 自身就有 10–20 ms 滞后;60 ms 足以覆盖一次推理超时 +
一次滞后。真机上应改成规则:提交步数 n ≥ ⌈(通信滞后 + 1 次推理最坏耗时)
/ 20 ms⌉ + 1,且刹停段另行验证。</li>
<li><strong>伺服层不归本方案管,但要匹配</strong>:策略输出 50 Hz
关节目标,由插补器升采样到电机控制器的频率(舵机 50 Hz
直接用;总线舵机/步进/FOC 驱动通常 ≥ 250 Hz–1
kHz,做三次样条插值)。</li>
<li><strong>做成可配置</strong>:<code>dt</code>(默认 20 ms)、提交步数
n(默认 3)、动作块长度 S(默认 16 = 320 ms)。训练数据按 dt = 20 ms
生成;若真机必须改到 10 ms(100 Hz),只需把动作块重采样,或用 dt = 10
ms 重造数据(约 5 小时)。</li>
<li>你的电机/驱动型号确定后,按第 2、3 条把 n 和插补频率定下来。</li>
</ol>
<hr />
<h2 id="9-第六步评估与验收">9. 第六步:评估与验收</h2>
<h3 id="91-测试集合">9.1 测试集合</h3>
<table>
<thead>
<tr class="header">
<th>集合</th>
<th>来源</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>route_bench</td>
<td><code>tests/route_bench.cjs</code>,60 例</td>
</tr>
<tr class="even">
<td>near_column_bench</td>
<td><code>tests/near_column_bench.cjs</code>,30 例(pos / pose /
rt)</td>
</tr>
<tr class="odd">
<td>rt_drag_bench</td>
<td><code>tests/rt_drag_bench.cjs</code>,12
例(改为模型在环逐周期运行)</td>
</tr>
<tr class="even">
<td>held-out</td>
<td>§4.3 留出 2000 条</td>
</tr>
</tbody>
</table>
<p>新增 <code>tests/policy_bench.cjs</code>:①现有规划器
②策略(关安全层)③策略 + 安全层(部署形态),输出对比表。</p>
<h3 id="92-验收标准部署形态--策略--安全层">9.2 验收标准(部署形态 = 策略
+ 安全层)</h3>
<table>
<thead>
<tr class="header">
<th>指标</th>
<th>要求</th>
<th>现状参考</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>实际执行的碰撞帧</td>
<td><strong>= 0</strong>(以距离认证或 0.01° 审计测量,不用离散 1°
检查)</td>
<td>rt_drag_bench 0</td>
</tr>
<tr class="even">
<td>到达率</td>
<td>route <strong>60/60</strong>,near pos <strong>30/30</strong>,near
rt <strong>30/30</strong>,<strong>另造 ≥1000 例 near_column
一次性验收集 0 失败</strong>;held-out(分母只算可达任务)≥ 98%,D
类另考停靠距离 ≤ 老师 + 5 mm</td>
<td>60 例随机基准(沙箱 bench.cjs)有效 60/60;<strong>仓库
<code>tests/route_bench.cjs</code>(40 例)在 <code>3c7c814</code>
上重跑:到达 40/40、细验有效 39/40</strong>(1
例到达但路径细验不过,2026-10-17 21:28 实测);near 30/30、30/30</td>
</tr>
<tr class="odd">
<td>到达用时</td>
<td>≤ 老师同任务路径动画时长 × 1.3</td>
<td>—</td>
</tr>
<tr class="even">
<td>关节行程</td>
<td>≤ 现有规划器 × 1.10</td>
<td>route 平均 467°</td>
</tr>
<tr class="odd">
<td>冷启动(新目标→第一个动作)</td>
<td>&lt; 10 ms</td>
<td>首次全量 IK 最差约 2 s</td>
</tr>
<tr class="even">
<td>每次推理(每 60 ms)耗时(推理+安全层)P99</td>
<td>&lt; 20 ms</td>
<td>拖拽重规划 P99 约 321 ms</td>
</tr>
<tr class="odd">
<td>刹停发生率</td>
<td>&lt; 2% 的周期</td>
<td>—</td>
</tr>
<tr class="even">
<td>模式摇摆(≥3 次切换)</td>
<td>&lt; 1% 的任务</td>
<td>—</td>
</tr>
<tr class="odd">
<td>策略单独(关安全层)碰撞率</td>
<td>&lt; 3%(参考:ELMP-APG 8.9%,DRP 10.16%)</td>
<td>—</td>
</tr>
</tbody>
</table>
<p>说明:v2 曾提议 near_column 允许
29/30,用户否决(2026-10-17)。为保证
30/30,部署侧加入子目标头、价值头、短前瞻和卡死换向(§8.5)。</p>
<hr />
<h2 id="10-风险与维护">10. 风险与维护</h2>
<ol type="1">
<li><strong>局部极小</strong>:可微代价和闭环策略都可能卡在立柱前"想直穿过去又被安全层挡住"。对策:B/C
类数据加权、模式头学左右绕、E2
错题少量老师补数据(§7.2)。这是无老师方案最大的风险。</li>
<li><strong>碰撞模型/立柱变动 =
重训</strong>:指纹不一致即拒绝运行。重训流程:§4(约 5 h)→ §6(约
1.5–5.6 h,以 2000 步吞吐实测为准)→ §7(约 2–4 h)。</li>
<li><strong>安全层耗时</strong>:最坏周期可能超 5 ms,见 §8.3
的流水线方案。</li>
<li><strong>老师缺陷</strong>:<code>ci27</code>
姿态根枚举漏分支(姿态偏差约 97.5°)会进入预训练数据;APG
的姿态到达项可以部分纠正,必要时先修老师。</li>
<li><strong>真机迁移</strong>:浏览器的"执行"是理想插补;真机需加速度/力矩限制(TOPP
类时间参数化)和跟踪误差余量(把 margin 再加大)。</li>
</ol>
<hr />
<h2 id="11-目录规划">11. 目录规划</h2>
<pre><code>ml/
gen/ gen_dataset.cjs sampler.cjs run_parallel.sh
data/ (不入库)shard_*.jsonl stats.json *.parquet norm.json
prep/ build_dataset.py
model/ policy_transformer.py
sim/ closed_loop.py # 闭环仿真(训练验证、挖错、APG 展开共用)
eval/ collide_torch.py # 可微胶囊距离,与 JS 对拍
apg/ apg_finetune.py
mining/ mine_round.py gate.py loop.sh
configs/ base.yaml apg.yaml
train.py export_onnx.py README.md
webapp/js/ik-policy.js # 闭环推理 + 模式粘滞 + 安全层 + 刹停
webapp/models/traj_v2.onnx traj_v2.norm.json
tests/policy_bench.cjs</code></pre>
<h2 id="12-里程碑">12. 里程碑</h2>
<table>
<thead>
<tr class="header">
<th>#</th>
<th>内容</th>
<th>产出</th>
<th>在哪跑</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td>M1</td>
<td>数据生成器 + 时间参数化 + 1000 条试跑</td>
<td><code>ml/gen/*</code>、stats.json</td>
<td>沙箱</td>
</tr>
<tr class="even">
<td>M2</td>
<td>可微胶囊距离(PyTorch)与 JS 对拍</td>
<td><code>collide_torch.py</code>,10 万位形 0 误差</td>
<td>沙箱(CPU 即可)</td>
</tr>
<tr class="odd">
<td>M3</td>
<td>5 万条老师数据 → 约 300 万闭环样本</td>
<td>Parquet</td>
<td>沙箱约 5 h 或用户机器</td>
</tr>
<tr class="even">
<td>M4</td>
<td>模型 + 训练工程 + 闭环仿真;小数据过拟合测试</td>
<td><code>train.py</code>、<code>closed_loop.py</code></td>
<td>沙箱 CPU 验证可跑</td>
</tr>
<tr class="odd">
<td>M5</td>
<td>预训练(行为克隆)</td>
<td>checkpoint</td>
<td><strong>用户 GPU</strong></td>
</tr>
<tr class="even">
<td>M6</td>
<td>APG 微调 + 挖错循环 3–6 轮</td>
<td>每轮 report.md</td>
<td><strong>用户 GPU</strong></td>
</tr>
<tr class="odd">
<td>M6b</td>
<td>(可选)ReinFlow 强化学习微调:奖励 = 到达 − 刹停次数 − 卡死 −
用时</td>
<td>对比 M6</td>
<td><strong>用户 GPU</strong></td>
</tr>
<tr class="even">
<td>M7</td>
<td>导出 ONNX + <code>ik-policy.js</code> 闭环部署 + 安全层实测 +
<code>policy_bench</code></td>
<td>对比表</td>
<td>沙箱 + 浏览器</td>
</tr>
<tr class="odd">
<td>M8</td>
<td>移除查看器里对
<code>solveDyn</code>/<code>routeRT</code>/路网的运行时依赖(保留在
<code>ml/gen</code> 离线使用)</td>
<td>部署包瘦身</td>
<td>沙箱</td>
</tr>
</tbody>
</table>
<h2 id="13-参考文献">13. 参考文献</h2>
<ul>
<li>Fishman et al., <em>Motion Policy Networks</em>, CoRL 2022. <a
href="https://arxiv.org/abs/2210.12209">https://arxiv.org/abs/2210.12209</a>
;闭环细节见补充材料 <a
href="https://proceedings.mlr.press/v205/fishman23a/fishman23a-supp.pdf">https://proceedings.mlr.press/v205/fishman23a/fishman23a-supp.pdf</a></li>
<li>Dalal et al., <em>Neural MP: A Generalist Neural Motion
Planner</em>, 2024 / IROS 2025. <a
href="https://arxiv.org/abs/2409.05864">https://arxiv.org/abs/2409.05864</a></li>
<li>Yang, Liu et al., <em>Deep Reactive Policy: Learning Reactive
Manipulator Motion Planning for Dynamic Environments</em>, CoRL 2025. <a
href="https://arxiv.org/abs/2509.06953">https://arxiv.org/abs/2509.06953</a></li>
<li>Fishman et al., <em>Avoid Everything: Model-Free Collision Avoidance
with Expert-Guided Fine-Tuning</em>, CoRL 2024 Workshop(DRP 文中引用为
MπFormer)</li>
<li>Li et al., <em>ELMP: Efficient Learning for Motion Planning via
Analytical Policy Gradients</em>, arXiv 2607.00215, 2026. <a
href="https://arxiv.org/abs/2607.00215">https://arxiv.org/abs/2607.00215</a></li>
<li>控制周期:Franka FCI <a
href="https://frankarobotics.github.io/docs/overview.html">https://frankarobotics.github.io/docs/overview.html</a>
;UR RTDE <a
href="https://www.universal-robots.com/articles/ur/interface-communication/remote-control-via-tcpip">https://www.universal-robots.com/articles/ur/interface-communication/remote-control-via-tcpip</a>
;ABB EGM 应用手册 3HAC073318;KUKA RSI <a
href="https://docs.quanser.com/quarc/documentation/kuka_rsi_block.html">https://docs.quanser.com/quarc/documentation/kuka_rsi_block.html</a>
;MoveIt Servo servo_parameters.yaml;Diffusion Policy <a
href="https://arxiv.org/abs/2303.04137">https://arxiv.org/abs/2303.04137</a>
;π0 <a
href="https://arxiv.org/abs/2410.24164">https://arxiv.org/abs/2410.24164</a>
;实时动作块执行 <a
href="https://arxiv.org/abs/2506.07339">https://arxiv.org/abs/2506.07339</a></li>
<li>前沿生成式策略(v2.2):π0 <a
href="https://arxiv.org/abs/2410.24164">https://arxiv.org/abs/2410.24164</a>
;π0.5 <a
href="https://arxiv.org/abs/2504.16054">https://arxiv.org/abs/2504.16054</a>
;知识隔离 <a
href="https://arxiv.org/abs/2505.23705">https://arxiv.org/abs/2505.23705</a>
;FAST <a
href="https://arxiv.org/abs/2501.09747">https://arxiv.org/abs/2501.09747</a>
;MP1 <a
href="https://arxiv.org/abs/2507.10543">https://arxiv.org/abs/2507.10543</a>
;OFP <a
href="https://arxiv.org/abs/2603.12480">https://arxiv.org/abs/2603.12480</a>
;条件 OT 流策略 <a
href="https://proceedings.mlr.press/v305/sochopoulos25a.html">https://proceedings.mlr.press/v305/sochopoulos25a.html</a>
;Consistency Policy <a
href="https://arxiv.org/abs/2405.07503">https://arxiv.org/abs/2405.07503</a>
;OneDP <a
href="https://proceedings.mlr.press/v267/wang25ba.html">https://proceedings.mlr.press/v267/wang25ba.html</a>
;MPD <a
href="https://arxiv.org/abs/2308.01557">https://arxiv.org/abs/2308.01557</a>
;EDMP <a
href="https://arxiv.org/abs/2309.11414">https://arxiv.org/abs/2309.11414</a>
;GPD <a
href="https://arxiv.org/abs/2501.18229">https://arxiv.org/abs/2501.18229</a>
;DiffusionSeeder <a
href="https://arxiv.org/abs/2410.16727">https://arxiv.org/abs/2410.16727</a>
;RTC <a
href="https://arxiv.org/abs/2506.07339">https://arxiv.org/abs/2506.07339</a>
;DPPO <a
href="https://arxiv.org/abs/2409.00588">https://arxiv.org/abs/2409.00588</a>
;ReinFlow <a
href="https://arxiv.org/abs/2505.22094">https://arxiv.org/abs/2505.22094</a></li>
<li>Ross, Gordon, Bagnell, <em>A Reduction of Imitation Learning and
Structured Prediction to No-Regret Online
Learning</em>(DAgger),AISTATS 2011</li>
</ul>
<h2 id="14-需要用户确认">14. 需要用户确认</h2>
<ol type="1">
<li><del>训练机显卡</del>:已定 RTX 3090 24 GB。</li>
<li><del>near_column 29/30</del>:已否决,要求 30/30(§8.5)。</li>
<li>控制周期:按 §8.6 评估保持策略层 50 Hz、提交 3
步;<strong>请告知真机电机/驱动类型与通信方式</strong>,用于确定插补频率和提交步数。</li>
</ol>
</body>
</html>