2026-10-17 13:21:41 +00:00
|
|
|
|
<!DOCTYPE html>
|
|
|
|
|
|
<html xmlns="http://www.w3.org/1999/xhtml" lang="" xml:lang="">
|
|
|
|
|
|
<head>
|
|
|
|
|
|
<meta charset="utf-8" />
|
|
|
|
|
|
<meta name="generator" content="pandoc" />
|
|
|
|
|
|
<meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=yes" />
|
|
|
|
|
|
<title>方案逐项核查报告</title>
|
|
|
|
|
|
<style>
|
|
|
|
|
|
html {
|
|
|
|
|
|
color: #1a1a1a;
|
|
|
|
|
|
background-color: #fdfdfd;
|
|
|
|
|
|
}
|
|
|
|
|
|
body {
|
|
|
|
|
|
margin: 0 auto;
|
|
|
|
|
|
max-width: 36em;
|
|
|
|
|
|
padding-left: 50px;
|
|
|
|
|
|
padding-right: 50px;
|
|
|
|
|
|
padding-top: 50px;
|
|
|
|
|
|
padding-bottom: 50px;
|
|
|
|
|
|
hyphens: auto;
|
|
|
|
|
|
overflow-wrap: break-word;
|
|
|
|
|
|
text-rendering: optimizeLegibility;
|
|
|
|
|
|
font-kerning: normal;
|
|
|
|
|
|
}
|
|
|
|
|
|
@media (max-width: 600px) {
|
|
|
|
|
|
body {
|
|
|
|
|
|
font-size: 0.9em;
|
|
|
|
|
|
padding: 12px;
|
|
|
|
|
|
}
|
|
|
|
|
|
h1 {
|
|
|
|
|
|
font-size: 1.8em;
|
|
|
|
|
|
}
|
|
|
|
|
|
}
|
|
|
|
|
|
@media print {
|
|
|
|
|
|
html {
|
|
|
|
|
|
background-color: white;
|
|
|
|
|
|
}
|
|
|
|
|
|
body {
|
|
|
|
|
|
background-color: transparent;
|
|
|
|
|
|
color: black;
|
|
|
|
|
|
font-size: 12pt;
|
|
|
|
|
|
}
|
|
|
|
|
|
p, h2, h3 {
|
|
|
|
|
|
orphans: 3;
|
|
|
|
|
|
widows: 3;
|
|
|
|
|
|
}
|
|
|
|
|
|
h2, h3, h4 {
|
|
|
|
|
|
page-break-after: avoid;
|
|
|
|
|
|
}
|
|
|
|
|
|
}
|
|
|
|
|
|
p {
|
|
|
|
|
|
margin: 1em 0;
|
|
|
|
|
|
}
|
|
|
|
|
|
a {
|
|
|
|
|
|
color: #1a1a1a;
|
|
|
|
|
|
}
|
|
|
|
|
|
a:visited {
|
|
|
|
|
|
color: #1a1a1a;
|
|
|
|
|
|
}
|
|
|
|
|
|
img {
|
|
|
|
|
|
max-width: 100%;
|
|
|
|
|
|
}
|
|
|
|
|
|
svg {
|
|
|
|
|
|
height: auto;
|
|
|
|
|
|
max-width: 100%;
|
|
|
|
|
|
}
|
|
|
|
|
|
h1, h2, h3, h4, h5, h6 {
|
|
|
|
|
|
margin-top: 1.4em;
|
|
|
|
|
|
}
|
|
|
|
|
|
h5, h6 {
|
|
|
|
|
|
font-size: 1em;
|
|
|
|
|
|
font-style: italic;
|
|
|
|
|
|
}
|
|
|
|
|
|
h6 {
|
|
|
|
|
|
font-weight: normal;
|
|
|
|
|
|
}
|
|
|
|
|
|
ol, ul {
|
|
|
|
|
|
padding-left: 1.7em;
|
|
|
|
|
|
margin-top: 1em;
|
|
|
|
|
|
}
|
|
|
|
|
|
li > ol, li > ul {
|
|
|
|
|
|
margin-top: 0;
|
|
|
|
|
|
}
|
|
|
|
|
|
blockquote {
|
|
|
|
|
|
margin: 1em 0 1em 1.7em;
|
|
|
|
|
|
padding-left: 1em;
|
|
|
|
|
|
border-left: 2px solid #e6e6e6;
|
|
|
|
|
|
color: #606060;
|
|
|
|
|
|
}
|
|
|
|
|
|
code {
|
|
|
|
|
|
font-family: Menlo, Monaco, Consolas, 'Lucida Console', monospace;
|
|
|
|
|
|
font-size: 85%;
|
|
|
|
|
|
margin: 0;
|
|
|
|
|
|
hyphens: manual;
|
|
|
|
|
|
}
|
|
|
|
|
|
pre {
|
|
|
|
|
|
margin: 1em 0;
|
|
|
|
|
|
overflow: auto;
|
|
|
|
|
|
}
|
|
|
|
|
|
pre code {
|
|
|
|
|
|
padding: 0;
|
|
|
|
|
|
overflow: visible;
|
|
|
|
|
|
overflow-wrap: normal;
|
|
|
|
|
|
}
|
|
|
|
|
|
.sourceCode {
|
|
|
|
|
|
background-color: transparent;
|
|
|
|
|
|
overflow: visible;
|
|
|
|
|
|
}
|
|
|
|
|
|
hr {
|
|
|
|
|
|
background-color: #1a1a1a;
|
|
|
|
|
|
border: none;
|
|
|
|
|
|
height: 1px;
|
|
|
|
|
|
margin: 1em 0;
|
|
|
|
|
|
}
|
|
|
|
|
|
table {
|
|
|
|
|
|
margin: 1em 0;
|
|
|
|
|
|
border-collapse: collapse;
|
|
|
|
|
|
width: 100%;
|
|
|
|
|
|
overflow-x: auto;
|
|
|
|
|
|
display: block;
|
|
|
|
|
|
font-variant-numeric: lining-nums tabular-nums;
|
|
|
|
|
|
}
|
|
|
|
|
|
table caption {
|
|
|
|
|
|
margin-bottom: 0.75em;
|
|
|
|
|
|
}
|
|
|
|
|
|
tbody {
|
|
|
|
|
|
margin-top: 0.5em;
|
|
|
|
|
|
border-top: 1px solid #1a1a1a;
|
|
|
|
|
|
border-bottom: 1px solid #1a1a1a;
|
|
|
|
|
|
}
|
|
|
|
|
|
th {
|
|
|
|
|
|
border-top: 1px solid #1a1a1a;
|
|
|
|
|
|
padding: 0.25em 0.5em 0.25em 0.5em;
|
|
|
|
|
|
}
|
|
|
|
|
|
td {
|
|
|
|
|
|
padding: 0.125em 0.5em 0.25em 0.5em;
|
|
|
|
|
|
}
|
|
|
|
|
|
header {
|
|
|
|
|
|
margin-bottom: 4em;
|
|
|
|
|
|
text-align: center;
|
|
|
|
|
|
}
|
|
|
|
|
|
#TOC li {
|
|
|
|
|
|
list-style: none;
|
|
|
|
|
|
}
|
|
|
|
|
|
#TOC ul {
|
|
|
|
|
|
padding-left: 1.3em;
|
|
|
|
|
|
}
|
|
|
|
|
|
#TOC > ul {
|
|
|
|
|
|
padding-left: 0;
|
|
|
|
|
|
}
|
|
|
|
|
|
#TOC a:not(:hover) {
|
|
|
|
|
|
text-decoration: none;
|
|
|
|
|
|
}
|
|
|
|
|
|
code{white-space: pre-wrap;}
|
|
|
|
|
|
span.smallcaps{font-variant: small-caps;}
|
|
|
|
|
|
div.columns{display: flex; gap: min(4vw, 1.5em);}
|
|
|
|
|
|
div.column{flex: auto; overflow-x: auto;}
|
|
|
|
|
|
div.hanging-indent{margin-left: 1.5em; text-indent: -1.5em;}
|
|
|
|
|
|
/* The extra [class] is a hack that increases specificity enough to
|
|
|
|
|
|
override a similar rule in reveal.js */
|
|
|
|
|
|
ul.task-list[class]{list-style: none;}
|
|
|
|
|
|
ul.task-list li input[type="checkbox"] {
|
|
|
|
|
|
font-size: inherit;
|
|
|
|
|
|
width: 0.8em;
|
|
|
|
|
|
margin: 0 0.8em 0.2em -1.6em;
|
|
|
|
|
|
vertical-align: middle;
|
|
|
|
|
|
}
|
|
|
|
|
|
.display.math{display: block; text-align: center; margin: 0.5rem auto;}
|
|
|
|
|
|
</style>
|
|
|
|
|
|
<style>
|
|
|
|
|
|
:root{--fg:#1d2733;--mut:#5b6b7c;--acc:#1f5fa8;--bd:#d9e1ea;--bg2:#f5f8fb}
|
|
|
|
|
|
body{max-width:1080px;margin:0 auto;padding:32px 28px 80px;font:15px/1.75 -apple-system,"PingFang SC","Microsoft YaHei","Noto Sans CJK SC",sans-serif;color:var(--fg)}
|
|
|
|
|
|
h1{font-size:26px;border-bottom:3px solid var(--acc);padding-bottom:10px}
|
|
|
|
|
|
h2{font-size:21px;margin-top:44px;padding-left:10px;border-left:5px solid var(--acc)}
|
|
|
|
|
|
h3{font-size:17px;margin-top:28px;color:#16324f}
|
|
|
|
|
|
table{border-collapse:collapse;width:100%;margin:14px 0;font-size:13.5px;display:block;overflow-x:auto}
|
|
|
|
|
|
th,td{border:1px solid var(--bd);padding:6px 9px;vertical-align:top}
|
|
|
|
|
|
th{background:#e9f0f7;text-align:left;white-space:nowrap}
|
|
|
|
|
|
tr:nth-child(even) td{background:var(--bg2)}
|
|
|
|
|
|
code{background:#eef2f6;padding:1px 5px;border-radius:4px;font-size:90%}
|
|
|
|
|
|
pre{background:#0f1b2a;color:#e3ecf5;padding:14px 16px;border-radius:8px;overflow-x:auto;line-height:1.5}
|
|
|
|
|
|
pre code{background:none;color:inherit;padding:0}
|
|
|
|
|
|
blockquote{margin:16px 0;padding:10px 16px;background:#fff8e6;border-left:4px solid #e0a800;color:#4a3b00}
|
|
|
|
|
|
#TOC{background:var(--bg2);border:1px solid var(--bd);border-radius:8px;padding:12px 20px;margin:20px 0;font-size:14px}
|
|
|
|
|
|
#TOC ul{margin:4px 0;padding-left:20px}
|
|
|
|
|
|
a{color:var(--acc)}
|
|
|
|
|
|
</style>
|
|
|
|
|
|
</head>
|
|
|
|
|
|
<body>
|
|
|
|
|
|
<header id="title-block-header">
|
|
|
|
|
|
<h1 class="title">方案逐项核查报告</h1>
|
|
|
|
|
|
</header>
|
|
|
|
|
|
<nav id="TOC" role="doc-toc">
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><a href="#方案逐项核查报告v23-证据附录"
|
|
|
|
|
|
id="toc-方案逐项核查报告v23-证据附录">方案逐项核查报告(v2.3
|
|
|
|
|
|
证据附录)</a></li>
|
|
|
|
|
|
<li><a href="#一49-逐项核查与内部不一致"
|
|
|
|
|
|
id="toc-一49-逐项核查与内部不一致">一、§4–§9 逐项核查与内部不一致</a>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="#transformer-避障运动策略无老师闭环部署方案-v2249-可行性逐项核验"
|
|
|
|
|
|
id="toc-transformer-避障运动策略无老师闭环部署方案-v2249-可行性逐项核验">《Transformer
|
|
|
|
|
|
避障运动策略:无老师闭环部署方案 v2.2》§4–§9 可行性逐项核验</a>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><a href="#0-结论速览" id="toc-0-结论速览">0. 结论速览</a></li>
|
|
|
|
|
|
<li><a href="#1-总表" id="toc-1-总表">1. 总表</a></li>
|
|
|
|
|
|
<li><a href="#2-逐项详述" id="toc-2-逐项详述">2. 逐项详述</a></li>
|
|
|
|
|
|
<li><a href="#3-文档内部不一致清单" id="toc-3-文档内部不一致清单">3.
|
|
|
|
|
|
文档内部不一致清单</a></li>
|
|
|
|
|
|
<li><a href="#4-未能核实--声明" id="toc-4-未能核实--声明">4. 未能核实 /
|
|
|
|
|
|
声明</a></li>
|
|
|
|
|
|
<li><a href="#5-来源" id="toc-5-来源">5. 来源</a></li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
<li><a href="#二一步少步生成式动作头"
|
|
|
|
|
|
id="toc-二一步少步生成式动作头">二、一步/少步生成式动作头</a>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><a href="#一步--少步生成式机器人策略全文精读与针对本项目的评估"
|
|
|
|
|
|
id="toc-一步--少步生成式机器人策略全文精读与针对本项目的评估">一步 /
|
|
|
|
|
|
少步生成式机器人策略:全文精读与针对本项目的评估</a>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><a href="#0-本项目设定评估基准" id="toc-0-本项目设定评估基准">0.
|
|
|
|
|
|
本项目设定(评估基准)</a></li>
|
|
|
|
|
|
<li><a href="#1-贯穿所有论文的三个关键事实先读"
|
|
|
|
|
|
id="toc-1-贯穿所有论文的三个关键事实先读">1.
|
|
|
|
|
|
贯穿所有论文的三个关键事实(先读)</a></li>
|
|
|
|
|
|
<li><a href="#2-逐篇精读" id="toc-2-逐篇精读">2. 逐篇精读</a></li>
|
|
|
|
|
|
<li><a href="#3-汇总对比表原文数据" id="toc-3-汇总对比表原文数据">3.
|
|
|
|
|
|
汇总对比表(原文数据)</a></li>
|
|
|
|
|
|
<li><a href="#4-针对本项目的裁决表" id="toc-4-针对本项目的裁决表">4.
|
|
|
|
|
|
针对本项目的裁决表</a></li>
|
|
|
|
|
|
<li><a href="#5-排名推荐" id="toc-5-排名推荐">5. 排名推荐</a></li>
|
|
|
|
|
|
<li><a href="#6-明确的不确定项" id="toc-6-明确的不确定项">6.
|
|
|
|
|
|
明确的不确定项</a></li>
|
|
|
|
|
|
<li><a href="#7-实际抓取的来源-url" id="toc-7-实际抓取的来源-url">7.
|
|
|
|
|
|
实际抓取的来源 URL</a></li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
<li><a href="#三代价引导与实时动作块rtc"
|
|
|
|
|
|
id="toc-三代价引导与实时动作块rtc">三、代价引导与实时动作块(RTC)</a>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="#代价引导扩散运动规划--实时分块rtc文献精读与对我方设定的评估"
|
|
|
|
|
|
id="toc-代价引导扩散运动规划--实时分块rtc文献精读与对我方设定的评估">代价引导扩散运动规划
|
|
|
|
|
|
+ 实时分块(RTC)文献精读与对我方设定的评估</a>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><a href="#0-我方设定评估基准" id="toc-0-我方设定评估基准">0.
|
|
|
|
|
|
我方设定(评估基准)</a></li>
|
|
|
|
|
|
<li><a href="#1-已抓取的来源" id="toc-1-已抓取的来源">1.
|
|
|
|
|
|
已抓取的来源</a></li>
|
|
|
|
|
|
<li><a href="#2-代价引导扩散运动规划" id="toc-2-代价引导扩散运动规划">2.
|
|
|
|
|
|
代价引导扩散运动规划</a></li>
|
|
|
|
|
|
<li><a href="#3-实时分块-rtc-与训练时前缀条件化"
|
|
|
|
|
|
id="toc-3-实时分块-rtc-与训练时前缀条件化">3. 实时分块 RTC
|
|
|
|
|
|
与训练时前缀条件化</a></li>
|
|
|
|
|
|
<li><a href="#4-对我方设定的结论表" id="toc-4-对我方设定的结论表">4.
|
|
|
|
|
|
对我方设定的结论表</a></li>
|
|
|
|
|
|
<li><a href="#5-局限" id="toc-5-局限">5. 局限</a></li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
<li><a href="#四后训练apgrl与遗漏范式"
|
|
|
|
|
|
id="toc-四后训练apgrl与遗漏范式">四、后训练(APG/RL)与遗漏范式</a>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><a href="#后训练fine-tune方案与遗漏范式评估"
|
|
|
|
|
|
id="toc-后训练fine-tune方案与遗漏范式评估">后训练(fine-tune)方案与遗漏范式评估</a>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><a href="#0-结论速览-1" id="toc-0-结论速览-1">0. 结论速览</a></li>
|
|
|
|
|
|
<li><a href="#a-后训练方法" id="toc-a-后训练方法">(A)
|
|
|
|
|
|
后训练方法</a></li>
|
|
|
|
|
|
<li><a href="#b-可能遗漏的范式" id="toc-b-可能遗漏的范式">(B)
|
|
|
|
|
|
可能遗漏的范式</a></li>
|
|
|
|
|
|
<li><a href="#未能确认--需注意" id="toc-未能确认--需注意">未能确认 /
|
|
|
|
|
|
需注意</a></li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
</nav>
|
|
|
|
|
|
<h1 id="方案逐项核查报告v23-证据附录">方案逐项核查报告(v2.3
|
|
|
|
|
|
证据附录)</h1>
|
|
|
|
|
|
<blockquote>
|
2026-10-17 13:28:16 +00:00
|
|
|
|
<p>2026-10-17。<strong>这是修复前的审查记录</strong>(问题 + 证据 +
|
|
|
|
|
|
建议),不是修复结果。修复已落在《Transformer轨迹拟合训练方案》v2.3.1
|
|
|
|
|
|
正文,状态表见其 §0A.5。</p>
|
2026-10-17 13:21:41 +00:00
|
|
|
|
</blockquote>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h1 id="一49-逐项核查与内部不一致">一、§4–§9 逐项核查与内部不一致</h1>
|
|
|
|
|
|
<h2
|
|
|
|
|
|
id="transformer-避障运动策略无老师闭环部署方案-v2249-可行性逐项核验">《Transformer
|
|
|
|
|
|
避障运动策略:无老师闭环部署方案 v2.2》§4–§9 可行性逐项核验</h2>
|
|
|
|
|
|
<blockquote>
|
|
|
|
|
|
<p>撰写:2026-10-17。审查对象:<code>/workspace/work/Robot_Arm/docs/Transformer轨迹拟合训练方案.md</code>(v2.2,基于
|
|
|
|
|
|
<code>main@3c7c814</code>)。 <strong>范围</strong>:§4–§9
|
|
|
|
|
|
中除"动作头选型(一步流/MeanFlow/WTA)、代价引导、RTC/前缀条件、APG/ReinFlow/DPPO
|
|
|
|
|
|
本身"之外的全部方案(那几项由其他报告负责:<code>guidance_rtc.md</code>、<code>finetune_alternatives.md</code>、<code>onestep.md</code>)。涉及它们的地方只核对<strong>接口与数字是否自洽</strong>。
|
|
|
|
|
|
<strong>判定口径</strong>:有充分证据 =
|
|
|
|
|
|
有论文/系统在相近设定下做过且给出数字;有部分证据 =
|
|
|
|
|
|
做过但设定差异大,或只证明了一部分;仅推断 = 无直接文献,靠推理;有反证
|
|
|
|
|
|
= 文献或本仓库数据直接与方案说法冲突。 <strong>标注</strong>:【原文】=
|
|
|
|
|
|
已抓取全文并定位章节/表号;【仓库】= 本仓库代码/文档/本次实测;【推断】=
|
|
|
|
|
|
我的推理;【未抓取】= 背景知识,未在本次全文中核实。
|
|
|
|
|
|
全文与抽取文本存放:<code>/workspace/work/out/survey/src_v/</code>(本报告新抓取)与
|
|
|
|
|
|
<code>/workspace/work/out/survey/src/</code>(其他报告已抓取的 DRP/ELMP
|
|
|
|
|
|
等)。杠杆臂实测脚本:<code>/workspace/work/out/survey/src_v/lever.cjs</code>。</p>
|
|
|
|
|
|
</blockquote>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="0-结论速览">0. 结论速览</h3>
|
|
|
|
|
|
<p><strong>整体判断</strong>:§4–§9 的大框架(老师离线造数据 →
|
|
|
|
|
|
切成"状态→动作块"做行为克隆 → 无老师后训练 → 闭环滚动执行 +
|
|
|
|
|
|
安全层)有充分的同类先例(MπNets、DRP/IMPACT、ELMP)。但有 <strong>4
|
|
|
|
|
|
个硬伤</strong>必须在写代码前改掉,否则验收标准无法成立:</p>
|
|
|
|
|
|
<ol type="1">
|
|
|
|
|
|
<li><strong>安全层的"保证"不成立(有反证)</strong>:§8.3 用
|
|
|
|
|
|
1°(+半格)离散采样 + 0.3 mm 余量做检查。本次实测本机械臂各关节杠杆:TCP
|
|
|
|
|
|
每度最大位移 J1 9.0 mm、J2 6.9 mm、J3/J4 4.2 mm、J5 2.3 mm,六轴同时动
|
|
|
|
|
|
1°(L∞)时最多 24.3 mm。即便 0.5°
|
|
|
|
|
|
间距,两采样点之间某点可偏离最近采样位形约 6 mm,远大于 0.3 mm
|
|
|
|
|
|
余量。仓库自己的报告也记录了"贴立柱时薄薄一层干涉整个夹在采样点之间"以及
|
|
|
|
|
|
0.28 mm 的残余侵入。"碰撞帧 = 0"目前只是"在离散检查口径下 = 0"。</li>
|
|
|
|
|
|
<li><strong>时间参数化会产生非马尔可夫标签(有反证)</strong>:§4.5 沿用
|
|
|
|
|
|
<code>animTo</code>:整条折线一次全局
|
|
|
|
|
|
smoothstep,总时长按路径长度缩放,并夹在 [372 ms, 2170 ms]。于是同一 (q,
|
|
|
|
|
|
目标)
|
|
|
|
|
|
状态下,标签速度取决于"整条路径有多长、走到了第几成",而这两样输入里都没有。起步段
|
|
|
|
|
|
Δq≈0,闭环每 20 ms 只执行第 1
|
|
|
|
|
|
步,可能<strong>永远起不了步</strong>。Diffusion Policy
|
|
|
|
|
|
报告过单步策略在"停顿动作"上过拟合、卡住的现象;MπNets
|
|
|
|
|
|
专门把老师路径重定时为匀速。</li>
|
|
|
|
|
|
<li><strong>§8.1
|
|
|
|
|
|
的插补器交叉淡入/时间集成与安全层矛盾(有反证)</strong>:实际执行的是两块的混合,不是安全层检查过的那
|
|
|
|
|
|
3 步。左绕块与右绕块平均后可能正好穿过立柱。BID 与 π0
|
|
|
|
|
|
都报告时间集成在多模态下会掉性能(π0 早期试过后放弃)。</li>
|
|
|
|
|
|
<li><strong>训练/部署口径不一致</strong>:APG 每次迭代执行 3 步(60
|
|
|
|
|
|
ms)再推理,部署是每 20 ms 推理、只走 1 步;"H=60 周期≈1.2 s"按 3
|
|
|
|
|
|
步/周期算其实是 3.6 s;§8.5 又写 150 周期≈3
|
|
|
|
|
|
s。此外,K=4(§5/§6.1/§8.1/§8.3/§8.5)与流匹配头的 K=8
|
|
|
|
|
|
候选(§6.1A)在多处混用。</li>
|
|
|
|
|
|
</ol>
|
|
|
|
|
|
<p><strong>30/30 的统计含义</strong>:30 次全对,失败率 95%
|
|
|
|
|
|
单侧置信上界约 9.5%(实算 1−0.05^(1/30)=0.095)。而且这 30 例在 §7.2
|
|
|
|
|
|
每轮门禁里都被用来挑模型,存在选择偏差。30/30
|
|
|
|
|
|
不能证明"无老师也可靠"。</p>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="1-总表">1. 总表</h3>
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr class="header">
|
|
|
|
|
|
<th>#</th>
|
|
|
|
|
|
<th>§</th>
|
|
|
|
|
|
<th>方案(一句话)</th>
|
|
|
|
|
|
<th>最佳证据(详见 §2)</th>
|
|
|
|
|
|
<th>判定</th>
|
|
|
|
|
|
<th>主要残余风险</th>
|
|
|
|
|
|
<th>门禁测试(本仓库) / 不过时的回退</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tbody>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>1</td>
|
|
|
|
|
|
<td>§4.1–4.3</td>
|
|
|
|
|
|
<td>用 <code>solveDyn</code> 离线造 5
|
|
|
|
|
|
万条任务(A45/B30/C15/D10,pos/pose 各半)</td>
|
|
|
|
|
|
<td>MπNets 3.27M 问题、DRP 10M 条、ELMP 60 万/1 万条【原文】;ELMP:1
|
|
|
|
|
|
万条+APG 胜 60 万条纯 BC</td>
|
|
|
|
|
|
<td>有部分证据</td>
|
|
|
|
|
|
<td>老师是采样式(Lazy
|
|
|
|
|
|
RRT-Connect+随机捷径),<strong>一致性差</strong>。MπNets
|
|
|
|
|
|
用全局规划器做老师时碰撞率 13.78%,换一致的混合老师降到 0.94%</td>
|
|
|
|
|
|
<td>门禁:同一任务换 5 个种子跑老师,同类任务左右绕选择一致率 ≥
|
|
|
|
|
|
90%、行程 CV < 10%。不过就改用确定性种子 +
|
|
|
|
|
|
固定绕行偏好(如"先选行程最短的同伦类"),或用 PRM 路网 A*
|
|
|
|
|
|
作老师(确定、最短)</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>2</td>
|
|
|
|
|
|
<td>§4.3 D 类</td>
|
|
|
|
|
|
<td>目标不可达时,标签 = 停在离目标最近的安全位形(停靠)</td>
|
|
|
|
|
|
<td>DRP 加了"目标被挡→停在最近安全处"的数据(原文 §1
|
|
|
|
|
|
表述,具体数据量未核)</td>
|
|
|
|
|
|
<td>有部分证据</td>
|
|
|
|
|
|
<td>"最近安全位形"不唯一、不连续:目标移动 1
|
|
|
|
|
|
mm,停靠点可能跳到立柱另一侧 → 拖拽中抖动</td>
|
|
|
|
|
|
<td>门禁:rt_drag_bench 中目标扫过立柱时,停靠点 TCP 连续性(相邻 20 ms
|
|
|
|
|
|
跳变 < 5
|
|
|
|
|
|
mm)。不过就给停靠标签加连续性正则(选与上一停靠点最近的候选)</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>3</td>
|
|
|
|
|
|
<td>§4.4</td>
|
|
|
|
|
|
<td>路径 1° 细验+半格复验过滤;行程>1.5×routeRT 先统计</td>
|
|
|
|
|
|
<td>MπNets 拒收撞、超限、高 jerk、末端偏 >5 cm 的轨迹【原文
|
|
|
|
|
|
§4.2】</td>
|
|
|
|
|
|
<td>有部分证据</td>
|
|
|
|
|
|
<td>同一离散检查口径(见 #19);过滤阈值未定</td>
|
|
|
|
|
|
<td>门禁:被丢弃率按类别统计(C 类丢弃率 > 20%
|
|
|
|
|
|
说明老师在贴柱场景不可靠)。回退:贴柱类改用 0.25° 细验 +
|
|
|
|
|
|
距离下界认证</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>4</td>
|
|
|
|
|
|
<td>§4.5 ①</td>
|
|
|
|
|
|
<td>按 <code>animTo</code>(VREL 轴速比 + 全局 smoothstep +
|
|
|
|
|
|
总时长夹取)把路径时间参数化成 20 ms 步</td>
|
|
|
|
|
|
<td>MπNets:"fit a spline and retime it to have steady velocity"【原文
|
|
|
|
|
|
App/§4.2】;DP:"单步策略容易过拟合停顿动作,BC-RNN、IBC
|
|
|
|
|
|
在真机上会卡住"【原文 §3】</td>
|
|
|
|
|
|
<td><strong>有反证</strong></td>
|
|
|
|
|
|
<td>① 标签速度取决于整条路径长度与进度,输入里看不到 → 非马尔可夫;②
|
|
|
|
|
|
起步/收尾 Δq≈0 → 闭环"起不了步";③ 每步最多约
|
|
|
|
|
|
4.4°(J1)~13°(J6),远大于安全层预算假设</td>
|
|
|
|
|
|
<td>门禁:标签一致性测试——在 (q, 目标) 近邻(关节 <0.5°、目标 <2
|
|
|
|
|
|
mm)内比较 16 步标签的方差,要求 < 每轴步长的 10%。同时跑 1000 个
|
|
|
|
|
|
held-out 闭环,"10 个周期内 TCP 位移 < 1 mm"的起步失败率 =
|
|
|
|
|
|
0。不过就改为<strong>局部可观测</strong>的时间律:匀速巡航 +
|
|
|
|
|
|
只按"剩余路程"决定的梯形减速;或把当前速度 q_t−q_{t−1} 作为输入</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>5</td>
|
|
|
|
|
|
<td>§4.5 ②</td>
|
|
|
|
|
|
<td>每 3 步取 1 个样本,标签 = 未来 16 步 Δq(相对
|
|
|
|
|
|
q_t,到终点补零)</td>
|
|
|
|
|
|
<td>DRP:10 步关节增量、MSE、转绝对目标【原文
|
|
|
|
|
|
§3.1】;DP:位置式动作块明显优于速度式【原文 §4.2】</td>
|
|
|
|
|
|
<td>有充分证据(表示本身)</td>
|
|
|
|
|
|
<td>补零 = 大量"停住"标签,到达附近可能早停;样本数估计偏高(见不一致
|
|
|
|
|
|
I2)</td>
|
|
|
|
|
|
<td>门禁:<code>stats.json</code>
|
|
|
|
|
|
统计每条路径的实际样本数,以及补零样本占比(> 30% 需降权)</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>6</td>
|
|
|
|
|
|
<td>§4.5 ④</td>
|
|
|
|
|
|
<td>"路径后缀天然覆盖从半路出发,等于免费的 DAgger 种子"</td>
|
|
|
|
|
|
<td>DAgger(Ross 2011)的核心正是:BC
|
|
|
|
|
|
只在老师状态上训练,误差随时域二次累积;必须在<strong>学生自己访问的</strong>状态上取标签【未抓取,背景】;MπNets:"单步训练、递归推理,累积噪声等价协变量偏移",用关节角高斯噪声增广【原文
|
|
|
|
|
|
§3.4】;DART:在老师演示中注噪,比 BC 平均提升 62%【原文摘要】</td>
|
|
|
|
|
|
<td><strong>有反证</strong>(说法错误)</td>
|
|
|
|
|
|
<td>后缀仍是老师轨迹上的状态,不是偏离状态;不能替代 DAgger</td>
|
|
|
|
|
|
<td>门禁:闭环 vs 开环误差对比——held-out 上"闭环到达率 −
|
|
|
|
|
|
单步回放准确率"的差距。回退/缓解:① 输入加关节噪声(σ≈0.5–1°)+
|
|
|
|
|
|
由老师离线重标(允许,老师只在离线);② 依赖 §7 的 APG/挖错补偏移</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>7</td>
|
|
|
|
|
|
<td>§5.1</td>
|
|
|
|
|
|
<td>关节 sin/cos(12) + 限位轴归一化(3) + TCP 位置与 6D 姿态 + 目标 +
|
|
|
|
|
|
差值 + 模式 + k_prev + 8 个胶囊距离</td>
|
|
|
|
|
|
<td>6D 旋转:连续表示,不连续表示的平均误差最高达 6–14 倍【原文 Zhou
|
|
|
|
|
|
2019 §1】;MπNets 关节归一化到 [−1,1]【原文 §3.1】;ELMP 目标 12
|
|
|
|
|
|
维(位置+展平旋转矩阵)【原文 §IV】</td>
|
|
|
|
|
|
<td>有部分证据</td>
|
|
|
|
|
|
<td>① k_prev one-hot 对流匹配头无意义;② 缺子目标、前缀、速度输入(见
|
|
|
|
|
|
I7);③ 最小距离特征在对子切换处梯度不连续;④ 以位姿为目标时多 IK
|
|
|
|
|
|
分支带来<strong>额外多峰</strong>(不只左/右绕)</td>
|
|
|
|
|
|
<td>门禁:消融——去掉胶囊距离特征,near_column 闭环到达率差异 ≥ 3
|
|
|
|
|
|
个百分点才保留。IK 多峰门禁:同一目标位姿下不同肘/腕分支的 held-out
|
|
|
|
|
|
子集到达率 ≥ 主集 −2
|
|
|
|
|
|
个百分点;不过就加"目标分支标志"或改为以老师终点关节角为条件(DRP
|
|
|
|
|
|
做法,需离线 IK)</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>8</td>
|
|
|
|
|
|
<td>§5.2/5.3</td>
|
|
|
|
|
|
<td>输出 16×6 Δq(按每轴最大步长归一化);连续轴 <code>unwrapTo</code>
|
|
|
|
|
|
统一</td>
|
|
|
|
|
|
<td>DRP 同类表示【原文】;连续轴展开为本仓库已有实现</td>
|
|
|
|
|
|
<td>有充分证据</td>
|
|
|
|
|
|
<td>每轴最大步长取决于 #4 的时间律,时间律一改,归一化要跟着改</td>
|
|
|
|
|
|
<td>门禁:§6.4 对拍,预处理与部署 unwrap 结果逐位一致(10 万样本 0
|
|
|
|
|
|
差异)</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>9</td>
|
|
|
|
|
|
<td>§6.1</td>
|
|
|
|
|
|
<td>IMPACT 式编码器-解码器,去掉点云;d=192,4+4 层,约 3–4M 参数</td>
|
|
|
|
|
|
<td>IMPACT:6+6 层、隐层 128、FFN 1024、8 头、10 个动作 token、4.67M
|
|
|
|
|
|
参数、300 Hz(4090)【原文 App G 表 7】</td>
|
|
|
|
|
|
<td>有充分证据(结构)/ 仅推断(去点云后够不够)</td>
|
|
|
|
|
|
<td>实算参数 ≈ 4.13M(编码 1.77M + 解码
|
|
|
|
|
|
2.36M),略超"3–4M";浏览器延迟未证(见 #24)</td>
|
|
|
|
|
|
<td>门禁:M4 小数据过拟合(1000 样本训练损失 → 0)+ M5 后 held-out
|
|
|
|
|
|
闭环到达率 ≥ 95%(APG 前)</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>10</td>
|
|
|
|
|
|
<td>§6.2</td>
|
|
|
|
|
|
<td>WTA-L1 + CE + FK 胶囊端点损失(0.5) + 二阶平滑(0.05) + 剩余时间
|
|
|
|
|
|
L1(0.1)</td>
|
|
|
|
|
|
<td>ELMP 的 BC 损失 = 动作项 +
|
|
|
|
|
|
λ_fk·Σ‖FK_i(q_pred)−FK_i(q_gt)‖(碰撞球中心)【原文 §III-B 式(2)】;DRP
|
|
|
|
|
|
用 MSE【原文】</td>
|
|
|
|
|
|
<td>有部分证据</td>
|
|
|
|
|
|
<td>只写了 WTA 头的损失;默认的流匹配头没有损失定义(FK
|
|
|
|
|
|
损失加在哪个输出上?),见 I8;权重未调</td>
|
|
|
|
|
|
<td>门禁:FK 损失消融,C 类闭环碰撞率(关安全层)下降 ≥ 20% 才保留</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>11</td>
|
|
|
|
|
|
<td>§6.3</td>
|
|
|
|
|
|
<td>AdamW(0.9,0.95)、lr 1e-3、bs 1024、bf16、20 万步("30 epoch"),3090
|
|
|
|
|
|
约 1.5–3 h</td>
|
|
|
|
|
|
<td>DRP:AdamW 同参、bs 512、100 万步、4090 上 3 天(含点云)【原文表
|
|
|
|
|
|
7】</td>
|
|
|
|
|
|
<td>仅推断(时间)</td>
|
|
|
|
|
|
<td><strong>20 万步×1024 = 2.05 亿样本次 ≈ 68 epoch,不是
|
|
|
|
|
|
30</strong>(I1);WTA 头每样本约 1.0 GFLOP(训练)→ 共 2.0e17
|
|
|
|
|
|
FLOP,3090 实际 10–35 TFLOPS 时需 1.6–5.6 h;流头约 0.5–1.8 h,但
|
|
|
|
|
|
MeanFlow/OFP 有额外前向/JVP 开销</td>
|
|
|
|
|
|
<td>门禁:先跑 2000 步测吞吐(样本/秒),据此重算;目标 ≥ 2
|
|
|
|
|
|
万样本/s。不过就降到 30 epoch(8.8 万步)或 bs 2048</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>12</td>
|
|
|
|
|
|
<td>§6.4</td>
|
|
|
|
|
|
<td>胶囊距离 PyTorch 可微版与 JS 对拍 10 万位形 0 误差;每 epoch 1000
|
|
|
|
|
|
任务闭环验证</td>
|
|
|
|
|
|
<td>仓库已有"4000/20000 位形与旧实现 0 差异"的对拍惯例【仓库】</td>
|
|
|
|
|
|
<td>有充分证据(工程可行)</td>
|
|
|
|
|
|
<td>"0 误差"对浮点距离不现实,应为布尔判定 0 差异 + 距离误差 < 1e-4
|
|
|
|
|
|
mm;对拍只证明一致,不证明连续安全</td>
|
|
|
|
|
|
<td>门禁即所述;附加:可微版梯度与有限差分相对误差 < 1e-3</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>13</td>
|
|
|
|
|
|
<td>§6.1/§8.5</td>
|
|
|
|
|
|
<td>子目标头:冷启动输出 1–2 个关节途经点,标签取老师路径拐点</td>
|
|
|
|
|
|
<td>AWE:用动态规划在误差预算内选最少航点,把 DP/ACT 成功率最多提升
|
|
|
|
|
|
25%【原文 §1、§3】;SHAC/分层规划一类思路【推断】</td>
|
|
|
|
|
|
<td>有部分证据</td>
|
|
|
|
|
|
<td>① §5.1 输入没有子目标字段(I7);② "冷启动"在拖拽中无定义(I22);③
|
|
|
|
|
|
单输出子目标头无法给出"另一侧"的备选(卡死换向需要它);④
|
|
|
|
|
|
捷径平滑后的拐点不稳定</td>
|
|
|
|
|
|
<td>门禁:子目标头 top-2 方向覆盖率(老师同伦类在前 2 个子目标中)≥
|
|
|
|
|
|
98%(C 类)。回退:子目标改为 K 个离散"绕行锚点"分类(左/右/上),标签用
|
|
|
|
|
|
AWE 式 DP 提取</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>14</td>
|
|
|
|
|
|
<td>§6.1/§8.5</td>
|
|
|
|
|
|
<td>价值头:预测剩余时间/代价;APG 展开时"有真实值可监督"</td>
|
|
|
|
|
|
<td>SHAC:用学到的 critic 截断可微仿真的 BPTT 时域(h=32 对
|
|
|
|
|
|
H=1000),同时缓解局部极小与梯度爆炸【原文 §1、§4】</td>
|
|
|
|
|
|
<td>有部分证据</td>
|
|
|
|
|
|
<td>截断展开内多数任务到不了目标 → 没有"真实剩余时间",必须用 TD
|
|
|
|
|
|
自举(SHAC 式),文中没写;价值头偏差会直接误导短前瞻与卡死检测</td>
|
|
|
|
|
|
<td>门禁:held-out 上价值头预测的剩余时间与实际闭环用时的 Spearman ≥
|
|
|
|
|
|
0.8,C 类 ≥ 0.7。不过就让卡死检测只用几何进度(TCP
|
|
|
|
|
|
到目标距离、子目标距离)</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>15</td>
|
|
|
|
|
|
<td>§8.5-3</td>
|
|
|
|
|
|
<td>短前瞻:对每个候选再推一块(32 步终态),用碰撞 + 价值打分</td>
|
|
|
|
|
|
<td>Neural MP 测试时"采样多条选穿透最少"【原文,见
|
|
|
|
|
|
<code>finetune_alternatives.md</code>】;BID:每步采 N=16
|
|
|
|
|
|
个样本按前后一致性选择,相对提升 32%【原文 §5.2.1】</td>
|
|
|
|
|
|
<td>有部分证据</td>
|
|
|
|
|
|
<td>计算翻倍(见 I9 延迟预算);第二块基于预测状态,误差叠加</td>
|
|
|
|
|
|
<td>门禁:A/B(有/无前瞻)在 near_column + C 类 held-out
|
|
|
|
|
|
上,前瞻必须把卡死率降低 ≥ 50%,且 P99 周期耗时仍 < 15 ms</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>16</td>
|
|
|
|
|
|
<td>§7.2</td>
|
|
|
|
|
|
<td>挖错循环:出题→闭环作答(关安全层)→GPU 验算→E1–E6 分类→邻域加权进
|
|
|
|
|
|
APG 池;E2 才少量请老师;门禁回滚</td>
|
|
|
|
|
|
<td>Avoid Everything/MπFormer 困难负样本挖掘;DRP 迭代师生微调 +45%(每
|
|
|
|
|
|
1 万步替换一次基模型,共 5 轮,10 h)【原文 §3.2、表 7】</td>
|
|
|
|
|
|
<td>有部分证据</td>
|
|
|
|
|
|
<td>① 门禁用的 held-out 2000 与 3 个基准同时是 §9 的验收集 →
|
|
|
|
|
|
选择偏差(I14);② 挖错样本过采样 → 灾难性遗忘(门禁"95%
|
|
|
|
|
|
修好的仍对"只防一部分)</td>
|
|
|
|
|
|
<td>门禁拆分:<strong>新造</strong>"门禁集"(2000)与"验收集"(2000 +
|
|
|
|
|
|
新造 near_column 扩展 1000 例),验收集只在最后用一次。遗忘门禁:A
|
|
|
|
|
|
类到达率每轮不降 > 0.5 个百分点</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>17</td>
|
|
|
|
|
|
<td>§7.3</td>
|
|
|
|
|
|
<td>拒绝采样自蒸馏:多样本闭环,只保留验算通过且最短的一条做 BC</td>
|
|
|
|
|
|
<td>ReST:Grow/Improve 循环,逐步提高过滤阈值【原文 §2】;RoboCat
|
|
|
|
|
|
式自我改进【未抓取】;ELMP 证据:加笛卡尔路径长度项后碰撞率由 8.9% 升到
|
|
|
|
|
|
10.9%【原文表 I】</td>
|
|
|
|
|
|
<td>有部分证据</td>
|
|
|
|
|
|
<td>选"最短" → 系统性贴着立柱走,余量变小 →
|
|
|
|
|
|
安全层刹停率上升;多样性塌缩(只剩一种绕法)</td>
|
|
|
|
|
|
<td>门禁:自蒸馏后 C 类最小间隙中位数不得低于自蒸馏前的
|
|
|
|
|
|
80%;刹停率不升。选择准则改为"通过 + 间隙 ≥ 阈值的样本中最短"</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>18</td>
|
|
|
|
|
|
<td>§8.2</td>
|
|
|
|
|
|
<td>模式粘滞:分数 = log p(k) −
|
|
|
|
|
|
c·[k≠k_prev];流头改为"噪声粘滞"(保留上周期噪声)</td>
|
|
|
|
|
|
<td>BID:Warmstart(沿用上一决策的噪声)"平均小幅提升,但 7 个任务里有 3
|
|
|
|
|
|
个变差";BID 后向一致性准则(与上一块的加权 L2)+ N=16 采样,相对提升
|
|
|
|
|
|
32%【原文 §5.2.1、图 6】;DP:独立逐步采样会在两种模式间来回跳【原文
|
|
|
|
|
|
§3】</td>
|
|
|
|
|
|
<td>有部分证据(噪声粘滞<strong>有反证</strong>:BID 中不稳健)</td>
|
|
|
|
|
|
<td>一步生成器下"同一噪声 → 同一模式"在状态变化后不保证成立;log p(k)
|
|
|
|
|
|
对流头无定义</td>
|
|
|
|
|
|
<td>门禁:E5(≥3 次切换)< 1% 任务,rt_drag_bench
|
|
|
|
|
|
摇摆计数。若噪声粘滞不过,改用 BID
|
|
|
|
|
|
式后向一致性打分(与上周期已提交块的重叠步加权 L2)作为排序项</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>19</td>
|
|
|
|
|
|
<td>§8.3</td>
|
|
|
|
|
|
<td>安全层:候选前 3 步按 1°+半格离散细验 + 可刹停不变式(第 3
|
|
|
|
|
|
步末按最大减速度刹停段也细验)</td>
|
|
|
|
|
|
<td>不变式本身:Thumm & Althoff 的 failsafe
|
|
|
|
|
|
盾——每步只在"意图段安全且其末端存在已验证的刹停轨迹"时执行,否则执行<strong>上一条已验证</strong>刹停轨迹【原文
|
|
|
|
|
|
§III、图 3】,有充分证据;离散检查:Schwarzer
|
|
|
|
|
|
等证明离散分辨率检查会漏检,提出"两端距离之和 >
|
|
|
|
|
|
各点轨迹长度上界"的充分条件,"never
|
|
|
|
|
|
fails"【原文式(1)】;LARC(胶囊+速度上界的连续认证):MoveIt/FCL
|
|
|
|
|
|
抽样审计在 21 条直接插值轨迹中发现碰撞;139 条"抽样无碰撞"的轨迹里有 27
|
|
|
|
|
|
条无法认证【原文摘要】;ELMP 评测用离散检查时余量取 30 mm【原文
|
|
|
|
|
|
§IV-A】</td>
|
|
|
|
|
|
<td>不变式:有充分证据;<strong>按现有离散实现"保证零碰撞":有反证</strong></td>
|
|
|
|
|
|
<td>杠杆实测:0.5° 间距下采样点间偏差上界 ≈ 24.3×0.25 ≈ 6 mm ≫ 0.3
|
|
|
|
|
|
mm;仓库报告 0.28/0.08 mm
|
|
|
|
|
|
残余侵入、"贴柱薄层整个夹在采样点间";刹停段"最大减速度"未定义;§8.1
|
|
|
|
|
|
交叉淡入使执行轨迹 ≠ 检查轨迹</td>
|
|
|
|
|
|
<td>门禁:①离线审计:10^5 个随机提交段(3 步+刹停),用 0.01° 细采样(或
|
|
|
|
|
|
Schwarzer 式距离认证)复核,漏检 = 0;②在 near_column
|
|
|
|
|
|
上统计"认证拒绝率"(认证判不安全而离散判安全的比例)。修正:静态障碍对(臂×立柱/台架)改用<strong>距离下界认证</strong>:d(q_a)+d(q_b)
|
|
|
|
|
|
> Σ_j r_j·</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>20</td>
|
|
|
|
|
|
<td>§8.3 耗时</td>
|
|
|
|
|
|
<td>预筛 + 逐个检查 + 首个通过即停,目标 < 5 ms;不达标放 Web
|
|
|
|
|
|
Worker</td>
|
|
|
|
|
|
<td>仓库:collideFree 2.9→1.8→1.25 ms/次(pair2d 后);每帧守卫约 1.2
|
|
|
|
|
|
ms【仓库】</td>
|
|
|
|
|
|
<td>仅推断</td>
|
|
|
|
|
|
<td>贴柱时预筛基本失效(正是难例所在);样本数被低估(每步 4–13°,3 步
|
|
|
|
|
|
13–39 个采样点 + 刹停段),见 I10</td>
|
|
|
|
|
|
<td>门禁:M7 在 near_column 30 例 × 全程逐周期计时,安全层 P99 < 5
|
|
|
|
|
|
ms;不过就做距离认证(一次距离查询覆盖整段,通常比 N
|
|
|
|
|
|
次布尔更省),或把提交步数降到 2</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>21</td>
|
|
|
|
|
|
<td>§8.5-4</td>
|
|
|
|
|
|
<td>卡死检测:0.3 s 价值不降或连续 2 周期刹停 → 强制换向并锁定 1 s</td>
|
|
|
|
|
|
<td>势场法局部极小的经典逃逸(随机游走/换向,Barraquand & Latombe
|
|
|
|
|
|
RPP)【未抓取】;MπNets 指出局部控制器(STORM、Geometric
|
|
|
|
|
|
Fabrics)在复杂几何中会卡在局部极小【原文 §5.1】</td>
|
|
|
|
|
|
<td>仅推断</td>
|
|
|
|
|
|
<td>① 两个方向都被挡 → 1 s 锁定后来回切换(活锁);②
|
|
|
|
|
|
流头没有离散"另一方向",依赖子目标头备选(#13);③ 1 s
|
|
|
|
|
|
锁定可能与目标拖拽冲突</td>
|
|
|
|
|
|
<td>门禁:构造"两侧都要绕很远"的 50 个对抗用例 + near_column,卡死后 3 s
|
|
|
|
|
|
内恢复进度的比例 ≥ 95%,活锁(换向 ≥ 3 次仍无进度)=
|
|
|
|
|
|
0。回退:卡死时允许跟随离线路网"锚点表"(<strong>注意</strong>:这等于部分老师,需用户同意)</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>22</td>
|
|
|
|
|
|
<td>§8.6</td>
|
|
|
|
|
|
<td>策略层 50 Hz、提交 3 步、伺服层另行插补;浏览器 rAF 60 Hz 也能稳定跑
|
|
|
|
|
|
50 Hz</td>
|
|
|
|
|
|
<td>π0:50 Hz 机器人每 0.5 s 推理一次(执行 25/50 步),时间集成"hurt
|
|
|
|
|
|
policy performance"故不用【原文 App D】;DP:10 Hz、预测 16 执行 8
|
|
|
|
|
|
最优,可承受 4 步延迟【原文 §5.3】;MπNets 9 Hz;ELMP 30 Hz【原文】</td>
|
|
|
|
|
|
<td>有部分证据</td>
|
|
|
|
|
|
<td>① <strong>每 20 ms 重推理只执行 1 步 = 动作时域 1</strong>,BID
|
|
|
|
|
|
证明这会破坏块内一致性、导致来回摆动【原文 §4.1】;② rAF 16.7 ms 帧与 20
|
|
|
|
|
|
ms 周期不整除 → 周期抖动(16.7/33.3 ms
|
|
|
|
|
|
交替),后台标签页定时器会被节流【推断】</td>
|
|
|
|
|
|
<td>门禁:A/B"每 1 步重推理"与"每 3 步重推理"(执行 3 步)在 E5
|
|
|
|
|
|
摇摆率、到达率、拖拽跟随误差上的对比。若后者不差,就默认每 3
|
|
|
|
|
|
步重推理(顺带把推理预算放宽到 60 ms)。周期抖动:用 Worker +
|
|
|
|
|
|
自有时钟按实际 dt 插值,测 P99 周期误差 < 2 ms</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>23</td>
|
|
|
|
|
|
<td>§8.1-6</td>
|
|
|
|
|
|
<td>到达判据 TCP < 1 mm(pose < 0.5°),近目标做 1–3
|
|
|
|
|
|
次局部牛顿</td>
|
|
|
|
|
|
<td>ELMP-APG 也只有 89.0% 在 1 cm 内、72.6% 在 5° 内【原文表 I】;MπNets
|
|
|
|
|
|
98.94% 在 1 cm 内【原文表 3】</td>
|
|
|
|
|
|
<td>有部分证据(必须依赖牛顿精修)</td>
|
|
|
|
|
|
<td>精修段本身要过安全层(文中没写);牛顿步可能跨分支</td>
|
|
|
|
|
|
<td>门禁:held-out 中精修前误差 < 5 mm 的比例 ≥ 99%;精修后 < 1 mm
|
|
|
|
|
|
的比例 ≥ 99.5%;精修段 100% 经过安全层</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>24</td>
|
|
|
|
|
|
<td>§0/§8.1/§9.2</td>
|
|
|
|
|
|
<td>每周期推理 2–5 ms、推理+安全 < 10 ms(P99 < 15 ms),浏览器
|
|
|
|
|
|
onnxruntime-web,WebGPU 优先</td>
|
|
|
|
|
|
<td>WebGPU 每次 dispatch 的开销:Chrome 33–67
|
|
|
|
|
|
μs(连续);带同步的单次操作 2–3 ms(Chrome)【原文 2604.02344 表
|
|
|
|
|
|
6】;社区多例小模型 WebGPU 比 wasm 慢【未抓取,检索摘要】</td>
|
|
|
|
|
|
<td>仅推断(且偏乐观)</td>
|
|
|
|
|
|
<td>8 层 Transformer 约 150–300 次 dispatch → 仅调度开销就有 5–20
|
|
|
|
|
|
ms,外加每周期一次 GPU→CPU 回读;wasm 下 8 候选 × 前瞻 = 约 0.6–1.3
|
|
|
|
|
|
GFLOP/周期</td>
|
|
|
|
|
|
<td>门禁:M4 后<strong>立即</strong>导出 ONNX,在目标浏览器测
|
|
|
|
|
|
batch=8(含前瞻 batch=16)延迟 P99。若 > 5 ms,就用 wasm-SIMD
|
|
|
|
|
|
多线程或 fp32 小算子融合;仍不行就缩小解码 token(B 样条 6 个控制点而非
|
|
|
|
|
|
16 步)、去掉前瞻,或改为每 3 步推理一次</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>25</td>
|
|
|
|
|
|
<td>§9</td>
|
|
|
|
|
|
<td>验收:碰撞帧 0;route 60/60、near pos/rt 30/30、held-out ≥ 98%;用时
|
|
|
|
|
|
≤ 老师×1.3;行程 ≤ 现有×1.10;刹停 < 2%;摇摆 < 1%;关安全层碰撞
|
|
|
|
|
|
< 3%</td>
|
|
|
|
|
|
<td>ELMP-APG 关安全层碰撞 8.9%、DRP
|
|
|
|
|
|
10.16%(环境不同)【原文】;ELMP:APG 使末端路径长度由 0.69 m 增至 0.85
|
|
|
|
|
|
m(+23%)【原文表 I】</td>
|
|
|
|
|
|
<td>有部分证据 / 部分指标<strong>不可达</strong></td>
|
|
|
|
|
|
<td>① held-out 含 10% 不可达(D 类),"到达 ≥ 98%"按定义不可能(I13);②
|
|
|
|
|
|
30/30 统计力弱(上界 9.5%);③ "碰撞帧
|
|
|
|
|
|
0"由离散检查测量,测不到采样点之间的穿模;④ APG 有拉长路径的先例,与
|
|
|
|
|
|
≤1.10× 行程冲突</td>
|
|
|
|
|
|
<td>改:到达率分母只算可达任务,D 类单独考核"停靠距离 ≤ 老师 + 5
|
|
|
|
|
|
mm";near_column 另造 ≥ 1000 例的验收扩展集(0 失败 ⇒ 失败率上界约
|
|
|
|
|
|
0.3%);碰撞审计用 0.01° 或距离认证;行程门禁按类别分别报告</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</tbody>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="2-逐项详述">2. 逐项详述</h3>
|
|
|
|
|
|
<h4 id="21-4-老师离线造数据13">2.1 §4 老师离线造数据(#1–#3)</h4>
|
|
|
|
|
|
<p><strong>(a)</strong> §4.1–4.4:<code>solveDyn</code>(松手口径)为 5
|
|
|
|
|
|
万条采样任务(A 均匀 45%/B 直线被挡 30%/C 贴柱 15%/D 不可达
|
|
|
|
|
|
10%)生成折线,细验过滤后入库。</p>
|
|
|
|
|
|
<p><strong>(b) 证据</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>MπNets【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2210.12209">https://arxiv.org/abs/2210.12209</a>
|
|
|
|
|
|
§4、表 1、表 3、§5.2】:3.27M 问题 / 575k
|
|
|
|
|
|
环境。关键发现是<strong>老师一致性</strong>:用全局规划器(IK + AIT* +
|
|
|
|
|
|
样条平滑)当老师训出的 MπNets-G,在两种老师都能解的问题上环境碰撞率
|
|
|
|
|
|
<strong>13.78%</strong>;用一致性强的混合老师(Hybrid Expert)只有
|
|
|
|
|
|
<strong>0.94%</strong>(表 3)。作者明确把差异归因于"consistency of the
|
|
|
|
|
|
expert"。</li>
|
|
|
|
|
|
<li>DRP【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2509.06953">https://arxiv.org/abs/2509.06953</a>
|
|
|
|
|
|
§3.1】:cuRobo 生成 10M 条;预训练的 IMPACT "often incurs minor
|
|
|
|
|
|
collisions"。</li>
|
|
|
|
|
|
<li>ELMP【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2607.00215">https://arxiv.org/abs/2607.00215</a>
|
|
|
|
|
|
表 I、图 6】:1 万条老师 + APG 胜过 60 万条纯 BC;200k APG 问题采样 4.5
|
|
|
|
|
|
CPU 小时,同量老师轨迹 >1194 CPU 小时。</li>
|
|
|
|
|
|
<li>本仓库【仓库
|
|
|
|
|
|
<code>docs/路径规划优化报告.md</code>】:<code>solveDyn</code> 的核心是
|
|
|
|
|
|
Lazy RRT-Connect + 50 次随机捷径 + 逐轴拉直,定种子 LCG,平均规划
|
|
|
|
|
|
662–837 ms。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>(c) 判定</strong>:有部分证据。数据量(5 万)在"固定环境 +
|
|
|
|
|
|
后续 APG"的前提下合理(ELMP 先例);但老师属于"全局采样规划器"类型,正是
|
|
|
|
|
|
MπNets 中一致性差、导致策略碰撞多的那类。</p>
|
|
|
|
|
|
<p><strong>(d)
|
|
|
|
|
|
残余风险</strong>:同一类任务里老师有时左绕、有时右绕(随机捷径的结果),会给多峰头制造"人为多峰",WTA/流头都会把容量浪费在拟合老师的随机性上。D
|
|
|
|
|
|
类"最近安全位形"在目标连续变化时不连续。§4.6 的 0.7 s/条对 C/D
|
|
|
|
|
|
类(难例、失败时搜到超时)偏乐观。</p>
|
|
|
|
|
|
<p><strong>(e) 缓解与门禁</strong>:老师一致性门禁(见总表
|
|
|
|
|
|
#1)。可选的更一致老师:离线 PRM 路网(15103 条边、单一连通分量)+ A*
|
|
|
|
|
|
最短路 + 确定性平滑。确定、可复现,且已在仓库里。按类别计时:先跑 1000
|
|
|
|
|
|
条(M1),C/D 类 P90 规划时间 > 3 s 时重估 §4.6。</p>
|
|
|
|
|
|
<h4 id="22-45-时间参数化与切片46本节问题最大">2.2 §4.5
|
|
|
|
|
|
时间参数化与切片(#4–#6)——本节问题最大</h4>
|
|
|
|
|
|
<p><strong>(a)</strong> 按 <code>animTo</code> 的 VREL
|
|
|
|
|
|
轴速比做时间参数化(dt=20 ms),每 3 步取一个"(q_t, 目标) → 未来 16 步
|
|
|
|
|
|
Δq"样本;声称后缀"等于免费的 DAgger 种子"。</p>
|
|
|
|
|
|
<p><strong>(b) 证据</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>本仓库实现【仓库 <code>webapp/js/ik-glue.js</code>
|
|
|
|
|
|
L376–L401】:各段时长 ∝ 该段"最慢轴所需时间"(<code>|Δq_j|/VREL_j</code>
|
|
|
|
|
|
的最大值);<strong>整条折线做一次全局
|
|
|
|
|
|
smoothstep</strong>(<code>u*u*(3-2u)</code>);总时长 =
|
|
|
|
|
|
<code>ms·sum/150</code>,夹在 <code>[0.6ms, 3.5ms]</code>(ms=620 →
|
|
|
|
|
|
372–2170 ms)。按此推算主导轴的每步位移:平均
|
|
|
|
|
|
2.9°(J1/J2)~8.7°(J6),峰值(smoothstep 导数 1.5
|
|
|
|
|
|
倍)4.4°~13.1°/步;长路径被夹到 2170 ms 时还会更快。</li>
|
|
|
|
|
|
<li>MπNets【原文 §4.2 附近】:"we fit a spline to the path and retime it
|
|
|
|
|
|
to have steady velocity",即特意匀速化。</li>
|
|
|
|
|
|
<li>Diffusion Policy【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2303.04137">https://arxiv.org/abs/2303.04137</a>
|
|
|
|
|
|
§3 "Robustness to idle actions"】:"single-step policies can easily
|
|
|
|
|
|
overfit to this pausing behavior… BC-RNN and IBC often get stuck"。</li>
|
|
|
|
|
|
<li>MπNets【原文 §3.4】:"trained for single-step prediction… compounded
|
|
|
|
|
|
noise… equates covariate shift",用关节角高斯噪声增广。</li>
|
|
|
|
|
|
<li>DART【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/1703.09327">https://arxiv.org/abs/1703.09327</a>
|
|
|
|
|
|
摘要】:向老师注噪造数据,平均比 BC 提升 62%。</li>
|
|
|
|
|
|
<li>DAgger(Ross, Gordon, Bagnell, AISTATS 2011)【未抓取,背景】:BC
|
|
|
|
|
|
误差随时域 O(εT²) 累积,需要在学生自己访问的状态分布上取标签。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>(c) 判定</strong>:切片做法本身有充分证据(DRP、DP
|
|
|
|
|
|
都这样做);<strong>沿用 <code>animTo</code>
|
|
|
|
|
|
的时间律有反证</strong>;"免费
|
|
|
|
|
|
DAgger"的说法<strong>有反证</strong>(概念错误)。</p>
|
|
|
|
|
|
<p><strong>(d) 残余风险</strong></p>
|
|
|
|
|
|
<ol type="1">
|
|
|
|
|
|
<li><strong>非马尔可夫标签</strong>:smoothstep 是对整条路径的进度 u
|
|
|
|
|
|
做的,同一 (q, 目标)
|
|
|
|
|
|
在短路径与长路径里的标签速度不同,在路径前段与后段也不同,而输入里没有速度、进度或路径长度。模型只能学到条件平均。</li>
|
|
|
|
|
|
<li><strong>起步停滞</strong>:u≈0 时 Δq_{t+1}≈0。闭环每 20 ms 只执行第
|
|
|
|
|
|
1 步,下一周期状态几乎不变,标签又是"几乎不动",可能形成不动点。</li>
|
|
|
|
|
|
<li>每步位移远大于安全层预算假设(I10)。</li>
|
|
|
|
|
|
<li>后缀样本仍是老师分布,对偏离状态没有监督;§7 的
|
|
|
|
|
|
APG/挖错能补一部分,但 APG
|
|
|
|
|
|
要从预训练模型出发,预训练崩了(如起步停滞)会拖累后训练。</li>
|
|
|
|
|
|
</ol>
|
|
|
|
|
|
<p><strong>(e) 缓解与门禁</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>时间律改为局部可观测的:匀速(按 VREL 归一化的恒定巡航速度)+
|
|
|
|
|
|
只在终点前按剩余路程梯形减速、起点按已行路程加速;或把
|
|
|
|
|
|
q_t−q_{t−1}(以及前缀块,若用 RTC)加入输入。</li>
|
|
|
|
|
|
<li>噪声增广:输入关节加 σ=0.5–1°
|
|
|
|
|
|
噪声,由老师离线从扰动状态重规划一段作为标签(DART
|
|
|
|
|
|
式;老师只在离线,符合约束)。</li>
|
|
|
|
|
|
<li>门禁:标签一致性测试 + 起步失败率 = 0(总表
|
|
|
|
|
|
#4);闭环/开环差距(#6)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="23-5-输入输出表示78">2.3 §5 输入/输出表示(#7–#8)</h4>
|
|
|
|
|
|
<p><strong>(a)</strong> 输入:关节 sin/cos + 限位轴归一化、TCP 位置与 6D
|
|
|
|
|
|
姿态、目标位置/6D 姿态/差值、模式 one-hot、k_prev、8
|
|
|
|
|
|
个胶囊对最小距离;输出 16×6 Δq,按每轴最大步长归一化,连续轴
|
|
|
|
|
|
unwrap。</p>
|
|
|
|
|
|
<p><strong>(b) 证据</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>Zhou 等《On the Continuity of Rotation Representations》【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/1812.07035">https://arxiv.org/abs/1812.07035</a>
|
|
|
|
|
|
§1】:3D 旋转在 ≤4 维下都不连续;不连续表示的平均误差最高达连续 6D
|
|
|
|
|
|
表示的 6–14 倍。</li>
|
|
|
|
|
|
<li>MπNets【原文 §3.1】:关节归一化到 [−1,1],输出归一化空间里的位移并
|
|
|
|
|
|
clamp。</li>
|
|
|
|
|
|
<li>ELMP【原文 §IV "Architecture"】:目标 12 维 = 位置 +
|
|
|
|
|
|
展平旋转矩阵;关节 7 维直接进 MLP。</li>
|
|
|
|
|
|
<li>DRP【原文 §3.1】:以<strong>目标关节角</strong>为条件,避开 IK
|
|
|
|
|
|
多解。</li>
|
|
|
|
|
|
<li>胶囊距离作输入:无直接先例。C-space 距离场(CDF)作特征的讨论见
|
|
|
|
|
|
<code>finetune_alternatives.md</code>【其他报告】。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>(c) 判定</strong>:6D、sin/cos、Δq
|
|
|
|
|
|
块均有充分证据;胶囊距离特征仅推断;"以位姿为目标让模型连 IK
|
|
|
|
|
|
一起学"有部分证据(ELMP 这样做,但 ELMP 的 1 cm 内到达率只有 89%)。</p>
|
|
|
|
|
|
<p><strong>(d) 残余风险</strong>:位姿目标 → 多个 IK
|
|
|
|
|
|
分支(肘上/肘下、腕翻转)带来比"左/右绕"更多的模式,K=4 的 WTA
|
|
|
|
|
|
可能不够;k_prev 对流头无意义;缺子目标/前缀/速度输入;min
|
|
|
|
|
|
距离特征在最近对子切换处不可导。</p>
|
|
|
|
|
|
<p><strong>(e) 门禁</strong>:见总表 #7、#8。</p>
|
|
|
|
|
|
<h4 id="24-61-结构9">2.4 §6.1 结构(#9)</h4>
|
|
|
|
|
|
<p><strong>(a)</strong> 条件 MLP → 8 个条件 token(d=192)→ 4
|
|
|
|
|
|
层编码器;K×16 个可学习动作 token → 4
|
|
|
|
|
|
层非自回归解码器;另有动作、模式、价值、子目标四个头。</p>
|
|
|
|
|
|
<p><strong>(b) 证据</strong>:IMPACT【原文 DRP App G 表 7】:编码 6
|
|
|
|
|
|
层/解码 6 层、隐层 128、FFN 1024、8 头、sin-cos 位置编码、动作块
|
|
|
|
|
|
10;场景点云 128 token + 机器人点云 16 token;4.67M 参数(含 PointNet++
|
|
|
|
|
|
SA);300 Hz@4090、冷启动 3.48 ms。</p>
|
|
|
|
|
|
<p><strong>(c) 判定</strong>:结构有充分证据;去掉点云后条件只剩约 60
|
|
|
|
|
|
维,用 8 个 token 表示属于设计选择(仅推断),属低风险。</p>
|
|
|
|
|
|
<p><strong>(d) 残余风险</strong>:参数实算 ≈
|
|
|
|
|
|
4.13M(<code>4·(4d²+2·d·FFN)</code> +
|
|
|
|
|
|
<code>4·(8d²+2·d·FFN)</code>),fp16 约 8.3 MB(文中写约 7
|
|
|
|
|
|
MB),影响不大;浏览器推理延迟是真风险(#24)。</p>
|
|
|
|
|
|
<p><strong>(e) 门禁</strong>:总表 #9、#24。</p>
|
|
|
|
|
|
<h4 id="25-62-损失10">2.5 §6.2 损失(#10)</h4>
|
|
|
|
|
|
<p><strong>(b)</strong> ELMP【原文 §III-B】:L_BC =
|
|
|
|
|
|
λ_action·‖Δq_pred−Δq_gt‖ + λ_fk·Σ_i‖FK_i(q_pred)−FK_i(q_gt)‖(i
|
|
|
|
|
|
为碰撞球中心),与我们的"胶囊端点 FK 损失"同构;ELMP 未单独报告 FK
|
|
|
|
|
|
项的消融数字。MπNets【原文 §3.3】也用任务空间几何损失。</p>
|
|
|
|
|
|
<p><strong>(c)</strong> 有部分证据。</p>
|
|
|
|
|
|
<p><strong>(d)</strong> 损失只对 WTA
|
|
|
|
|
|
头写明;默认的流匹配头需要另定(例如在一步生成的 x̂ 上加 FK 项,见
|
|
|
|
|
|
<code>onestep.md</code>),否则 §6.2 对默认配置无效(I8)。剩余时间 L1
|
|
|
|
|
|
与价值头重复定义。</p>
|
|
|
|
|
|
<h4 id="26-63-训练配置与耗时11">2.6 §6.3 训练配置与耗时(#11)</h4>
|
|
|
|
|
|
<p><strong>(a)</strong> bs 1024、20 万步、bf16,3090 约 1.5–3 h。</p>
|
|
|
|
|
|
<p><strong>(b)</strong> DRP【原文表 7】:bs 512 × 100 万步 = 5.12
|
|
|
|
|
|
亿样本次,4090 上 3 天 ≈ 1975 样本/s(瓶颈主要是点云)。本方案:20 万 ×
|
|
|
|
|
|
1024 = <strong>2.05 亿样本次(DRP 的 40%,不是 1/5)</strong>。FLOP
|
|
|
|
|
|
估算【推断,见 <code>lever.cjs</code> 同目录脚本的计算】:WTA 头(64
|
|
|
|
|
|
个解码 token)训练约 0.99 GFLOP/样本 → 合计 2.0e17 FLOP;3090 bf16
|
|
|
|
|
|
稠密峰值约 71 TFLOPS,小模型实际 10–35 TFLOPS → <strong>1.6–5.6
|
|
|
|
|
|
h</strong>。流头(16 个 token)约 0.31 GFLOP/样本 → 0.5–1.8 h,但
|
|
|
|
|
|
MeanFlow 的 JVP、OFP 的自蒸馏额外前向会乘 1.5–3 倍。</p>
|
|
|
|
|
|
<p><strong>(c)</strong> 仅推断:1.5–3 h 落在估算区间的乐观一侧。</p>
|
|
|
|
|
|
<p><strong>(d)</strong> epoch 数自相矛盾(I1);每 epoch 1000
|
|
|
|
|
|
任务闭环验证也要计入。APG 显存【推断】:每个展开周期每样本激活约 4
|
|
|
|
|
|
MB,H=60 时约 0.27 GB/样本,150 周期时约 0.66 GB/样本 → 24 GB 卡 batch
|
|
|
|
|
|
只有约 30–80,需要激活检查点。ELMP 在 6×3090 上 APG 的 batch 只有
|
|
|
|
|
|
48,H=69【原文 §IV-A】。</p>
|
|
|
|
|
|
<p><strong>(e)</strong> 门禁:吞吐实测后重算(总表 #11);APG 先跑
|
|
|
|
|
|
H=60、bs 32 的显存测试。</p>
|
|
|
|
|
|
<h4 id="27-6185-子目标头价值头短前瞻1315">2.7 §6.1/§8.5
|
|
|
|
|
|
子目标头、价值头、短前瞻(#13–#15)</h4>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>子目标头:AWE【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2307.14326">https://arxiv.org/abs/2307.14326</a>
|
|
|
|
|
|
§1/§3】把"预测下一动作"变为"预测下一航点",用 DP
|
|
|
|
|
|
在误差预算内选最少航点,最多 +25%
|
|
|
|
|
|
成功率。直接支持"以途经点为锚",而且给出了比"老师拐点"更稳定的标签提取方法。</li>
|
|
|
|
|
|
<li>价值头:SHAC【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2204.07137">https://arxiv.org/abs/2204.07137</a>
|
|
|
|
|
|
§1、§4】用学到的 critic 截断可微仿真展开(h=32 对
|
|
|
|
|
|
H=1000),兼治局部极小与梯度爆炸。本方案的"APG
|
|
|
|
|
|
展开时有真实值"只在展开内到达时成立,其余必须 TD 自举,文中缺失。</li>
|
|
|
|
|
|
<li>短前瞻:BID【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2408.17355">https://arxiv.org/abs/2408.17355</a>
|
|
|
|
|
|
§4、表 2】:每步采 16 个样本按后向一致性 + 前向对比选择,推理时间 13.2
|
|
|
|
|
|
ms → 25.9 ms(A5000),相对提升 32%。说明"多采样 + 打分"有效,但代价约 2
|
|
|
|
|
|
倍。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p>判定:子目标头、价值头有部分证据;短前瞻有部分证据。风险与门禁见总表
|
|
|
|
|
|
#13–#15。</p>
|
|
|
|
|
|
<h4 id="28-72-挖错循环与门禁16">2.8 §7.2 挖错循环与门禁(#16)</h4>
|
|
|
|
|
|
<p><strong>(b)</strong> DRP 迭代师生微调【原文 §3.2】:每 1
|
|
|
|
|
|
万梯度步后学生替换基模型,共 5 轮,4090 上 10 h,成功率比预训练
|
|
|
|
|
|
<strong>+45%</strong>(表 6)。Avoid Everything/MπFormer
|
|
|
|
|
|
的困难负样本挖掘(DRP 文中引述)。</p>
|
|
|
|
|
|
<p><strong>(c)</strong> 有部分证据:DRP 的循环用局部控制器(Geometric
|
|
|
|
|
|
Fabrics)当"老师",本方案改用 APG 代价,这一替换由 ELMP
|
|
|
|
|
|
支持;"错题邻域加权进 APG 池"本身无直接先例(仅推断)。</p>
|
|
|
|
|
|
<p><strong>(d)</strong> 门禁集与验收集重叠(I14);E2
|
|
|
|
|
|
的老师补数据把"无老师"变成"少量离线老师"(文中已说明,合规)。</p>
|
|
|
|
|
|
<h4 id="29-73-拒绝采样自蒸馏17">2.9 §7.3 拒绝采样自蒸馏(#17)</h4>
|
|
|
|
|
|
<p><strong>(b)</strong> ReST【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2308.08998">https://arxiv.org/abs/2308.08998</a>
|
|
|
|
|
|
§2】:Grow(策略生成多样本)/
|
|
|
|
|
|
Improve(按分数过滤后微调,阈值逐步提高);作者也提到基于奖励的方法有
|
|
|
|
|
|
reward hacking 风险。ELMP【原文表
|
|
|
|
|
|
I】:加入笛卡尔路径长度惩罚后,碰撞率从 8.9% 升到 10.9%。这是"偏好短路径
|
|
|
|
|
|
→ 更贴障碍"的直接证据。</p>
|
|
|
|
|
|
<p><strong>(c)</strong> 有部分证据。门禁见总表 #17。</p>
|
|
|
|
|
|
<h4 id="210-82-模式粘滞18">2.10 §8.2 模式粘滞(#18)</h4>
|
|
|
|
|
|
<p><strong>(b)</strong> DP【原文
|
|
|
|
|
|
§3】:逐步独立采样会在左右两种策略间来回跳。BID【原文
|
|
|
|
|
|
§5.2.1】:Warmstart(从上一决策热启动噪声,即本方案的"噪声粘滞")"mild
|
|
|
|
|
|
gains on average, but degrades performance on 3 out of 7
|
|
|
|
|
|
tasks";EMA/时间集成在 2
|
|
|
|
|
|
个任务上变差,原因是相邻块属于不同潜在策略,平均后"may not yield a
|
|
|
|
|
|
plausible strategy";BID 后向一致性 + 前向对比在全部任务上提升,相对
|
|
|
|
|
|
+32%。</p>
|
|
|
|
|
|
<p><strong>(c)</strong>
|
|
|
|
|
|
切换代价/一致性选择有部分证据;<strong>单靠噪声粘滞有反证</strong>(BID
|
|
|
|
|
|
中不稳健)。</p>
|
|
|
|
|
|
<p><strong>(e)</strong> 改为 BID
|
|
|
|
|
|
式后向一致性打分(与上周期已提交块重叠步的加权 L2)+ 安全层,门禁见总表
|
|
|
|
|
|
#18。</p>
|
|
|
|
|
|
<h4 id="211-83-安全层与可刹停不变式1920重点核查是否真的保证不撞">2.11
|
|
|
|
|
|
§8.3 安全层与可刹停不变式(#19–#20)——重点核查"是否真的保证不撞"</h4>
|
|
|
|
|
|
<p><strong>(a)</strong> 候选前 3 步 1° 细验 + 半格复验 + 关节限位;从第
|
|
|
|
|
|
3
|
|
|
|
|
|
步末按"最大减速度"停下的刹停段也要细验;全部不过就沿已验证刹停轨迹停下。</p>
|
|
|
|
|
|
<p><strong>(b) 证据</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>不变式</strong>:Thumm & Althoff, ICRA 2022【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2205.06311">https://arxiv.org/abs/2205.06311</a>
|
|
|
|
|
|
§III、图 3】:"During the execution of a trajectory between t_k and
|
|
|
|
|
|
t_{k+1}, we calculate a failsafe trajectory starting from t_{k+2}. If
|
|
|
|
|
|
this failsafe trajectory cannot be verified as safe, we execute the
|
|
|
|
|
|
previously verified failsafe trajectory starting from t_{k+1}."
|
|
|
|
|
|
与本方案同构。但他们的验证用的是<strong>连续时间可达集过近似</strong>(胶囊包络),不是离散采样。</li>
|
|
|
|
|
|
<li><strong>离散检查会漏</strong>:Schwarzer, Saha, Latombe, IEEE T-RO
|
|
|
|
|
|
2005【原文 <a
|
|
|
|
|
|
href="http://ai.stanford.edu/~mitul/papers/SSLtro05.pdf">http://ai.stanford.edu/~mitul/papers/SSLtro05.pdf</a>
|
|
|
|
|
|
式(1)】:若两端位形下的距离之和 d(q_a)+d(q_b)
|
|
|
|
|
|
大于各点所走曲线长度的上界(≤ Σ_j
|
|
|
|
|
|
r_j|Δθ_j|),整段无碰撞;固定分辨率法会漏检,自适应法 "never fails to
|
|
|
|
|
|
detect collision"。</li>
|
|
|
|
|
|
<li>LARC 2026【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2608.29767">https://arxiv.org/abs/2608.29767</a>
|
|
|
|
|
|
摘要】:胶囊 + 分量速度上界做连续认证,160 条 PIPER
|
|
|
|
|
|
轨迹上与固定细分辨率决策一致,工作量仅 24.8%;但 139
|
|
|
|
|
|
条"抽样无碰撞"的轨迹中 27
|
|
|
|
|
|
条无法认证。认证天然保守,会拒掉一些贴边路径。</li>
|
|
|
|
|
|
<li>ELMP 评测【原文 §IV-A】:离散检查(插值 3 倍,约 150
|
|
|
|
|
|
个位形)时安全余量取 <strong>30 mm</strong>。</li>
|
|
|
|
|
|
<li>本仓库【仓库】:<code>collide.json</code> 的
|
|
|
|
|
|
<code>margin_mm = 0.3</code>;<code>ik-solver.js</code> L2777
|
|
|
|
|
|
注释原话:"贴立柱时薄薄一层干涉能整个夹在两个采样点之间(贴立柱测试
|
|
|
|
|
|
ci0:119.5° 的长边在 0.76 处 1°
|
|
|
|
|
|
复验撞)";<code>路径规划优化报告.md</code>:1° 细验后仍有 2
|
|
|
|
|
|
条路径最大侵入 0.28/0.08 mm。</li>
|
|
|
|
|
|
<li><strong>本次实测杠杆</strong>【仓库,<code>src_v/lever.cjs</code>,19219
|
|
|
|
|
|
个无干涉随机位形】:TCP 每度最大位移 J1 9.02 / J2 6.93 / J3 4.17 / J4
|
|
|
|
|
|
4.17 / J5 2.25 / J6 ≈0 mm;六轴同时 1°(L∞)的上界最大 24.3 mm,中位
|
|
|
|
|
|
19.4 mm。工具法兰胶囊可能比 TCP 更远,上界只会更大。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>(c)
|
|
|
|
|
|
判定</strong>:不变式的逻辑结构有充分证据;"按现有离散实现保证零碰撞"<strong>有反证</strong>。</p>
|
|
|
|
|
|
<p><strong>(d) 残余风险(逐条)</strong></p>
|
|
|
|
|
|
<ol type="1">
|
|
|
|
|
|
<li>采样间隙:采样间距 δ(L∞)时,两采样之间任意点距最近采样位形的位移 ≤
|
|
|
|
|
|
L·δ/2。δ=0.5°(1°+半格)时约 6 mm,δ=0.75°(现有 pathFine 等效)时约 9
|
|
|
|
|
|
mm,δ=1° 时约 12 mm,都 ≫ 0.3
|
|
|
|
|
|
mm。立柱是实心大体,漏检的是"擦边几毫米"而不是"整个穿过",但"碰撞帧 =
|
|
|
|
|
|
0"的承诺不成立。</li>
|
|
|
|
|
|
<li>"最大减速度"在全文没有数值(§0 说插补器负责,<code>animTo</code>
|
|
|
|
|
|
只有 smoothstep,没有加速度上限),刹停段长度无从计算(I12)。</li>
|
|
|
|
|
|
<li>§8.1
|
|
|
|
|
|
的交叉淡入:执行轨迹是新旧两块的混合,不等于任一被检查过的块(I4)。</li>
|
|
|
|
|
|
<li>局部牛顿精修段(§8.1-6)没写要过安全层。</li>
|
|
|
|
|
|
<li>验收里的"碰撞帧"本身也用离散口径测,测不到问题。</li>
|
|
|
|
|
|
</ol>
|
|
|
|
|
|
<p><strong>(e) 修正与门禁</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>静态障碍对(臂×立柱、臂×台架)改用 Schwarzer/LARC
|
|
|
|
|
|
式距离下界认证:每段先算两端胶囊距离,满足 d_a + d_b > Σ_j
|
|
|
|
|
|
r_j|Δθ_j|(r_j
|
|
|
|
|
|
取各连杆到各关节轴的最大距离,可离线算好)即放行,否则二分。自碰撞对复用已有
|
|
|
|
|
|
pair2d 杠杆界。</li>
|
|
|
|
|
|
<li>删掉插补层交叉淡入(或让安全层检查淡入后的实际轨迹)。</li>
|
|
|
|
|
|
<li>定义刹停:按每轴加速度上限 a_max
|
|
|
|
|
|
做梯形减速,写进配置并在训练数据时间律中使用同一 a_max。</li>
|
|
|
|
|
|
<li>门禁:10^5 个随机"3 步 + 刹停"段做 0.01° 超细采样审计,漏检 =
|
|
|
|
|
|
0;near_column 上"认证拒绝率"< 5%,否则把训练余量(§7.1 的 margin+5
|
|
|
|
|
|
mm)提高到 ≥ 采样偏差上界,让策略本身留出足够间隙。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="212-85-卡死检测与强制换向21">2.12 §8.5
|
|
|
|
|
|
卡死检测与强制换向(#21)</h4>
|
|
|
|
|
|
<p><strong>(b)</strong> MπNets【原文 §5.1】:STORM 与 Geometric Fabrics
|
|
|
|
|
|
等局部方法在复杂几何中会卡在局部极小,"struggle to retract from a drawer
|
|
|
|
|
|
and then reach into another drawer… without intermediate
|
|
|
|
|
|
waypoints"。经典逃逸方法(随机游走/换向)【未抓取】。没有找到"神经闭环策略
|
|
|
|
|
|
+ 规则换向"的直接先例。</p>
|
|
|
|
|
|
<p><strong>(c)</strong> 仅推断。风险与门禁见总表 #21。</p>
|
|
|
|
|
|
<h4 id="213-86-控制周期22">2.13 §8.6 控制周期(#22)</h4>
|
|
|
|
|
|
<p><strong>(b)</strong> π0【原文 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2410.24164">https://arxiv.org/abs/2410.24164</a>
|
|
|
|
|
|
App D】:"We tried temporal ensembling early on and found that it hurt
|
|
|
|
|
|
policy performance… 50Hz… inference every 0.5 seconds (after executing
|
|
|
|
|
|
25 actions)"。DP【原文 §5.3】:预测 16 步、执行 8 步最优,可承受 4
|
|
|
|
|
|
步延迟。BID【原文 §4.1】:每步重采样、只执行第 1 个动作 "destroys the
|
|
|
|
|
|
consistency preserved within each chunk, potentially leading to
|
|
|
|
|
|
oscillations"。</p>
|
|
|
|
|
|
<p><strong>(c)</strong> 50 Hz 策略层有部分证据;"每 20 ms 重推理、只走 1
|
|
|
|
|
|
步"与主流(π0 执行 25/50、DP 执行 8/16)相反,属于动作时域 h=1
|
|
|
|
|
|
的极端,有反证风险。§8.6 表中工业接口周期(Franka 1 kHz、UR e 系列 500
|
|
|
|
|
|
Hz 等)属常识,本次未逐一抓取原始手册(【未抓取】)。</p>
|
|
|
|
|
|
<p><strong>(e)</strong> 门禁见总表 #22。</p>
|
|
|
|
|
|
<h4 id="214-9-验收指标25">2.14 §9 验收指标(#25)</h4>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>held-out 含 D 类 10% 不可达任务 → "到达 ≥
|
|
|
|
|
|
98%"按定义不可达(I13)。</li>
|
|
|
|
|
|
<li>30/30 的 95% 单侧失败率上界 ≈ 9.5%;要把上界压到 1%,需要约 300 例 0
|
|
|
|
|
|
失败;压到 0.3% 需要约 1000 例。</li>
|
|
|
|
|
|
<li>ELMP 表 I:APG 后末端路径长度 0.69 → 0.85 m(+23%),关节路径 4.09 →
|
|
|
|
|
|
3.90
|
|
|
|
|
|
rad(−5%)。关节行程门禁(≤1.10×)在关节空间可能过得了,但需按类别报告。</li>
|
|
|
|
|
|
<li>关安全层碰撞 < 3%:ELMP/DRP 的 8.9%/10.2%
|
|
|
|
|
|
是在未知、多变环境;固定环境下更低是合理推断,但没有直接证据。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="3-文档内部不一致清单">3. 文档内部不一致清单</h3>
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr class="header">
|
|
|
|
|
|
<th>编号</th>
|
|
|
|
|
|
<th>位置</th>
|
|
|
|
|
|
<th>不一致</th>
|
|
|
|
|
|
<th>建议</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tbody>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>I1</td>
|
|
|
|
|
|
<td>§6.3</td>
|
|
|
|
|
|
<td>20 万步 × bs 1024 = 2.05 亿样本次 = 300 万样本的约 <strong>68
|
|
|
|
|
|
epoch</strong>,不是 30;30 epoch 只需约 8.8 万步</td>
|
|
|
|
|
|
<td>二选一并重算耗时</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>I2</td>
|
|
|
|
|
|
<td>§4.5-3 / §4.6</td>
|
|
|
|
|
|
<td>"每条路径 50–150 个样本":route_bench 平均执行 2.46–2.60 s ≈ 130
|
|
|
|
|
|
步,每 3 步取 1 个 ≈ 43 个;A 类更短 → 总样本更可能约 200 万而非 300
|
|
|
|
|
|
万</td>
|
|
|
|
|
|
<td>以 M1 的 stats.json 为准</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>I3</td>
|
|
|
|
|
|
<td>§7.1 vs §8.1 vs §8.5</td>
|
|
|
|
|
|
<td>APG 每次迭代执行 3 步(60 ms),"H=60 个周期≈1.2 s"实为 3.6
|
|
|
|
|
|
s;部署每 20 ms 推理、只走 1 步,APG "与部署一致"不成立;§8.5 又写"150
|
|
|
|
|
|
个周期≈3 s"(按 20 ms/周期)</td>
|
|
|
|
|
|
<td>统一"周期"定义;APG 展开节奏与部署一致(或部署改为每 3 步推理)</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>I4</td>
|
|
|
|
|
|
<td>§8.1 末段 vs §6.1A</td>
|
|
|
|
|
|
<td>§8.1 插补器"时间集成/交叉淡入",§6.1A 说 RTC
|
|
|
|
|
|
前缀"替代时间集成";而且淡入后的轨迹没被安全层检查过</td>
|
|
|
|
|
|
<td>删除淡入,或安全层检查实际执行轨迹</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>I5</td>
|
|
|
|
|
|
<td>§5.2/§6.1/§8.1/§8.3/§8.5 vs §6.1A</td>
|
|
|
|
|
|
<td>前者按 K=4 个模式写(含安全层耗时与前瞻计算),默认流头是 K=8
|
|
|
|
|
|
个候选</td>
|
|
|
|
|
|
<td>全文统一,安全层最坏情况按 8 个算</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>I6</td>
|
|
|
|
|
|
<td>§5.1/§8.2 vs §6.1A</td>
|
|
|
|
|
|
<td>k_prev one-hot 与 log p(k) 对流头无定义;"噪声粘滞"不需要该输入</td>
|
|
|
|
|
|
<td>按头类型分开写</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>I7</td>
|
|
|
|
|
|
<td>§5.1 vs §8.5/§6.1A</td>
|
|
|
|
|
|
<td>输入表里没有子目标、已提交前缀(RTC)、当前速度,但后文都要以它们为条件</td>
|
|
|
|
|
|
<td>补入输入表并给维度</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>I8</td>
|
|
|
|
|
|
<td>§6.2 vs §6.1A</td>
|
|
|
|
|
|
<td>损失只针对 WTA;默认流头无损失定义;剩余时间 L1 与价值头重复</td>
|
|
|
|
|
|
<td>补流头损失</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>I9</td>
|
|
|
|
|
|
<td>§0 / §8.1 / §8.5 / §8.6 / §9.2</td>
|
|
|
|
|
|
<td>预算"推理+安全 < 10 ms(留一倍余量)"、P99 < 15 ms;组成:生成
|
|
|
|
|
|
2–5 ms + 前瞻 2×(2–5) ms + JS 梯度引导 + 安全检查(目标 < 5 ms,§8.3
|
|
|
|
|
|
自认最坏约 70 ms)→ 合计 9–25 ms 以上</td>
|
|
|
|
|
|
<td>重做预算表;WebGPU 调度开销另计(#24)</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>I10</td>
|
|
|
|
|
|
<td>§8.3</td>
|
|
|
|
|
|
<td>"4 候选 × 10 个采样位形"假设 3 步内 ≤ 约 3.3°;按 §4.5
|
|
|
|
|
|
时间律主导轴每步 4.4°~13°,3 步需 13–39 个采样 + 刹停段;单次 1.8 ms
|
|
|
|
|
|
是旧数据(pair2d 后为 1.25 ms)</td>
|
|
|
|
|
|
<td>重估</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>I11</td>
|
|
|
|
|
|
<td>§2.3/§8.3 vs 代码</td>
|
|
|
|
|
|
<td>文档写"1° 细验 + 半格复验"(等效 0.5°),现有 <code>pathFine</code>
|
|
|
|
|
|
为 EDGE_RES=1.5° + 半格(等效 0.75°)</td>
|
|
|
|
|
|
<td>明确口径</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>I12</td>
|
|
|
|
|
|
<td>§8.3 vs §0</td>
|
|
|
|
|
|
<td>刹停段"按最大减速度",但全文和 <code>animTo</code>
|
|
|
|
|
|
都没有加速度上限</td>
|
|
|
|
|
|
<td>定义 a_max</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>I13</td>
|
|
|
|
|
|
<td>§9.2 vs §4.3</td>
|
|
|
|
|
|
<td>held-out 有 10% 不可达(D 类)却要求到达 ≥ 98%</td>
|
|
|
|
|
|
<td>分母只算可达任务,D 类单独考核</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>I14</td>
|
|
|
|
|
|
<td>§7.2-6 vs §9.1</td>
|
|
|
|
|
|
<td>留出 2000 + 三个基准每轮用于门禁/回滚,又作最终验收 → 选择偏差</td>
|
|
|
|
|
|
<td>拆出独立验收集,只用一次</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>I15</td>
|
|
|
|
|
|
<td>§6.4 vs §9.2</td>
|
|
|
|
|
|
<td>验证超时 = 老师时长 ×2(最少 3 s),验收要求 ≤ ×1.3</td>
|
|
|
|
|
|
<td>验证同时报告 ×1.3 达标率</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>I16</td>
|
|
|
|
|
|
<td>§0/§2.3/§8.3 vs 仓库</td>
|
|
|
|
|
|
<td>"安全层保证碰撞帧 = 0"与离散检查 + 0.3 mm
|
|
|
|
|
|
余量矛盾(实测采样间偏差可达约 6 mm;仓库记录过 0.28 mm
|
|
|
|
|
|
残余侵入与夹缝漏检)</td>
|
|
|
|
|
|
<td>改为距离认证,或如实降级表述</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>I17</td>
|
|
|
|
|
|
<td>§10 vs §6.3</td>
|
|
|
|
|
|
<td>重训流程写"§6 约 4 h",§6.3 写 1.5–3 h</td>
|
|
|
|
|
|
<td>统一</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>I18</td>
|
|
|
|
|
|
<td>§6.3</td>
|
|
|
|
|
|
<td>"预热 1000 步(同 DRP 量级)":DRP 为 100 步;"步数约其
|
|
|
|
|
|
1/5",但处理的样本数是 DRP 的 40%</td>
|
|
|
|
|
|
<td>改表述</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>I19</td>
|
|
|
|
|
|
<td>§2.2#1 vs §8.1</td>
|
|
|
|
|
|
<td>"只执行前 2–4 步"与"提交 3 步、实际每周期只走 1 步"不同</td>
|
|
|
|
|
|
<td>统一</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>I20</td>
|
|
|
|
|
|
<td>§9.2 现状列 vs <code>路径规划优化报告.md</code></td>
|
|
|
|
|
|
<td>文档写 route 现状 60/60 到达;报告第三轮写"有效路径 60/60,到达
|
|
|
|
|
|
58"(2 例目标超出可达区)</td>
|
|
|
|
|
|
<td>在 <code>3c7c814</code> 上重跑核对</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>I21</td>
|
|
|
|
|
|
<td>§4.5 vs §5.1</td>
|
|
|
|
|
|
<td>标签由全局 smoothstep 决定,但输入里没有速度/进度 → 非马尔可夫(见
|
|
|
|
|
|
#4)</td>
|
|
|
|
|
|
<td>改时间律或加输入</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>I22</td>
|
|
|
|
|
|
<td>§6.1 vs §8.5</td>
|
|
|
|
|
|
<td>子目标头"仅冷启动用",§8.5
|
|
|
|
|
|
又说"到达子目标后切到下一个";拖拽时目标每周期都在变,"冷启动"无定义</td>
|
|
|
|
|
|
<td>定义触发条件(如目标跳变 > X mm)</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>I23</td>
|
|
|
|
|
|
<td>§8.1-6</td>
|
|
|
|
|
|
<td>局部牛顿精修段没写要过安全层</td>
|
|
|
|
|
|
<td>补上</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>I24</td>
|
|
|
|
|
|
<td>§8.4</td>
|
|
|
|
|
|
<td>fp16 约 7 MB;实算 4.13M 参数 × 2 B ≈ 8.3 MB</td>
|
|
|
|
|
|
<td>小问题</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</tbody>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="4-未能核实--声明">4. 未能核实 / 声明</h3>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>§8.6 工业接口周期表(Franka、UR、ABB EGM、KUKA RSI、FANUC
|
|
|
|
|
|
DPM、MoveIt
|
|
|
|
|
|
Servo)本次未逐一抓取原始手册,沿用文档原值(【未抓取】)。</li>
|
|
|
|
|
|
<li>DAgger 原文、Barraquand & Latombe RPP、RoboCat
|
|
|
|
|
|
未抓取,只作背景引用。</li>
|
|
|
|
|
|
<li>DRP
|
|
|
|
|
|
中"目标被挡→停在最近安全处"的数据量与效果,本次未定位到具体表格。</li>
|
|
|
|
|
|
<li>浏览器端实际推理延迟没有任何本项目实测;WebGPU 结论来自 LLM
|
|
|
|
|
|
场景的调度开销测量(2604.02344),迁移到 4M 参数模型属推断。</li>
|
|
|
|
|
|
<li>杠杆实测用 TCP
|
|
|
|
|
|
代替全部胶囊端点,工具法兰胶囊可能更远,上界只会更大;同时假设关节空间线性插值,与
|
|
|
|
|
|
§4.5 时间参数化后的 20 ms 步相符。</li>
|
|
|
|
|
|
<li>训练耗时 FLOP 估算假设 3090 实际 10–35 TFLOPS,未实测。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h3 id="5-来源">5. 来源</h3>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>MπNets <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2210.12209(§3.4、§4.2、表">https://arxiv.org/abs/2210.12209(§3.4、§4.2、表</a>
|
|
|
|
|
|
1、表 3、§5.1–5.2)</li>
|
|
|
|
|
|
<li>DRP/IMPACT <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2509.06953(§3.1、§3.2、表">https://arxiv.org/abs/2509.06953(§3.1、§3.2、表</a>
|
|
|
|
|
|
6、App G 表 7)</li>
|
|
|
|
|
|
<li>ELMP <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2607.00215(§III-B、表">https://arxiv.org/abs/2607.00215(§III-B、表</a>
|
|
|
|
|
|
I、§IV-A 实现细节、图 6)</li>
|
|
|
|
|
|
<li>Diffusion Policy <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2303.04137(§3">https://arxiv.org/abs/2303.04137(§3</a>
|
|
|
|
|
|
时间一致性/停顿动作、§4.2 位置控制、§5.3 动作时域与延迟)</li>
|
|
|
|
|
|
<li>BID <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2408.17355(§4.1–4.2、§5.2.1、表">https://arxiv.org/abs/2408.17355(§4.1–4.2、§5.2.1、表</a>
|
|
|
|
|
|
1–2)</li>
|
|
|
|
|
|
<li>π0 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2410.24164(App">https://arxiv.org/abs/2410.24164(App</a>
|
|
|
|
|
|
D 推理与执行)</li>
|
|
|
|
|
|
<li>Zhou et al. 旋转表示 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/1812.07035(§1)">https://arxiv.org/abs/1812.07035(§1)</a></li>
|
|
|
|
|
|
<li>SHAC <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2204.07137(§1、§4)">https://arxiv.org/abs/2204.07137(§1、§4)</a></li>
|
|
|
|
|
|
<li>AWE <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2307.14326(§1、§3)">https://arxiv.org/abs/2307.14326(§1、§3)</a></li>
|
|
|
|
|
|
<li>DART <a
|
|
|
|
|
|
href="https://arxiv.org/abs/1703.09327(摘要、§1)">https://arxiv.org/abs/1703.09327(摘要、§1)</a></li>
|
|
|
|
|
|
<li>ReST <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2308.08998(§2)">https://arxiv.org/abs/2308.08998(§2)</a></li>
|
|
|
|
|
|
<li>Schwarzer, Saha, Latombe, T-RO 2005 <a
|
|
|
|
|
|
href="http://ai.stanford.edu/~mitul/papers/SSLtro05.pdf(式(1))">http://ai.stanford.edu/~mitul/papers/SSLtro05.pdf(式(1))</a></li>
|
|
|
|
|
|
<li>Thumm & Althoff, ICRA 2022 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2205.06311(§III、图">https://arxiv.org/abs/2205.06311(§III、图</a>
|
|
|
|
|
|
3)</li>
|
|
|
|
|
|
<li>LARC <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2608.29767(摘要)">https://arxiv.org/abs/2608.29767(摘要)</a></li>
|
|
|
|
|
|
<li>WebGPU 调度开销 <a
|
|
|
|
|
|
href="https://arxiv.org/abs/2604.02344(表">https://arxiv.org/abs/2604.02344(表</a>
|
|
|
|
|
|
6、§4.4)</li>
|
|
|
|
|
|
<li>本仓库:<code>docs/路径规划优化报告.md</code>;<code>webapp/js/ik-solver.js</code>(L2376
|
|
|
|
|
|
EDGE_RES、L2777–2810
|
|
|
|
|
|
pathFine);<code>webapp/js/ik-glue.js</code>(L376–401
|
|
|
|
|
|
animTo);<code>docs/collide.json</code>(margin_mm=0.3);<code>docs/travel.json</code>;杠杆实测脚本
|
|
|
|
|
|
<code>/workspace/work/out/survey/src_v/lever.cjs</code></li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h1 id="二一步少步生成式动作头">二、一步/少步生成式动作头</h1>
|
|
|
|
|
|
<h2 id="一步--少步生成式机器人策略全文精读与针对本项目的评估">一步 /
|
|
|
|
|
|
少步生成式机器人策略:全文精读与针对本项目的评估</h2>
|
|
|
|
|
|
<blockquote>
|
|
|
|
|
|
<p>编写日期:2026-10-17。所有数字均摘自 arXiv HTML 全文(或 PMLR
|
|
|
|
|
|
PDF),并标注所在章节/表格。<strong>【未核实】</strong> =
|
|
|
|
|
|
全文中没找到,或只能从图里定性读出。<strong>【推断】</strong> =
|
|
|
|
|
|
我自己的分析,原文没有这么说。</p>
|
|
|
|
|
|
</blockquote>
|
|
|
|
|
|
<h3 id="0-本项目设定评估基准">0. 本项目设定(评估基准)</h3>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>6-DOF
|
|
|
|
|
|
机械臂。环境固定且完全已知:一根立柱障碍,碰撞模型为胶囊体。</li>
|
|
|
|
|
|
<li>输入为低维状态,约 60 维:q、TCP、目标位置/rot6d、胶囊距离。闭环 50
|
|
|
|
|
|
Hz,action chunk = 16 步。</li>
|
|
|
|
|
|
<li>模型 3–5M 参数,浏览器内 ONNX 推理,运行时没有 teacher,在 RTX 3090
|
|
|
|
|
|
上训练。</li>
|
|
|
|
|
|
<li>后训练:通过可微胶囊距离做解析策略梯度(APG)。</li>
|
|
|
|
|
|
<li><strong>核心风险</strong>:必须保住多模态(从立柱左侧绕还是右侧绕)。一旦把两个模态平均掉,轨迹就会直接穿过立柱。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="1-贯穿所有论文的三个关键事实先读">1.
|
|
|
|
|
|
贯穿所有论文的三个关键事实(先读)</h3>
|
|
|
|
|
|
<ol type="1">
|
|
|
|
|
|
<li><strong>普通 Flow Matching 做 1 步
|
|
|
|
|
|
Euler,输出的正好是条件均值。</strong> COT 论文附录 D.1 原话:"CFM
|
|
|
|
|
|
evaluated with a 1-step euler solver approximately generates the
|
|
|
|
|
|
conditional mean of the two conditional distributions"。Shortcut 论文 §2
|
|
|
|
|
|
也写道:"at t=0 … the predicted velocity at t=0 points towards the
|
|
|
|
|
|
dataset
|
|
|
|
|
|
mean"。在我们的设定里,这就等于"从立柱中间穿过去"。所以不能直接拿 FM 做
|
|
|
|
|
|
NFE=1。</li>
|
|
|
|
|
|
<li><strong>主流基准几乎测不出多模态问题。</strong> FreqPolicy Table
|
|
|
|
|
|
4:<em>vanilla</em> FM 做 NFE=1,在 Robomimic
|
|
|
|
|
|
Can/Square/Transport/ToolHang 上就有 0.94/0.90/0.84/0.76。FreqPolicy
|
|
|
|
|
|
Table 3:OpenVLA+FM 做 NFE=1,在 LIBERO 上平均 93.5%,NFE=10 是
|
|
|
|
|
|
93.7%。普通 FM
|
|
|
|
|
|
一步就能拿高分,说明这些任务在单个观测下近似单峰。<strong>结论:各论文的成功率表对"左右绕柱"这类风险几乎没有证据力。</strong>
|
|
|
|
|
|
真正有针对性的证据只有 COT(two-moons、fork、Maze 多路径、真机 Push-T
|
|
|
|
|
|
顺/逆时针)、CP(Push-T 模态丢失)和 Shortcut(Push-T/Transport
|
|
|
|
|
|
轨迹图,定性)。</li>
|
|
|
|
|
|
<li><strong>【推断】任何连续的一步映射 G(z|o)
|
|
|
|
|
|
都会把少量质量落在两个模态之间。</strong> z
|
|
|
|
|
|
服从高斯分布,支撑集是连通的;连续映射的像也必然连通,所以总会有一部分噪声被送进"缝隙",也就是穿柱区域。方法之间的差别只在于这部分质量有多小、边界有多陡。因此无论选哪种方法,<strong>运行时都应该批量采
|
|
|
|
|
|
K
|
|
|
|
|
|
个噪声,用解析胶囊距离筛掉碰撞样本</strong>,后训练也应该专门把边界样本推离立柱。</li>
|
|
|
|
|
|
</ol>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="2-逐篇精读">2. 逐篇精读</h3>
|
|
|
|
|
|
<h4 id="21-mp1--meanflow-policyarxiv-250710543v5aaai26">2.1 MP1 —
|
|
|
|
|
|
MeanFlow Policy(arXiv 2507.10543,v5,AAAI'26)</h4>
|
|
|
|
|
|
<p>URL:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2507.10543">https://arxiv.org/html/2507.10543</a></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>方法</strong>:用 MeanFlow 学习区间平均速度 u(z,r,t),通过
|
|
|
|
|
|
MeanFlow Identity 构造带 stop-grad 的回归目标(需要 JVP),推理时 A0 =
|
|
|
|
|
|
A1 − u(A1,0,1)。同时加 CFG(ω 混合有/无条件速度),并在 U-Net
|
|
|
|
|
|
下采样块上加 Dispersive Loss(λ=0.5,τ=1)(§Method,式 1–8)。</li>
|
|
|
|
|
|
<li><strong>teacher</strong>:不需要,从头训练。</li>
|
|
|
|
|
|
<li><strong>NFE</strong>:1。</li>
|
|
|
|
|
|
<li><strong>延迟/硬件</strong>:平均 6.8 ms,RTX 4090,其中 Adroit
|
|
|
|
|
|
Hammer 7.1±0.2 ms;FlowPolicy 12.6 ms,DP3 132.2 ms(Table
|
|
|
|
|
|
2)。注意这是含点云编码器的延迟。</li>
|
|
|
|
|
|
<li><strong>多模态证据</strong>:<strong>没有</strong>任何双峰测试,也没讨论模态平均。Dispersive
|
|
|
|
|
|
Loss
|
|
|
|
|
|
针对的是"表征塌缩"(不同状态映射到相近特征),不是动作模态塌缩。【推断】CFG(ω>1)本身有锐化、削减多样性的倾向。</li>
|
|
|
|
|
|
<li><strong>低维状态结果</strong>:没有。输入为点云 +
|
|
|
|
|
|
状态,Adroit/Meta-World 共 37 任务,平均 78.9%(Table 1)。</li>
|
|
|
|
|
|
<li><strong>训练成本/稳定性</strong>:需要 JVP。flow ratio=1.0(全部
|
|
|
|
|
|
r≠t)时平均成功率塌到 2.4%;ratio=0(退化为 FM)为 72.6%,0.5 最好,为
|
|
|
|
|
|
82.4%(Table 4)。第三方报告:OFP §4.2 称 MP1 训练"high variance and
|
|
|
|
|
|
frequent loss spikes",OFP Fig.4 显示 MP1 在 150 条示教时性能下降。</li>
|
|
|
|
|
|
<li><strong>代码</strong>:<a
|
|
|
|
|
|
href="https://github.com/LogSSim/MP1">https://github.com/LogSSim/MP1</a>
|
|
|
|
|
|
(已确认仓库存在,含代码目录)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="22-ofp--one-step-flow-policyarxiv-260312480v12026-03">2.2 OFP —
|
|
|
|
|
|
One-Step Flow Policy(arXiv 2603.12480v1,2026-03)</h4>
|
|
|
|
|
|
<p>URL:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2603.12480">https://arxiv.org/html/2603.12480</a></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>方法</strong>:不用外部 teacher,用 EMA
|
|
|
|
|
|
自蒸馏学习区间平均速度。目标为 û=(ẑ_r − z_t)/(r−t),只用前向、不需要
|
|
|
|
|
|
JVP,并配合"时间收缩"课程(§3.1,式 4–6)。另加 FM 边界锚定损失(式
|
|
|
|
|
|
7),以及基于 CFG 的 self-guidance(只用 CA 项,§3.2,式
|
|
|
|
|
|
12–13)。推理时用上一个 chunk 未执行的后缀做
|
|
|
|
|
|
warm-start,t_w=0.15(§3.3)。</li>
|
|
|
|
|
|
<li><strong>teacher</strong>:不需要,用的是 EMA 自身。</li>
|
|
|
|
|
|
<li><strong>NFE</strong>:1,也支持 4 等多步(Table 3)。</li>
|
|
|
|
|
|
<li><strong>延迟</strong>:每个 chunk 17.58 ms;DP3(100 步)3225.67
|
|
|
|
|
|
ms,FM(100 步)1865.72
|
|
|
|
|
|
ms(§4.2)。<strong>推理硬件【未核实】</strong>,全文只写了训练用单卡
|
|
|
|
|
|
A100(App. B.3)。warm-start 使它略慢于 OneDP/MP1。</li>
|
|
|
|
|
|
<li><strong>多模态证据</strong>:<strong>没有</strong>双峰测试。只有论述:"CP
|
|
|
|
|
|
的轨迹匹配目标偏 mode-covering,会平均多模态;OneDP 的 score
|
|
|
|
|
|
distillation 偏 mode-seeking,会降低多样性"(§1、App. E.2)。消融里只用
|
|
|
|
|
|
SCT 时 NFE=1 为 68.7%,作者解释为"one-step predictions often average
|
|
|
|
|
|
over multiple valid modes"(App. D.1,Table 6),加 SGR 后升到
|
|
|
|
|
|
71.4%。<strong>风险信号</strong>:λ_sg=0.5 时 "forcing the model into
|
|
|
|
|
|
mode collapse",SR 降到 68.7%,最优是 0.05(Table 7c)。warm-start 的
|
|
|
|
|
|
t_w 过大(0.75)会"heavily suppress necessary generative
|
|
|
|
|
|
randomness"(Table 7d)。</li>
|
|
|
|
|
|
<li><strong>低维状态结果</strong>:没有。输入为 2D 图像 + 24/32
|
|
|
|
|
|
维本体状态,或点云(App. B.1)。56 任务 3D 平均 71.6%,DP3(100 步)为
|
|
|
|
|
|
66.4%(Table 2)。2D 7 任务为 68.3%(Table 1)。</li>
|
|
|
|
|
|
<li><strong>训练成本/稳定性</strong>:用子批策略,p_sc=0.2、p_sg=0.1(Table
|
|
|
|
|
|
7a)。A100 上 3000 epoch,batch 64,主干 DiT 12 层/768 维(App.
|
|
|
|
|
|
B.2–B.3)。作者声称比 MeanFlow
|
|
|
|
|
|
稳定,但<strong>没有</strong>给出内存/时长数字。只有仿真,没有真机(§6
|
|
|
|
|
|
Limitation)。</li>
|
|
|
|
|
|
<li><strong>代码</strong>:全文<strong>没有</strong>找到代码链接,GitHub
|
|
|
|
|
|
搜索也无结果。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="23-omp--one-step-meanflow-policy-with-directional-alignmentarxiv-251219347v3">2.3
|
|
|
|
|
|
OMP — One-step MeanFlow Policy with Directional Alignment(arXiv
|
|
|
|
|
|
2512.19347v3)</h4>
|
|
|
|
|
|
<p>URL:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2512.19347">https://arxiv.org/html/2512.19347</a></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>方法</strong>:在 MP1 的基础上加方向对齐损失 L_DA =
|
|
|
|
|
|
−log((cos α+1)/2),α 是预测平均速度与 v0=z_T−z_0 的夹角(§4.3.1,式
|
|
|
|
|
|
12)。另提供 DDE:用中心差分近似 du/dt,替代 JVP(式 14)。总损失 = MSE
|
|
|
|
|
|
+ λ_Disp·L_Disp + λ_DA·L_DA(式 13)。</li>
|
|
|
|
|
|
<li><strong>teacher</strong>:不需要。</li>
|
|
|
|
|
|
<li><strong>NFE</strong>:1。</li>
|
|
|
|
|
|
<li><strong>延迟</strong>:只有 Fig.1 的 FPS 散点图,<strong>没有具体 ms
|
|
|
|
|
|
数字【未核实】</strong>。训练/测试在 RTX 4090(§5.1)。</li>
|
|
|
|
|
|
<li><strong>多模态证据</strong>:<strong>没有</strong>。理论部分讨论的是"频谱偏置"和"低速区梯度饥饿",不是模态问题。<strong>【推断】隐患</strong>:L_DA
|
|
|
|
|
|
是对逐样本条件目标做余弦对齐。在双峰条件下,不同样本的目标方向相反,余弦损失的总体最优解并不等于边缘速度场(与
|
|
|
|
|
|
MSE
|
|
|
|
|
|
不同,余弦损失不满足"条件期望即最优"的性质),可能引入偏置。论文没有分析这一点。</li>
|
|
|
|
|
|
<li><strong>低维状态结果</strong>:没有。输入为点云,平均 82.3%(JVP)/
|
|
|
|
|
|
80.8%(DDE),MP1 为 78.9%(Table
|
|
|
|
|
|
1)。<strong>数据可疑点</strong>:Table 1 中 "OMP-JVP −L_DA" 一行与 MP1
|
|
|
|
|
|
一行逐项完全相同。</li>
|
|
|
|
|
|
<li><strong>训练成本</strong>:JVP 与 DDE 的显存对比(Table 3):Adroit
|
|
|
|
|
|
Hammer(H=4)6.60 vs 5.35 GB;Place Bottle(H=16)26.71 vs 19.19 GB。DDE
|
|
|
|
|
|
平均成功率掉 1.5 个点,Very Hard 任务上 77.8%→70.6%。作者证明 JVP
|
|
|
|
|
|
训练会使每层激活显存翻倍(App. B.3)。H=16 时 JVP 为 76.6%,DDE 为
|
|
|
|
|
|
78.2%(App. E.1,Table 5)。</li>
|
|
|
|
|
|
<li><strong>代码</strong>:"Codes are included in our supplementary
|
|
|
|
|
|
material"(App. D)。公开仓库**【未核实】**。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="24-k-mf--kinematic-meanflowarxiv-261000864v12026-10-01投稿-iclr-2027">2.4
|
|
|
|
|
|
K-MF — Kinematic MeanFlow(arXiv 2610.00864v1,2026-10-01,投稿 ICLR
|
|
|
|
|
|
2027)</h4>
|
|
|
|
|
|
<p>URL:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2610.00864">https://arxiv.org/html/2610.00864</a></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>方法</strong>:利用运动学恒等式
|
|
|
|
|
|
u_{t,r}=(1−λ)u_{t,c}+λu_{c,r},把 MeanFlow
|
|
|
|
|
|
的时间导数项拆成两个子区间项(式 5–7)。c
|
|
|
|
|
|
的取法有三种:随机、固定中点、或由一个 3 层 MLP 学出 λ=G_φ(t,r)(式
|
|
|
|
|
|
8)。仍用 JVP,两个子区间在 batch 维拼接后一次算完(§3.2
|
|
|
|
|
|
Implementation)。</li>
|
|
|
|
|
|
<li><strong>teacher</strong>:不需要,支持从头训练,也支持微调 FM
|
|
|
|
|
|
预训练的 RFM。</li>
|
|
|
|
|
|
<li><strong>NFE</strong>:1。</li>
|
|
|
|
|
|
<li><strong>延迟(GR00T-N1.6,3B)</strong>:action head 在 L40 上 eager
|
|
|
|
|
|
28.0 ms(FM 为 109.3),compiled 6.2 ms(FM 19.1);在 Jetson Orin 上
|
|
|
|
|
|
eager 63.6 ms、compiled 23.3 ms(Table 5a)。</li>
|
|
|
|
|
|
<li><strong>多模态证据</strong>:<strong>没有</strong>双峰测试。它关注的是
|
|
|
|
|
|
VLA 速度场后期"局部加速度"激增(t=1 处达初值 76
|
|
|
|
|
|
倍)以及跨样本发散(§1),属于训练稳定性问题。</li>
|
|
|
|
|
|
<li><strong>低维状态结果</strong>:没有。GR00T/SimVLA 输入为图像 + 语言
|
|
|
|
|
|
+ 本体状态。PointNav(COMPASS,Unitree G1)的输入模态**【未核实】**,FM
|
|
|
|
|
|
73.8% vs K-MF 74.0%(Table 3)。</li>
|
|
|
|
|
|
<li><strong>训练成本/稳定性(重要)</strong>:原生 MeanFlow 在 GR00T
|
|
|
|
|
|
上不加梯度裁剪就 Fail;加裁剪后 6.5%;再加渐进时间采样和 60K 步才到
|
|
|
|
|
|
87.0%(NFE=2);<strong>NFE=1 时 Fail</strong>。MVP 在 NFE=1 时也
|
|
|
|
|
|
Fail;α-Flow NFE=1 为 84.5%(Table 1)。K-MF 训练时长比 FM 多
|
|
|
|
|
|
33%(GR00T)/27%(SimVLA),GR00T 峰值显存 53.7 GB(FM 35.6,MF
|
|
|
|
|
|
52.4)(Table 5b)。LIBERO 平均:GR00T 微调 97.9%(FM 4 步
|
|
|
|
|
|
97.3%);SimVLA 从头训练 95.1%(FM 10 步 94.2%)(Table 2)。</li>
|
|
|
|
|
|
<li><strong>代码</strong>:<a
|
|
|
|
|
|
href="https://github.com/IntelChina-AI/K-MF">https://github.com/IntelChina-AI/K-MF</a>
|
|
|
|
|
|
。2026-10-17 检查时仓库只有 README 和
|
|
|
|
|
|
imgs,<strong>代码尚未发布</strong>。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="25-dm1--meanflow--dispersive-regularizationarxiv-251007865v1aamas-2026">2.5
|
|
|
|
|
|
DM1 — MeanFlow + Dispersive Regularization(arXiv 2510.07865v1,AAMAS
|
|
|
|
|
|
2026)</h4>
|
|
|
|
|
|
<p>URL:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2510.07865">https://arxiv.org/html/2510.07865</a></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>方法</strong>:MeanFlow(JVP),把 4 种 dispersive
|
|
|
|
|
|
正则(InfoNCE-L2/Cos、Hinge、Covariance)加在多个中间嵌入层上(§3.3–3.4)。训练中
|
|
|
|
|
|
ρ=0.5 的样本强制 r=t(App. B.2)。</li>
|
|
|
|
|
|
<li><strong>teacher</strong>:不需要。</li>
|
|
|
|
|
|
<li><strong>NFE</strong>:1 或 5。</li>
|
|
|
|
|
|
<li><strong>延迟</strong>:Franka 真机,RTX 2080 上网络推理 MF(1)=2.4
|
|
|
|
|
|
ms,MF(5)=10.5–13.8 ms,ShortCut(32) 约 77 ms,ReFlow(128) 约 306–313
|
|
|
|
|
|
ms(Table 3)。仿真里"0.07 s vs 2–3.5 s"是 50
|
|
|
|
|
|
个并行环境的总时间(§4.2.2)。</li>
|
|
|
|
|
|
<li><strong>多模态证据</strong>:<strong>没有</strong>双峰测试。摘要和引言声称
|
|
|
|
|
|
dispersive 能"捕获多样多模态行为",但实验只有成功率和奖励。</li>
|
|
|
|
|
|
<li><strong>低维状态结果</strong>:没有。输入为 ViT 图像 + 9
|
|
|
|
|
|
维本体状态(§4.3)。Robomimic 1 步(α_disp=0.1):Lift 0.975、Can
|
|
|
|
|
|
0.740、Square 0.350、Transport 0.280(App. D.0.1)。数据集为 DPPO
|
|
|
|
|
|
版的低质量数据,绝对值不能和 CP/OneDP
|
|
|
|
|
|
直接比较。<strong>数据可疑点</strong>:App. D 的文字有自相矛盾之处,例如
|
|
|
|
|
|
"decline from 0.700 at two steps to 0.775 at five steps"。</li>
|
|
|
|
|
|
<li><strong>训练成本</strong>:只有复杂度论述(App.
|
|
|
|
|
|
B.4),<strong>没有</strong>实测内存/时长。</li>
|
|
|
|
|
|
<li><strong>代码</strong>:项目页 <a
|
|
|
|
|
|
href="https://guowei-zou.github.io/dm1/">https://guowei-zou.github.io/dm1/</a>
|
|
|
|
|
|
,仓库 <a
|
|
|
|
|
|
href="https://github.com/guowei-zou/dm1-release">https://github.com/guowei-zou/dm1-release</a>
|
|
|
|
|
|
(已确认含代码目录)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="26-consistency-policyarxiv-240507503rss-2024">2.6 Consistency
|
|
|
|
|
|
Policy(arXiv 2405.07503,RSS 2024)</h4>
|
|
|
|
|
|
<p>URL:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2405.07503">https://arxiv.org/html/2405.07503</a></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>方法</strong>:先训练 EDM teacher,再用 CTM-local 目标(相邻
|
|
|
|
|
|
t,u,任意 s)加 DSM 损失蒸馏出学生(§III-B)。支持 1 步,或在 {t_{2N/3},
|
|
|
|
|
|
t_{N/3}} 处做 3 步 chaining(§III-C)。初始噪声用低方差 N(0,1/T²)。</li>
|
|
|
|
|
|
<li><strong>teacher</strong>:<strong>需要</strong>预训练 EDM
|
|
|
|
|
|
teacher(仅训练期需要,运行时不需要)。</li>
|
|
|
|
|
|
<li><strong>NFE</strong>:1 或 3。</li>
|
|
|
|
|
|
<li><strong>延迟</strong>:仿真在 P5000 上 1 步 1 ms、3 步 2 ms,DDPM
|
|
|
|
|
|
110 ms(Table III)。真机在 3070 Ti 笔记本 GPU 上总计 21 ms,其中网络
|
|
|
|
|
|
13.5 ms(Table IV、XI)。</li>
|
|
|
|
|
|
<li><strong>多模态证据(直接负面证据)</strong>:§V Limitations
|
|
|
|
|
|
写道:"both the teacher EDM policy and Consistency Policy lose some of
|
|
|
|
|
|
Diffusion Policy's multimodality, e.g., by favoring one side of the
|
|
|
|
|
|
Push-T task over the other",原因归于 ODE 蒸馏是确定性的。Table
|
|
|
|
|
|
VI:低方差初始噪声在 1 步时 0.92 vs
|
|
|
|
|
|
0.90;作者自己也承认高方差的好处是"expressivity and
|
|
|
|
|
|
multimodality"。</li>
|
|
|
|
|
|
<li><strong>低维状态结果(有)</strong>:Push-T(state)1 步 0.82、3 步
|
|
|
|
|
|
0.84,DDPM 为 0.87(Table I);Franka Kitchen(state)1 步 p4=0.93,DDPM
|
|
|
|
|
|
为 0.98(Table II)。</li>
|
|
|
|
|
|
<li><strong>训练成本/稳定性</strong>:"slightly less stable during
|
|
|
|
|
|
training than Diffusion Policy",需要更长训练,每步还要跑
|
|
|
|
|
|
teacher(§V)。CTM 比 CTM-local 慢 40% 以上(A5000)(§IV-D)。dropout
|
|
|
|
|
|
0.2 很关键,去掉 s→0 段的 dropout 后从 0.92 降到 0.86(Table IX)。不用
|
|
|
|
|
|
teacher 的 CT 版本在 Square 上只有 0.55(Table X)。</li>
|
|
|
|
|
|
<li><strong>代码</strong>:<a
|
|
|
|
|
|
href="https://github.com/Aaditya-Prasad/consistency-policy">https://github.com/Aaditya-Prasad/consistency-policy</a>
|
|
|
|
|
|
(已确认存在)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="27-onedp--one-step-diffusion-policyarxiv-241021257">2.7 OneDP —
|
|
|
|
|
|
One-Step Diffusion Policy(arXiv 2410.21257)</h4>
|
|
|
|
|
|
<p>URL:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2410.21257">https://arxiv.org/html/2410.21257</a></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>方法</strong>:在整条扩散链上最小化生成器分布与预训练 DP
|
|
|
|
|
|
分布的反向 KL(类似 SDS/VSD),配一个辅助生成器 score 网络(式
|
|
|
|
|
|
4–6)。OneDP-S 带噪声输入(随机策略);OneDP-D 不带噪声(确定性,等价于
|
|
|
|
|
|
Dirac 分布)。</li>
|
|
|
|
|
|
<li><strong>teacher</strong>:<strong>需要</strong>预训练
|
|
|
|
|
|
DP,以及一个额外的 score 网络;三者都从 DP 权重初始化。</li>
|
|
|
|
|
|
<li><strong>NFE</strong>:1。</li>
|
|
|
|
|
|
<li><strong>延迟</strong>:真机在 V100 上动作生成 7 ms + 观测编码 9
|
|
|
|
|
|
ms;DDIM-10 为 66 ms,DDPM-100 为 660 ms(Table 5)。</li>
|
|
|
|
|
|
<li><strong>多模态证据</strong>:<strong>没有</strong>双峰测试。作者主动选择了
|
|
|
|
|
|
mode-seeking:"reverse KL divergence typically induces mode-seeking
|
|
|
|
|
|
behavior"(§2 Distillation Discussion)。【推断】OneDP-D
|
|
|
|
|
|
是确定性映射,按定义就没有多模态。OneDP-S 理论上可以保留,但反向 KL
|
|
|
|
|
|
天然倾向丢模态,OFP §1 也这么评价。</li>
|
|
|
|
|
|
<li><strong>低维状态结果</strong>:没有。全部为视觉输入:Robomimic +
|
|
|
|
|
|
PushT(图像)。DDPM 设定下 OneDP-S 平均 0.843,DP 为 0.829(Table
|
|
|
|
|
|
1);EDM 设定下 OneDP-S 为 0.830,CP 1 步(450 ep)为 0.672(Table
|
|
|
|
|
|
2)。</li>
|
|
|
|
|
|
<li><strong>训练成本</strong>:只需在 DP 预训练的基础上额外花 2%–10%(20
|
|
|
|
|
|
epoch,CP 为 450 epoch)(§1、§3.1)。网络规模:仿真 DDPM 256M、EDM
|
|
|
|
|
|
67M(App.)。</li>
|
|
|
|
|
|
<li><strong>代码</strong>:全文<strong>没有</strong>找到链接,GitHub
|
|
|
|
|
|
搜索无果**【未核实】**。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="28-cot-policy--conditional-ot-couplingscorl-2025pmlr-v305-sochopoulos25aarxiv-250501179">2.8
|
|
|
|
|
|
COT Policy — Conditional OT Couplings(CoRL 2025,PMLR v305
|
|
|
|
|
|
sochopoulos25a;arXiv 2505.01179)</h4>
|
|
|
|
|
|
<p>URL:<a
|
|
|
|
|
|
href="https://raw.githubusercontent.com/mlresearch/v305/main/assets/sochopoulos25a/sochopoulos25a.pdf">https://raw.githubusercontent.com/mlresearch/v305/main/assets/sochopoulos25a/sochopoulos25a.pdf</a>
|
|
|
|
|
|
、<a
|
|
|
|
|
|
href="https://arxiv.org/html/2505.01179v1">https://arxiv.org/html/2505.01179v1</a></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>方法</strong>:对每个 minibatch 计算 OT 配对,代价为
|
|
|
|
|
|
‖x0−x1‖² + ‖γ(c0−c1)‖²(式 4),其中噪声侧的条件 c0 是 c1
|
|
|
|
|
|
的随机置换。连续观测先 PCA 降维,再用 K-means 离散化(K≈batch size,默认
|
|
|
|
|
|
64)。之后做普通 CFM 训练(Alg. 1),推理用 midpoint 2 步或 Euler 1
|
|
|
|
|
|
步。</li>
|
|
|
|
|
|
<li><strong>teacher</strong>:不需要,单阶段训练。</li>
|
|
|
|
|
|
<li><strong>NFE</strong>:1–2。主表用 midpoint,NFE=2。</li>
|
|
|
|
|
|
<li><strong>延迟</strong>:摘要称"10× speed-up compared to Diffusion
|
|
|
|
|
|
Policy"。全文<strong>没有给出 ms 数字【未核实】</strong>。真机推理用 RTX
|
|
|
|
|
|
2080(App. C.4)。</li>
|
|
|
|
|
|
<li><strong>多模态证据(最强、最相关)</strong>:
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>two-moons/fork(y=U{x,−x})低维任务:COT-CFM 在 NFE=1 时
|
|
|
|
|
|
W2²=0.345,CFM 1.490,OT-CFM 0.777(Euler);且只有 COT 在 NFE=1
|
|
|
|
|
|
时能还原出两个月牙。<strong>CFM 1 步 ≈ 条件均值</strong>(App.
|
|
|
|
|
|
D.1,Table 5,Fig. 1/8)。</li>
|
|
|
|
|
|
<li>Maze2D:起点和终点都固定,q
|
|
|
|
|
|
值加噪声后得到多条路径。这和"左右绕柱"同构。Fig. 3 显示 COT 在 NFE=1/2
|
|
|
|
|
|
下都能覆盖多条路径,Trajectory Variance 高于
|
|
|
|
|
|
CFM(§3.2)。<strong>只有图,没有表格数值【定量部分未核实】</strong>。</li>
|
|
|
|
|
|
<li>真机 Push-T:NFE=1 Euler 能同时复现顺时针和逆时针两种推法(App.
|
|
|
|
|
|
C.3,Fig. 7)。</li>
|
|
|
|
|
|
<li>反例:朴素 OT-CFM(不考虑条件)会得到有偏样本(Fig. 1)。K
|
|
|
|
|
|
太小时退化成 OT-CFM(Fig. 4)。</li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
<li><strong>低维状态结果</strong>:two-moons/fork 是纯低维(4×64 SELU
|
|
|
|
|
|
MLP,App. B.1)。Maze2D 的输入模态**【未核实】**。MimicGen/push-t
|
|
|
|
|
|
用图像。6 任务平均:COT(NFE=2)0.818 vs DP
|
|
|
|
|
|
DDIM(NFE=20)0.781,CFM(NFE=2)0.790(Table 1)。</li>
|
|
|
|
|
|
<li><strong>训练成本</strong>:与 CFM/DP 相同,收敛速度也相近(Fig.
|
|
|
|
|
|
5)。OT 用 EMD。PCA 特征向量矩阵会占显存(App. B.2)。作者承认的局限:K
|
|
|
|
|
|
需要调;高维时低 NFE 与高 NFE 仍有差距(§5)。</li>
|
|
|
|
|
|
<li><strong>代码</strong>:<a
|
|
|
|
|
|
href="https://github.com/ansocho/cot_policy">https://github.com/ansocho/cot_policy</a>
|
|
|
|
|
|
(已确认存在)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="29-shortcut-modelsfrans-et-al-arxiv-241012557-iclr-2025及其在-reinflowarxiv-250522094中的用法">2.9
|
|
|
|
|
|
Shortcut Models(Frans et al., arXiv 2410.12557, ICLR 2025)及其在
|
|
|
|
|
|
ReinFlow(arXiv 2505.22094)中的用法</h4>
|
|
|
|
|
|
<p>URL:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2410.12557">https://arxiv.org/html/2410.12557</a>
|
|
|
|
|
|
、<a
|
|
|
|
|
|
href="https://arxiv.org/html/2505.22094">https://arxiv.org/html/2505.22094</a></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>方法</strong>:网络同时以步长 d 为条件。d=0 时就是 FM
|
|
|
|
|
|
损失;d>0 时用自洽目标 s(x_t,t,2d)=½s(x_t,t,d)+½s(x'_{t+d},t+d,d) 做
|
|
|
|
|
|
bootstrap(Shortcut §3,式 4–5)。batch 中 k=1/4 的样本做自洽,其余做
|
|
|
|
|
|
FM。ReinFlow
|
|
|
|
|
|
在流轨迹中注入可学习噪声,把它变成离散时间马尔可夫过程,得到精确似然,再用
|
|
|
|
|
|
PPO 微调;微调后丢掉噪声网络(ReinFlow §4.1–4.3)。</li>
|
|
|
|
|
|
<li><strong>teacher</strong>:不需要,单网络、单阶段。不需要
|
|
|
|
|
|
JVP,自洽目标只需额外两次前向。</li>
|
|
|
|
|
|
<li><strong>NFE</strong>:任意,1/2/4 均可。ReinFlow 在 Can/Square 上用
|
|
|
|
|
|
1 步,在 Transport 上用 4 步(ReinFlow §5.2)。</li>
|
|
|
|
|
|
<li><strong>延迟</strong>:两篇论文都<strong>没有给出
|
|
|
|
|
|
ms</strong>。ReinFlow 只给出每次迭代的 wall-time,在 RTX 3090
|
|
|
|
|
|
上测(ReinFlow App. D,Table 3)。</li>
|
|
|
|
|
|
<li><strong>多模态证据</strong>:Shortcut Fig. 7 的说明称"Shortcut
|
|
|
|
|
|
models can represent multimodal policies in a similar manner as
|
|
|
|
|
|
diffusion policies"。1 步结果:Push-T 0.87、Transport 0.80;DP 1 步为
|
|
|
|
|
|
0.12/0.00(§5.5)。<strong>只有定性轨迹图,没有双峰统计</strong>。作者自承局限:"the
|
|
|
|
|
|
mapping between noise and data is entirely dependent on an expectation
|
|
|
|
|
|
over the dataset",且 1 步与多步之间仍有差距(§6)。</li>
|
|
|
|
|
|
<li><strong>低维状态结果</strong>:ReinFlow 中 Franka Kitchen(state
|
|
|
|
|
|
输入)用 Shortcut 策略,参数仅 0.16M actor;同时测了 K=1/2/4 的 RL
|
|
|
|
|
|
微调(App. Table 2、Fig.
|
|
|
|
|
|
13,<strong>只有曲线【数值未核实】</strong>)。Gym
|
|
|
|
|
|
运动控制任务(state)用的是 1-ReFlow 策略,0.55–0.80M 参数。</li>
|
|
|
|
|
|
<li><strong>训练成本</strong>:约比扩散模型多 16% 计算(Shortcut §3
|
|
|
|
|
|
脚注)。若自洽损失不稳定,可降低其占比;推荐使用非零 weight decay(§6
|
|
|
|
|
|
Best practices)。ReinFlow 的稳定性技巧:裁剪 log-ratio(state 任务
|
|
|
|
|
|
ε=0.01)、裁剪去噪动作、critic warm-up(ReinFlow App. D.2)。</li>
|
|
|
|
|
|
<li><strong>代码</strong>:<a
|
|
|
|
|
|
href="https://github.com/kvfrans/shortcut-models">https://github.com/kvfrans/shortcut-models</a>
|
|
|
|
|
|
、<a
|
|
|
|
|
|
href="https://github.com/ReinFlow/ReinFlow">https://github.com/ReinFlow/ReinFlow</a>
|
|
|
|
|
|
(均已确认存在)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="210-freqpolicyneurips-2025arxiv-250608822v2">2.10
|
|
|
|
|
|
FreqPolicy(NeurIPS 2025,arXiv 2506.08822v2)</h4>
|
|
|
|
|
|
<p>URL:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2506.08822v2">https://arxiv.org/html/2506.08822v2</a></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>重名提醒</strong>:NeurIPS 2025 有两篇 FreqPolicy。另一篇是
|
|
|
|
|
|
arXiv 2506.01583 "Frequency Autoregressive Visuomotor
|
|
|
|
|
|
Policy"(4DVLab),属于自回归方法,不是一步生成器。本文按"一步/少步"的范围评估
|
|
|
|
|
|
2506.08822。</li>
|
|
|
|
|
|
<li><strong>方法</strong>:FM
|
|
|
|
|
|
损失之外,加一项频域一致性损失:在两个任意时刻 s,r 的速度上做 type-II
|
|
|
|
|
|
DCT 后对齐(§3.3,式 9–14),并按频段方差自适应加权。</li>
|
|
|
|
|
|
<li><strong>teacher</strong>:不需要。</li>
|
|
|
|
|
|
<li><strong>NFE</strong>:1。</li>
|
|
|
|
|
|
<li><strong>延迟</strong>:真机在 RTX 4090 上 93.5 Hz(约 10.7 ms),DP
|
|
|
|
|
|
19.8 Hz,FM 20.2 Hz(§4.2)。OpenVLA 头为 6.05 Hz(Table 3)。</li>
|
|
|
|
|
|
<li><strong>多模态证据</strong>:<strong>没有</strong>双峰测试。</li>
|
|
|
|
|
|
<li><strong>低维状态结果</strong>:没有。输入为图像、点云或
|
|
|
|
|
|
VLA。Robomimic(图像)1 步:Can 0.98、Square 0.92、Transport
|
|
|
|
|
|
0.90、ToolHang 0.85(Table 1)。3D 53 任务平均 78.5%(Table 2)。消融里
|
|
|
|
|
|
vanilla FM 1 步为 0.94/0.90/0.84/0.76(Table 4),见 §1 第 2 点。</li>
|
|
|
|
|
|
<li><strong>训练成本</strong>:每个样本需要两次前向,"demands more
|
|
|
|
|
|
computational resources"(§5 Limitation)。在单卡 A100 上训练(App.
|
|
|
|
|
|
A.3)。</li>
|
|
|
|
|
|
<li><strong>代码</strong>:全文<strong>没有</strong>找到官方链接,GitHub
|
|
|
|
|
|
搜索只命中重名的另一篇**【未核实】**。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="3-汇总对比表原文数据">3. 汇总对比表(原文数据)</h3>
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr class="header">
|
|
|
|
|
|
<th>方法</th>
|
|
|
|
|
|
<th>需要 teacher</th>
|
|
|
|
|
|
<th>NFE</th>
|
|
|
|
|
|
<th>延迟(硬件,出处)</th>
|
|
|
|
|
|
<th>多模态证据</th>
|
|
|
|
|
|
<th>低维状态实验</th>
|
|
|
|
|
|
<th>训练风险</th>
|
|
|
|
|
|
<th>代码</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tbody>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>MP1</td>
|
|
|
|
|
|
<td>否</td>
|
|
|
|
|
|
<td>1</td>
|
|
|
|
|
|
<td>6.8 ms,4090,含点云编码(T2)</td>
|
|
|
|
|
|
<td>无</td>
|
|
|
|
|
|
<td>无</td>
|
|
|
|
|
|
<td>JVP;他人报告 loss 尖峰</td>
|
|
|
|
|
|
<td>有</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>OFP</td>
|
|
|
|
|
|
<td>否(EMA)</td>
|
|
|
|
|
|
<td>1/多</td>
|
|
|
|
|
|
<td>17.58 ms,硬件未说明(§4.2)</td>
|
|
|
|
|
|
<td>无;SGR 过强会塌缩(T7c)</td>
|
|
|
|
|
|
<td>无</td>
|
|
|
|
|
|
<td>无 JVP;超参多</td>
|
|
|
|
|
|
<td>未找到</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>OMP</td>
|
|
|
|
|
|
<td>否</td>
|
|
|
|
|
|
<td>1</td>
|
|
|
|
|
|
<td>无 ms(Fig.1)</td>
|
|
|
|
|
|
<td>无;余弦损失存疑【推断】</td>
|
|
|
|
|
|
<td>无</td>
|
|
|
|
|
|
<td>JVP 显存表(T3);DDE −1.5pt</td>
|
|
|
|
|
|
<td>附录补充材料</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>K-MF</td>
|
|
|
|
|
|
<td>否</td>
|
|
|
|
|
|
<td>1</td>
|
|
|
|
|
|
<td>AH 6.2–63.6 ms,L40/Orin,3B(T5a)</td>
|
|
|
|
|
|
<td>无</td>
|
|
|
|
|
|
<td>无(PointNav 模态未核实)</td>
|
|
|
|
|
|
<td>MF 1 步 Fail(T1);+27–33% 时长</td>
|
|
|
|
|
|
<td>仅 README</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>DM1</td>
|
|
|
|
|
|
<td>否</td>
|
|
|
|
|
|
<td>1/5</td>
|
|
|
|
|
|
<td>2.4 ms,2080(T3)</td>
|
|
|
|
|
|
<td>无(仅声称)</td>
|
|
|
|
|
|
<td>无(9 维本体 + 图像)</td>
|
|
|
|
|
|
<td>JVP;文中数字自相矛盾</td>
|
|
|
|
|
|
<td>有</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>CP</td>
|
|
|
|
|
|
<td><strong>是</strong></td>
|
|
|
|
|
|
<td>1/3</td>
|
|
|
|
|
|
<td>1 ms,P5000;21 ms,3070Ti(T3/T11)</td>
|
|
|
|
|
|
<td><strong>负面</strong>:Push-T 偏向一侧(§V)</td>
|
|
|
|
|
|
<td><strong>有</strong>:Push-T 0.82,Kitchen p4 0.93</td>
|
|
|
|
|
|
<td>比 DP 不稳;训练更久</td>
|
|
|
|
|
|
<td>有</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>OneDP</td>
|
|
|
|
|
|
<td><strong>是</strong>(+score 网络)</td>
|
|
|
|
|
|
<td>1</td>
|
|
|
|
|
|
<td>7 ms,V100(T5)</td>
|
|
|
|
|
|
<td>mode-seeking(自述);D 版确定性</td>
|
|
|
|
|
|
<td>无</td>
|
|
|
|
|
|
<td>+2–10% 预训练成本</td>
|
|
|
|
|
|
<td>未找到</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>COT</td>
|
|
|
|
|
|
<td>否</td>
|
|
|
|
|
|
<td>1–2</td>
|
|
|
|
|
|
<td>无 ms;"10×"</td>
|
|
|
|
|
|
<td><strong>最强</strong>:two-moons/fork/Maze/真机 Push-T</td>
|
|
|
|
|
|
<td>合成低维有;Maze 模态未核实</td>
|
|
|
|
|
|
<td>同 CFM;K 需调</td>
|
|
|
|
|
|
<td>有</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>Shortcut(+ReinFlow)</td>
|
|
|
|
|
|
<td>否</td>
|
|
|
|
|
|
<td>1/2/4</td>
|
|
|
|
|
|
<td>无 ms</td>
|
|
|
|
|
|
<td>定性(Fig.7)</td>
|
|
|
|
|
|
<td><strong>有</strong>:Kitchen state 0.16M(仅曲线)</td>
|
|
|
|
|
|
<td>+16%;可 RL 微调</td>
|
|
|
|
|
|
<td>有</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>FreqPolicy</td>
|
|
|
|
|
|
<td>否</td>
|
|
|
|
|
|
<td>1</td>
|
|
|
|
|
|
<td>~10.7 ms,4090(§4.2)</td>
|
|
|
|
|
|
<td>无</td>
|
|
|
|
|
|
<td>无</td>
|
|
|
|
|
|
<td>2× 前向</td>
|
|
|
|
|
|
<td>未找到</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</tbody>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="4-针对本项目的裁决表">4. 针对本项目的裁决表</h3>
|
|
|
|
|
|
<p>评分:✅ 合适 / ⚠️ 有条件 / ❌ 不合适。所有评价都对照 §0 的设定。</p>
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr class="header">
|
|
|
|
|
|
<th>方法</th>
|
|
|
|
|
|
<th>无 teacher 运行</th>
|
|
|
|
|
|
<th>训练可行性(3090,5M)</th>
|
|
|
|
|
|
<th>浏览器 ONNX(1 网络,单/少次前向)</th>
|
|
|
|
|
|
<th>多模态保真(左右绕柱)</th>
|
|
|
|
|
|
<th>与 APG 后训练的契合</th>
|
|
|
|
|
|
<th>总评</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tbody>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td><strong>Shortcut</strong></td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>✅ 无 JVP,+16%</td>
|
|
|
|
|
|
<td>✅ 需额外输入 d</td>
|
|
|
|
|
|
<td>⚠️ 只有定性证据;1 步与多步有差距</td>
|
|
|
|
|
|
<td>✅ 1 步时梯度直通;ReinFlow 证明可 RL 微调</td>
|
|
|
|
|
|
<td><strong>首选骨架</strong></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td><strong>COT 耦合</strong></td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>✅ 低维条件可直接 K-means,不需要 PCA【推断】</td>
|
|
|
|
|
|
<td>✅ 与普通 FM 结构相同</td>
|
|
|
|
|
|
<td>✅ 唯一有直接双峰证据</td>
|
|
|
|
|
|
<td>✅ 与骨架正交</td>
|
|
|
|
|
|
<td><strong>首选插件</strong>(训练时加在 Shortcut/MF
|
|
|
|
|
|
上)【推断:两者组合在原文中没有实验,只在 COT §5
|
|
|
|
|
|
中作为未来方向提到】</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>OFP</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>✅ 无 JVP,但超参多</td>
|
|
|
|
|
|
<td>✅;warm-start 需维护状态</td>
|
|
|
|
|
|
<td>⚠️ 无测试;SGR 有塌缩风险</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>次选。只借鉴 warm-start 和 FM 锚定,SGR 关闭或 λ≤0.05</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>MeanFlow(MP1/DM1)</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>✅ 在 5M MLP 上 JVP 显存不是问题【推断】,但有稳定性报告(OFP
|
|
|
|
|
|
§4.2、K-MF T1)</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>⚠️ 无测试;CFG 可能锐化掉一个模态【推断】</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>备选</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>OMP</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>⚠️ 余弦对齐在双峰下可能有偏【推断】</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>不建议直接采用 L_DA</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>K-MF</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>⚠️ 为 3B VLA 设计,代码未发布</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>⚠️ 无测试</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>只在 MeanFlow 训练不稳时借鉴中点分解</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>FreqPolicy</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>✅(2× 前向)</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>⚠️ 无测试</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>可作为平滑正则的辅助项(16 步 chunk 的 DCT)</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>CP</td>
|
|
|
|
|
|
<td>✅(训练需 teacher)</td>
|
|
|
|
|
|
<td>⚠️ 两阶段,较不稳定</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>❌ 原文自述丢模态</td>
|
|
|
|
|
|
<td>⚠️</td>
|
|
|
|
|
|
<td>不推荐</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>OneDP</td>
|
|
|
|
|
|
<td>✅(训练需 teacher + score 网络)</td>
|
|
|
|
|
|
<td>⚠️ 两阶段</td>
|
|
|
|
|
|
<td>✅</td>
|
|
|
|
|
|
<td>❌ mode-seeking / 确定性版本</td>
|
|
|
|
|
|
<td>⚠️</td>
|
|
|
|
|
|
<td>不推荐。【推断】若只关心"不平均",mode-seeking
|
|
|
|
|
|
反而不会穿柱,但会失去左右选择能力,且闭环中可能左右跳变</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</tbody>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="5-排名推荐">5. 排名推荐</h3>
|
|
|
|
|
|
<ol type="1">
|
|
|
|
|
|
<li><strong>Shortcut Model 骨架 + COT 条件耦合 + FM
|
|
|
|
|
|
锚定(d=0),NFE=1,必要时用 2 步。</strong>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>理由:不需要 teacher,不需要 JVP,单阶段训练,开销约
|
|
|
|
|
|
16%。同一个网络支持 1/2/4 步,可以按浏览器实测延迟取舍。ReinFlow
|
|
|
|
|
|
已在低维 state 任务(Kitchen,0.16M)上用它做过 RL 微调。COT
|
|
|
|
|
|
是唯一用双峰任务(fork、two-moons、Maze 多路径)证明"1
|
|
|
|
|
|
步不取均值"的方法,而且训练成本与 CFM 相同。</li>
|
|
|
|
|
|
<li>低维 60 维状态可直接做 K-means(K≈batch),γ 按 COT App. E.1
|
|
|
|
|
|
选。【推断】最好把"同一状态下的左右样本"放进同一簇,这样 OT
|
|
|
|
|
|
才能把噪声空间按模态切开。</li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
<li><strong>OFP 式自蒸馏(前向一致性 + FM 锚定 +
|
|
|
|
|
|
warm-start)</strong>,作为 1 的替代或补充。
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>【推断】warm-start(上一 chunk 后缀加噪,t_w≈0.15)对 50 Hz
|
|
|
|
|
|
闭环特别有价值:它让相邻决策沿用同一模态,抑制左右跳变。但这只是推断,论文没有测模态一致性。</li>
|
|
|
|
|
|
<li>SGR 建议关闭,或 λ≤0.05,因为原文 λ=0.5 时出现模态塌缩。</li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
<li><strong>MeanFlow(MP1 配方,不加 CFG,或 ω=1)</strong>。在 5M
|
|
|
|
|
|
规模上 JVP 成本可接受。若出现 loss 尖峰,可以借鉴 K-MF 的中点分解,或
|
|
|
|
|
|
OMP 的 DDE。</li>
|
|
|
|
|
|
<li><strong>FreqPolicy 的 DCT 一致性</strong>:只作为辅助正则(降低
|
|
|
|
|
|
chunk 抖动),不单独作为主方法。</li>
|
|
|
|
|
|
<li><strong>不推荐:CP、OneDP</strong>。都依赖 teacher
|
|
|
|
|
|
训练,且分别有模态丢失(CP 原文自述)和 mode-seeking(OneDP
|
|
|
|
|
|
自述)。</li>
|
|
|
|
|
|
</ol>
|
|
|
|
|
|
<p><strong>无论选哪种方法都应加上的工程措施【推断,均未在上述论文中验证】:</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>运行时多样本 + 解析碰撞筛选</strong>:把 K 个噪声(如
|
|
|
|
|
|
8–32)打成一个 batch
|
|
|
|
|
|
做一次前向,用可微胶囊距离挑出无碰撞且代价最小的样本。这直接针对 §1 第 3
|
|
|
|
|
|
点(连续映射必然有样本落入缝隙)。</li>
|
|
|
|
|
|
<li><strong>模态一致性</strong>:在一次绕柱过程中锁定噪声,或使用
|
|
|
|
|
|
warm-start,避免每 20 ms 重采样时左右翻转。</li>
|
|
|
|
|
|
<li><strong>APG 后训练时保住双模态</strong>:只对 reward
|
|
|
|
|
|
求梯度会把整个分布推向单一模态。必须保留 FM/BC 锚定损失(类似 OFP 式
|
|
|
|
|
|
7、ReinFlow 的 W2/熵正则),并分别监控左/右样本比例。理想情况下,APG
|
|
|
|
|
|
应只把"缝隙样本"推离立柱(锐化分界),而不是改变左右比例。</li>
|
|
|
|
|
|
<li><strong>专门的多模态评估</strong>:成功率不够(见 §1 第 2
|
|
|
|
|
|
点)。应在同一状态下采 N
|
|
|
|
|
|
个样本,统计左/右/穿柱三类比例,以及立柱附近状态的最小胶囊距离分布。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="6-明确的不确定项">6. 明确的不确定项</h3>
|
|
|
|
|
|
<ol type="1">
|
|
|
|
|
|
<li>没有任何一篇论文在<strong>低维状态 + 已知几何障碍 +
|
|
|
|
|
|
双峰绕行</strong>的设定下给出定量的"穿越率/模态比例"。COT 的 Maze
|
|
|
|
|
|
证据最接近,但只有图,输入模态也未核实。</li>
|
|
|
|
|
|
<li>所有论文的模型规模都远大于 3–5M(OFP DiT 768×12;CP/OneDP
|
|
|
|
|
|
67–256M;COT 约 240M U-Net)。只有 ReinFlow 的 state
|
|
|
|
|
|
任务(0.16–0.8M)接近我们的规模。小模型能否学出陡峭的模态边界<strong>未知</strong>。</li>
|
|
|
|
|
|
<li>浏览器 ONNX 延迟:所有数字都来自 GPU,<strong>没有</strong>
|
|
|
|
|
|
WASM/WebGPU 数据。5M
|
|
|
|
|
|
参数单次前向在浏览器里大约需要几毫秒【粗略推断】,必须实测。</li>
|
|
|
|
|
|
<li>OFP 的推理硬件、OMP 和 COT 的 ms 延迟、OneDP/OFP/FreqPolicy
|
|
|
|
|
|
的代码、K-MF 的代码(尚未发布)均<strong>未核实或不可得</strong>。</li>
|
|
|
|
|
|
<li>Shortcut 与 COT 组合、warm-start 抑制模态跳变、APG
|
|
|
|
|
|
下的模态保持,都是<strong>推断</strong>,没有文献实验。</li>
|
|
|
|
|
|
<li>数据质量疑点:OMP Table 1 有一行与 MP1 完全相同;DM1
|
|
|
|
|
|
附录文字自相矛盾;OFP 只有仿真结果。</li>
|
|
|
|
|
|
<li>各论文基准不同(Robomimic 的 ph/mh 数据、DPPO 低质量数据、点云 vs
|
|
|
|
|
|
图像),跨论文的成功率数字<strong>不可直接比较</strong>。</li>
|
|
|
|
|
|
</ol>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="7-实际抓取的来源-url">7. 实际抓取的来源 URL</h3>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="https://arxiv.org/html/2507.10543">https://arxiv.org/html/2507.10543</a>
|
|
|
|
|
|
(MP1)</li>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="https://arxiv.org/html/2603.12480">https://arxiv.org/html/2603.12480</a>
|
|
|
|
|
|
(OFP)</li>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="https://arxiv.org/html/2512.19347">https://arxiv.org/html/2512.19347</a>
|
|
|
|
|
|
(OMP)</li>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="https://arxiv.org/html/2610.00864">https://arxiv.org/html/2610.00864</a>
|
|
|
|
|
|
(K-MF)</li>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="https://arxiv.org/html/2510.07865">https://arxiv.org/html/2510.07865</a>
|
|
|
|
|
|
(DM1)</li>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="https://arxiv.org/html/2405.07503">https://arxiv.org/html/2405.07503</a>
|
|
|
|
|
|
(Consistency Policy)</li>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="https://arxiv.org/html/2410.21257">https://arxiv.org/html/2410.21257</a>
|
|
|
|
|
|
(OneDP)</li>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="https://raw.githubusercontent.com/mlresearch/v305/main/assets/sochopoulos25a/sochopoulos25a.pdf">https://raw.githubusercontent.com/mlresearch/v305/main/assets/sochopoulos25a/sochopoulos25a.pdf</a>
|
|
|
|
|
|
(COT,PMLR 版全文)</li>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="https://arxiv.org/html/2505.01179v1">https://arxiv.org/html/2505.01179v1</a>
|
|
|
|
|
|
(COT,arXiv 版)</li>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="https://arxiv.org/html/2410.12557">https://arxiv.org/html/2410.12557</a>
|
|
|
|
|
|
(Shortcut Models)</li>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="https://arxiv.org/html/2505.22094">https://arxiv.org/html/2505.22094</a>
|
|
|
|
|
|
(ReinFlow)</li>
|
|
|
|
|
|
<li><a
|
|
|
|
|
|
href="https://arxiv.org/html/2506.08822v2">https://arxiv.org/html/2506.08822v2</a>
|
|
|
|
|
|
(FreqPolicy)</li>
|
|
|
|
|
|
<li>GitHub
|
|
|
|
|
|
存在性检查:LogSSim/MP1、guowei-zou/dm1-release、Aaditya-Prasad/consistency-policy、ansocho/cot_policy、kvfrans/shortcut-models、ReinFlow/ReinFlow、IntelChina-AI/K-MF(仅
|
|
|
|
|
|
README)</li>
|
|
|
|
|
|
<li>proceedings.mlr.press/v305/sochopoulos25a
|
|
|
|
|
|
摘要页通过搜索结果确认;全文使用上面的 PMLR PDF。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p>本地提取的全文文本:/workspace/work/out/survey/src/*.txt(同目录下另有其他任务的文件,与本报告无关)。</p>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h1 id="三代价引导与实时动作块rtc">三、代价引导与实时动作块(RTC)</h1>
|
|
|
|
|
|
<h2
|
|
|
|
|
|
id="代价引导扩散运动规划--实时分块rtc文献精读与对我方设定的评估">代价引导扩散运动规划
|
|
|
|
|
|
+ 实时分块(RTC)文献精读与对我方设定的评估</h2>
|
|
|
|
|
|
<blockquote>
|
|
|
|
|
|
<p>撰写:2026-10-17。全部结论来自下列已抓取的全文(HTML/PDF),引用均标注论文章节/表号。
|
|
|
|
|
|
标记约定:<strong>[原文]</strong> =
|
|
|
|
|
|
论文直接给出的数字/陈述;<strong>[推断]</strong> =
|
|
|
|
|
|
我基于原文对我方设定做的推理,论文未直接验证;<strong>[未验证]</strong>
|
|
|
|
|
|
= 未抓取全文或论文中仅有图、无可读数值。</p>
|
|
|
|
|
|
</blockquote>
|
|
|
|
|
|
<h3 id="0-我方设定评估基准">0. 我方设定(评估基准)</h3>
|
|
|
|
|
|
<p>6-DOF
|
|
|
|
|
|
机械臂;固定且精确已知的环境(一根立柱,胶囊体碰撞模型,解析距离);低维状态;闭环
|
|
|
|
|
|
50 Hz;动作块 H=16 步(320 ms);每周期提交 s=3 步(60 ms
|
|
|
|
|
|
重规划一次);浏览器端推理;生成器计划 1
|
|
|
|
|
|
步或少步;运行时无教师/规划器;精确安全层校验已提交步。</p>
|
|
|
|
|
|
<h3 id="1-已抓取的来源">1. 已抓取的来源</h3>
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr class="header">
|
|
|
|
|
|
<th>论文</th>
|
|
|
|
|
|
<th>URL</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tbody>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>MPD (IROS'23) 2308.01557</td>
|
|
|
|
|
|
<td><a
|
|
|
|
|
|
href="https://arxiv.org/pdf/2308.01557">https://arxiv.org/pdf/2308.01557</a></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>MPD 期刊版 2412.19948 (v3)</td>
|
|
|
|
|
|
<td><a
|
|
|
|
|
|
href="https://arxiv.org/html/2412.19948">https://arxiv.org/html/2412.19948</a></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>EDMP 2309.11414</td>
|
|
|
|
|
|
<td><a
|
|
|
|
|
|
href="https://arxiv.org/html/2309.11414">https://arxiv.org/html/2309.11414</a></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>GPD 2501.18229</td>
|
|
|
|
|
|
<td><a
|
|
|
|
|
|
href="https://arxiv.org/html/2501.18229">https://arxiv.org/html/2501.18229</a></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>CAMPD 2510.14615 (v2)</td>
|
|
|
|
|
|
<td><a
|
|
|
|
|
|
href="https://arxiv.org/html/2510.14615">https://arxiv.org/html/2510.14615</a></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>DiffusionSeeder 2410.16727</td>
|
|
|
|
|
|
<td><a
|
|
|
|
|
|
href="https://arxiv.org/html/2410.16727">https://arxiv.org/html/2410.16727</a></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>RTC 2506.07339 (v2)</td>
|
|
|
|
|
|
<td><a
|
|
|
|
|
|
href="https://arxiv.org/html/2506.07339">https://arxiv.org/html/2506.07339</a></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>Training-time RTC 2512.05964 (v2)</td>
|
|
|
|
|
|
<td><a
|
|
|
|
|
|
href="https://arxiv.org/html/2512.05964v2">https://arxiv.org/html/2512.05964v2</a></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>BID 2408.17355 (v4)</td>
|
|
|
|
|
|
<td><a
|
|
|
|
|
|
href="https://arxiv.org/html/2408.17355">https://arxiv.org/html/2408.17355</a></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>ACT 2304.13705</td>
|
|
|
|
|
|
<td><a
|
|
|
|
|
|
href="https://arxiv.org/pdf/2304.13705">https://arxiv.org/pdf/2304.13705</a></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</tbody>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
<p>未抓取、仅在检索结果中出现(<strong>[未验证]</strong>):Soft RTC /
|
|
|
|
|
|
"Action-Prior Denoising for Smooth Real-Time Chunking"(alphaxiv
|
|
|
|
|
|
2605.25537,据摘要把训练时 RTC
|
|
|
|
|
|
的二值前缀推广为连续权重窗口);FutureRTC(2607.24008);VLASH(2512.01031)、A2C2(2509.23224,训练时
|
|
|
|
|
|
RTC 论文 §II
|
|
|
|
|
|
提及:分别用"单个未来动作条件"和"轻量校正头"解决块间不连续)。</p>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="2-代价引导扩散运动规划">2. 代价引导扩散运动规划</h3>
|
|
|
|
|
|
<h4 id="21-各方法要点与关键数字">2.1 各方法要点与关键数字</h4>
|
|
|
|
|
|
<p><strong>MPD(IROS'23,2308.01557)</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>算法(§III-D, Alg.1):每个去噪步先算先验均值 μ_t,再在 μ_t
|
|
|
|
|
|
处加代价梯度 g=−Σλ_i∇c_i,<strong>丢弃协方差 Σ_t 缩放</strong>(否则 t→0
|
|
|
|
|
|
时引导消失)。训练/推理 <strong>25 个扩散步</strong>(§IV-A "trained for
|
|
|
|
|
|
25 diffusion steps")。</li>
|
|
|
|
|
|
<li>结果(Table I,100 个上下文×每上下文 100 条轨迹,RTX 3090;S =
|
|
|
|
|
|
批内至少一条无碰撞):
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>Panda Spheres(训练环境):DPrior 0.3 s / S 88% / 碰撞航点比 I 11.5%
|
|
|
|
|
|
→ MPD 1.1 s / S 100% / I 1.2%。</li>
|
|
|
|
|
|
<li>Panda Spheres-Extra Obstacles(新障碍):DPrior 0.3 s / 78% / I
|
|
|
|
|
|
23.9% → MPD 1.1 s / 93% / I 12.5%;CVAE-Posterior(先采样后优化)0.8 s /
|
|
|
|
|
|
45%。</li>
|
|
|
|
|
|
<li>Panda Shelf(训练环境):DPrior 100%/I 3.6% → MPD 100%/I 0.6%。</li>
|
|
|
|
|
|
<li>PointMass3D Maze-Extra:DPrior 51% → MPD 82%(I 14.8%→3.1%)。</li>
|
|
|
|
|
|
<li>代价:引导使时间约 0.3 s → 1.0–1.1
|
|
|
|
|
|
s(≈3.5×),作者称主要开销在代价梯度而非网络(§IV-B)。</li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
<li>真机(§IV-C):25 条无碰撞规划执行后 19/25
|
|
|
|
|
|
无碰撞,归因于球体碰撞近似误差。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>MPD 期刊版(2412.19948)</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>B 样条控制点空间扩散;<strong>DDIM 15 步 +
|
|
|
|
|
|
二次时间表</strong>;<strong>只在最后 i_cost=3 步施加代价梯度,每步 M=4
|
|
|
|
|
|
次内梯度步,共 12 次代价梯度步</strong>;用信赖域 δ=0.15
|
|
|
|
|
|
约束偏离先验均值(式 15),λ_prior∈[0.25,0.5](附录
|
|
|
|
|
|
B)。作者原话:高噪声水平下"this gradient produces little
|
|
|
|
|
|
effect",所以只在末段引导(§III-F)。</li>
|
|
|
|
|
|
<li>延迟(§IV-D, Fig.7):EnvSpheres3D-Panda,100 条轨迹总计 ≈0.56
|
|
|
|
|
|
s,其中扩散采样仅 0.057 s(≈3.8
|
|
|
|
|
|
ms/次网络前向),<strong>其余几乎全是代价梯度</strong>。</li>
|
|
|
|
|
|
<li>新障碍下有效轨迹占比(§IV-D):EnvWarehouse-Panda,Dprior 18.4% →
|
|
|
|
|
|
MPD 73.5%;vs 无信息 GP 先验+代价(≈CHOMP)成功率 67.8% → 96.0%。</li>
|
|
|
|
|
|
<li><strong>"先采样再优化"对照(与我们的"事后梯度投影"最接近)</strong>:基线
|
|
|
|
|
|
Dprior+Cost 使用<strong>相同数量</strong>的代价优化步(§IV-B)。真机
|
|
|
|
|
|
Table I:Dprior 成功 0%;Dprior+Cost 成功 100%、有效占比 37.0%、多样性
|
|
|
|
|
|
27.95;MPD 成功 100%、有效占比 78.0%、多样性 59.50。§IV-E/Fig.11
|
|
|
|
|
|
解释:轨迹大段已在障碍内时,事后梯度"更难把它移出碰撞"。</li>
|
|
|
|
|
|
<li>局限(§V):提到可用"每步投影到安全流形"替代分类器式引导,但"projection
|
|
|
|
|
|
can be computationally expensive"——未实验。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>EDMP(2309.11414)</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>在 MPD 基础上用 <strong>12 个代价函数集成</strong>(5 个相交体积 + 7
|
|
|
|
|
|
个扫掠体积),并行跑多条引导扩散,取最小碰撞代价(§III, Alg.1)。GPD
|
|
|
|
|
|
论文指出 EDMP 使用 T=256 去噪步(GPD §IV)。</li>
|
|
|
|
|
|
<li>结果(Table I/II,MπNets 测试集,成功率%):EDMP Global/Hybrid/Both
|
|
|
|
|
|
= 75.93/86.13/85.06;对比 MπNets(Hybrid 训练) 75.78/95.33/95.06。Table
|
|
|
|
|
|
III:单引导平均 79.25% vs 集成 89.30%。</li>
|
|
|
|
|
|
<li>失效模式(§III):SDF
|
|
|
|
|
|
型碰撞代价"在起终点之间有窄架子时挣扎";需"障碍膨胀"技巧才能诱出回撤行为(Fig.3)——即<strong>局部极小值、需手工调代价</strong>。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>GPD(2501.18229)</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>在 Bernstein 系数(8 个控制点)空间扩散,梯度经 Bᵀ 预条件(式
|
|
|
|
|
|
5)使整条轨迹"像拉绳子一样"整体移动;T=64(EDMP 为 256)。</li>
|
|
|
|
|
|
<li>Table I(单代价引导,成功率%
|
|
|
|
|
|
Global/Hybrid/Both,时间):PD(无引导多项式先验)32.11/40.38/41.54,0.22
|
|
|
|
|
|
s;MPD 51.33/62.27/67.12,7.32 s;EDMP-1G 53.11/66.50/68.88,7.95
|
|
|
|
|
|
s;<strong>GPD-1G 65.50/72.89/73.00,0.8 s</strong>。→
|
|
|
|
|
|
在同一参数化下,引导比无引导 +33 个百分点(Global),延迟 ×3.6。</li>
|
|
|
|
|
|
<li>Table II:GPD-7G 81.94/90.88/90.24(0.85
|
|
|
|
|
|
s);GPDS(单引导+RRT-Connect 拼接)87/92.83/92.61(1.9 s);单独
|
|
|
|
|
|
RRT-Connect 83.33/90.83/90.60(7.14 s)。</li>
|
|
|
|
|
|
<li>失效模式(§III-B,
|
|
|
|
|
|
Fig.3):航点空间引导只把个别航点推出碰撞,整条轨迹仍不可行;高噪声步的引导被去噪"拉回先验"所压倒。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>CAMPD(2510.14615)——反例:不用代价引导</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>无分类器引导(CFG),以障碍参数(球/长方体的位置尺寸)通过注意力条件化,无代价梯度(§III)。附录:T_train=25;DPM-Solver++
|
|
|
|
|
|
推理仅 <strong>T_inf=3 步</strong>;输出加高斯滤波。</li>
|
|
|
|
|
|
<li>Table I(随机球环境,100 条/批):0.066 s / 批,S
|
|
|
|
|
|
97.5%(w=1),可行轨迹率 FTR 79.4–82.8%;对比 MPD 3.165 s、S 80.7%、FTR
|
|
|
|
|
|
59.6%(部分随机球)。CFG 强度 w=5 时 FTR 降到
|
|
|
|
|
|
67.9%、平滑性变差(<strong>过强引导→离流形</strong>)。</li>
|
|
|
|
|
|
<li>Table II(MπNet 测试集,N_batch=12):DDPM 25 步 成功 90.7%(7+20
|
|
|
|
|
|
ms,IK+规划);<strong>DPM-Solver++ 3 步 w=1/2/5:86.9%/87.6%/78.9%(8+5
|
|
|
|
|
|
ms)</strong>;N_batch=64:DDPM 98.3%,3 步 96.2%/97.2%/93.3%(8+7
|
|
|
|
|
|
ms);cuRobo 92.0%(N=12, 26 ms)/93.8%(N=64, 111 ms)。→
|
|
|
|
|
|
<strong>少步(3 步)条件化生成器比 25 步只掉 ~1–4
|
|
|
|
|
|
个百分点</strong>。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>DiffusionSeeder(2410.16727)——扩散出种子 +
|
|
|
|
|
|
事后优化</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>深度图条件 DDPM,<strong>DDIM 5 步</strong>、12 条种子,6 ms(RTX
|
|
|
|
|
|
4090,含 ViT);然后 cuRobo 优化 N_iters 次(§4.3, §5)。</li>
|
|
|
|
|
|
<li>Table 1(部分观测):25 次迭代 85.1% / 15 ms 规划;50 次 85.8%;475
|
|
|
|
|
|
次 86.2%;cuRobo-100 77.9% / 207 ms。</li>
|
|
|
|
|
|
<li><strong>附录 7.8.3:在环代价引导(k=60, n=20
|
|
|
|
|
|
步/时刻,扫参最优)只把成功率从 80.6% 提到
|
|
|
|
|
|
81.1%</strong>;作者解释:条件化模型已输出低代价区域的种子。</li>
|
|
|
|
|
|
<li><strong>附录 7.8.9(无优化器)</strong>:纯扩散输出无碰撞率仅
|
|
|
|
|
|
≈38%,最大 jerk ≈270 rad/s³,经 cuRobo 优化降到 ≈106。→
|
|
|
|
|
|
事后优化是主要"纠错"手段。</li>
|
|
|
|
|
|
<li>分布外(附录 7.8.1,窄通道):DiffusionSeeder 与 cuRobo 同为
|
|
|
|
|
|
52.4%。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="22-问题逐条回答">2.2 问题逐条回答</h4>
|
|
|
|
|
|
<p><strong>Q1:1–2 步去噪时代价引导还有效吗?</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>[原文] 没有任何一篇在 1–2 步下测试过代价引导。</strong>
|
|
|
|
|
|
最少的是:MPD 期刊版 15 步 DDIM 且只在最后 3 步引导(每步 4
|
|
|
|
|
|
次内梯度),DiffusionSeeder 5 步(引导仅 +0.5 pt),CAMPD 3 步但用的是
|
|
|
|
|
|
CFG 不是代价梯度,RTC 用 5 步(是前缀修复引导,不是碰撞代价)。</li>
|
|
|
|
|
|
<li><strong>[原文] 少步会让梯度引导变得不稳定</strong>:RTC 附录
|
|
|
|
|
|
A.2——n=5 时引导权重 β 过大导致动作块发散、最大加速度上升(Fig.7),β
|
|
|
|
|
|
需夹到 5;作者明说图像修复常用 n=100,控制里 n=5 才需要夹紧。GPD/MPD
|
|
|
|
|
|
都说高噪声阶段的梯度基本无效。</li>
|
|
|
|
|
|
<li><strong>[推断]</strong> 在 1
|
|
|
|
|
|
步生成器上,"引导"在数学上退化为:一次网络前向 + 在输出(或其 x̂₁
|
|
|
|
|
|
估计)上做若干梯度步——等价于事后梯度投影;在 2
|
|
|
|
|
|
步时,只有第二步之前一次机会,与 MPD"仅末段 3
|
|
|
|
|
|
步引导、每步多次内迭代"的有效方案在结构上相同,即本质上也是"先验输出 +
|
|
|
|
|
|
局部优化"。所以对我们而言,"1–2 步 + 引导"与"1 步 +
|
|
|
|
|
|
事后投影"区别很小,选后者更简单。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>Q2:相对无引导提升多少,代价多少延迟?</strong> | 来源 |
|
|
|
|
|
|
无引导 | 有引导 | 延迟 | |---|---|---|---| | MPD-IROS Panda
|
|
|
|
|
|
Spheres(训练环境) | S 88%, I 11.5% | S 100%, I 1.2% | 0.3→1.1 s / 100
|
|
|
|
|
|
条 | | MPD-IROS Panda Spheres + 新障碍 | 78%, I 23.9% | 93%, I 12.5% |
|
|
|
|
|
|
同上 | | MPD-期刊 Warehouse + 新障碍 | 有效 18.4% | 73.5% | 0.56
|
|
|
|
|
|
s,其中网络 0.057 s | | GPD(MπNets Global) | PD 32.11% | GPD-1G 65.50%
|
|
|
|
|
|
| 0.22→0.8 s | | EDMP 集成 vs 单引导 | 79.25%(单) | 89.30%(12 个) |
|
|
|
|
|
|
EDMP 8.22 s(GPD Table II) | | DiffusionSeeder(条件化模型) | 80.6% |
|
|
|
|
|
|
81.1% | 在环引导 n=20/步,额外开销未报 | | CAMPD(无代价引导) | — | 3
|
|
|
|
|
|
步 86.9–87.6% vs MPD 慢 ~48× | 66 ms vs 3.165 s / 100 条 | <strong>规律
|
|
|
|
|
|
[原文+推断]</strong>:引导的增益在"先验不知道障碍"(新障碍、分布外)时大(+15~+55
|
|
|
|
|
|
pt),在"先验已被环境条件化/训练环境已覆盖"时小(DiffusionSeeder +0.5
|
|
|
|
|
|
pt;MPD 训练环境主要是把碰撞航点比从 11.5% 压到
|
|
|
|
|
|
1.2%)。我们的环境是固定的、训练数据可完全覆盖 → 属于后一类。</p>
|
|
|
|
|
|
<p><strong>Q3:失效模式</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>局部极小:EDMP §III(SDF
|
|
|
|
|
|
代价在窄架子间失败,需障碍膨胀、多代价集成);MPD-期刊
|
|
|
|
|
|
§I(优化方法依赖初始化);GPD Fig.3(逐航点推不出整段碰撞)。</li>
|
|
|
|
|
|
<li>离流形 / 分布偏移:MPD-期刊式 15 用 δ
|
|
|
|
|
|
信赖域"防止偏离先验太远导致分布偏移";RTC A.2:β 过大 → 发散、jerk
|
|
|
|
|
|
↑;CAMPD:CFG w=5 → FTR 82.8%→67.9%、平滑性变差。</li>
|
|
|
|
|
|
<li>高噪声阶段引导无效、被先验压倒(MPD-期刊 §III-F;GPD §III-B)。</li>
|
|
|
|
|
|
<li>未经优化的扩散输出动力学质量差:DiffusionSeeder 纯输出 jerk ≈270
|
|
|
|
|
|
rad/s³、无碰撞率 ≈38%(附录 7.8.9)。</li>
|
|
|
|
|
|
<li>分布外场景无优势:DiffusionSeeder 窄通道 52.4% = cuRobo。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>Q4:能否用"对输出块的事后梯度投影"替代引导?</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>[原文] 反对证据</strong>:MPD-期刊
|
|
|
|
|
|
Dprior+Cost(同等梯度步数)真机有效占比 37% vs MPD 78%,多样性 27.95 vs
|
|
|
|
|
|
59.50;CVAE-Posterior(先采样后优化)在 Panda+新障碍仅 45% vs MPD
|
|
|
|
|
|
93%。原因:先验样本大段穿过<strong>训练时不存在</strong>的障碍时,事后梯度难以把它推出来。</li>
|
|
|
|
|
|
<li><strong>[原文] 支持证据</strong>:DiffusionSeeder(环境条件化先验 +
|
|
|
|
|
|
事后优化 25–50 次)85–86%,在环引导几乎无增益;CAMPD 条件化 3
|
|
|
|
|
|
步无引导即达 87–97%。</li>
|
|
|
|
|
|
<li><strong>[推断] 对我方的结论:可以替代,而且更合适。</strong>
|
|
|
|
|
|
反对证据的前提是"推理时出现了先验没见过的障碍";我们的立柱是固定且已知的,先验在训练中就学会了绕柱的两种模式,事后投影只需修补小幅穿透/余量不足——正是事后局部优化擅长的。并且我们有解析胶囊距离,16×6=96
|
|
|
|
|
|
维块上做几次投影梯度步在 JS
|
|
|
|
|
|
中是亚毫秒级(未测)。唯一要防的是"整块已在柱子错误一侧"这类模式错误——投影修不了,应交给生成器多样本+安全层拒绝/回退。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="3-实时分块-rtc-与训练时前缀条件化">3. 实时分块 RTC
|
|
|
|
|
|
与训练时前缀条件化</h3>
|
|
|
|
|
|
<h4 id="31-rtc-算法250607339-3-alg1">3.1 RTC 算法(2506.07339, §3,
|
|
|
|
|
|
Alg.1)</h4>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>异步:执行当前块的同时生成下一块;推理延迟 d=⌊δ/Δt⌋ 内必然执行的前 d
|
|
|
|
|
|
个动作被"冻结",其余"修复"(inpainting)。约束 d ≤ s ≤
|
|
|
|
|
|
H−d(Fig.3)。</li>
|
|
|
|
|
|
<li>修复方法:基于 ΠGDM 的伪逆引导(式 2–4):v ← v + min(β,
|
|
|
|
|
|
(1−τ)/(τ·r_τ²))·(Y−¹)ᵀ diag(W)
|
|
|
|
|
|
∂¹/∂A^τ,<strong>每个去噪步需一次向量-雅可比积(反向传播)</strong>。β
|
|
|
|
|
|
为作者新增的权重夹紧,β=5。</li>
|
|
|
|
|
|
<li>软掩码(§3.2,式 5):前 d 步权重 1,之后到 H−s 指数衰减,最后 s
|
|
|
|
|
|
步为 0;作者称在 d
|
|
|
|
|
|
小时"critical"。A.4:指数衰减最好,线性几乎一样;Diffuser
|
|
|
|
|
|
式"硬覆盖"修复更便宜、"仍有一些收益"但不如引导式。</li>
|
|
|
|
|
|
<li>延迟估计:取最近 b=10 次延迟的最大值;s=max(d, s_min)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="32-所需推理步数与延迟">3.2 所需推理步数与延迟</h4>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>[原文]</strong> 仿真与真机都用 n=5(Table 4)。π0.5
|
|
|
|
|
|
上:每次去噪 14 ms→35 ms(2.5×),模型总延迟 76 ms→97 ms(Table 3);BID
|
|
|
|
|
|
N=16 为 115–223 ms(Table 1)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="33-是否适用于-1-步生成器">3.3 是否适用于 1 步生成器</h4>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>[原文]</strong> 作者:仅适用于扩散/流策略(§6);未测
|
|
|
|
|
|
n=1。A.2:τ=0 时权重无穷大必须夹紧;n=5、β≥4.25
|
|
|
|
|
|
时夹紧只决定第一步权重。</li>
|
|
|
|
|
|
<li><strong>[推断]</strong> n=1 时整个输出就由"τ=0 处夹紧的一步 + 一次
|
|
|
|
|
|
VJP"决定,引导强度完全由 β 人工设定,属于无依据的外推;Pokle 等从 τ>0
|
|
|
|
|
|
起步的变体作者未尝试。而且浏览器端推理(ONNX Runtime Web
|
|
|
|
|
|
等)做反向传播不方便。→ 对我们 <strong>不推荐推理时 RTC</strong>。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="34-实测收益-vs-时间集成--朴素分块">3.4 实测收益 vs 时间集成 /
|
|
|
|
|
|
朴素分块</h4>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li><strong>Kinetix 仿真(§4.1, Fig.5,H=8,2048
|
|
|
|
|
|
次/点)[原文定性,具体数值仅在图中,未读出]</strong>:TE "across the
|
|
|
|
|
|
board" 表现差,<strong>即使
|
|
|
|
|
|
d=0</strong>(多模态下有效动作的平均不一定有效);RTC 对延迟最鲁棒,领先
|
|
|
|
|
|
BID 且差距随 d 增大;硬掩码弱于软掩码(d 小时更明显);RTC
|
|
|
|
|
|
执行步长越短越好。</li>
|
|
|
|
|
|
<li><strong>真机(§4.2, Fig.6,π0.5,6 任务,480
|
|
|
|
|
|
回合)</strong>:吞吐量在所有延迟下最佳,+100/+200 ms 时显著;RTC
|
|
|
|
|
|
对注入延迟"完全鲁棒",同步推理线性退化;<strong>两种 TE 在 +100/+200 ms
|
|
|
|
|
|
下振荡到触发保护停机</strong>;Fig.1:同样动作比同步快 20%,比 TE
|
|
|
|
|
|
更平滑;点蜡烛任务最终得分优势大。</li>
|
|
|
|
|
|
<li><strong>BID(2408.17355)</strong>:N=16, K=3;相对 vanilla 闭环
|
|
|
|
|
|
+32%,与 EMA(=TE) 组合 +46%(§5.2, Fig.7);EMA 在 7 任务中 2
|
|
|
|
|
|
个下降,且最优衰减率因任务而异(附录 A.4);VQ-BeT 上 1→16 样本成功
|
|
|
|
|
|
49.1%→54.2%,时间 13.2→25.9 ms(Table 2)。RTC 论文称 BID 在仿真不如 RTC
|
|
|
|
|
|
且算力高很多。</li>
|
|
|
|
|
|
<li><strong>ACT 原文(2304.13705, §VI-A, Fig.8b)</strong>:TE 对 ACT
|
|
|
|
|
|
+3.3%,对 BC-ConvMLP +4%,对 VINN 下降;注意 ACT 测试时把 CVAE 的 z 设为
|
|
|
|
|
|
0(确定性解码,§IV),即 <strong>TE
|
|
|
|
|
|
在"单峰确定性"预测上才有效</strong>——这正是它在多模态扩散/流策略上失效的原因。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="35-更简单的训练时前缀条件化是否有效251205964">3.5
|
|
|
|
|
|
更简单的训练时前缀条件化是否有效(2512.05964)</h4>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>方法(§IV):训练时随机采样延迟
|
|
|
|
|
|
d,前缀用真值非噪声动作并把其流匹配时间设为 1,只对后缀算损失;需允许逐
|
|
|
|
|
|
token 不同时间步(adaLN 的 scale/shift/gate 逐
|
|
|
|
|
|
token);推理零额外开销(Alg.1 代码几行)。</li>
|
|
|
|
|
|
<li>结果 <strong>[原文]</strong>:仿真中 d≥2 时优于推理时 RTC,差距随 d
|
|
|
|
|
|
增大而扩大;<strong>d=0、1 时"very marginally
|
|
|
|
|
|
worse"</strong>(Fig.3,数值仅在图中)。真机
|
|
|
|
|
|
π0.6(盒子组装、意式咖啡):成功率与时长与推理时 RTC 持平,端到端延迟
|
|
|
|
|
|
108 ms(d≈5)vs 135 ms(d≈7)。</li>
|
|
|
|
|
|
<li>局限 <strong>[原文]</strong>:只支持"硬"前缀(d
|
|
|
|
|
|
个动作),不能像软掩码那样软利用剩余重叠;需按预期延迟选训练延迟分布(仿真用
|
|
|
|
|
|
{0..4} 指数递减权重,真机 U[0,10])。</li>
|
|
|
|
|
|
<li><strong>[推断]</strong> 对 1
|
|
|
|
|
|
步生成器天然适用:它只是"条件输入",与积分步数无关。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="36-对我方设定的特殊考量-推断">3.6 对我方设定的特殊考量
|
|
|
|
|
|
<strong>[推断]</strong></h4>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>我们 H=16、s=3;若浏览器单次推理 <20 ms,则 d=0–1,硬前缀只有 0–1
|
|
|
|
|
|
个动作——恰好是训练时 RTC
|
|
|
|
|
|
相对最弱、软掩码最有价值的区间。建议:把上一块的<strong>全部剩余重叠</strong>(16−3=13
|
|
|
|
|
|
步)作为条件输入,并按 RTC 式 5
|
|
|
|
|
|
的衰减思路在训练中随机截断/加噪("软前缀"),或参考 Soft
|
|
|
|
|
|
RTC(<strong>[未验证]</strong>)。这是对两篇论文的组合外推,需自己做消融。</li>
|
|
|
|
|
|
<li><strong>时间集成在我们场景有硬伤</strong>:立柱左右绕行是典型双模态;两条各自无碰撞的块取平均可能正好穿柱(RTC
|
|
|
|
|
|
Fig.2 正是此例)。安全层会拒掉,但会造成频繁回退/停顿。不建议用
|
|
|
|
|
|
TE。</li>
|
|
|
|
|
|
<li>安全层与 RTC
|
|
|
|
|
|
互补:前缀条件化保证块间连续性(减少安全层因加速度跳变而拒绝),安全层保证已提交
|
|
|
|
|
|
3 步的硬安全。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="4-对我方设定的结论表">4. 对我方设定的结论表</h3>
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr class="header">
|
|
|
|
|
|
<th>问题</th>
|
|
|
|
|
|
<th>结论</th>
|
|
|
|
|
|
<th>证据强度</th>
|
|
|
|
|
|
<th>不确定性</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tbody>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>1–2 步下用代价引导</td>
|
|
|
|
|
|
<td><strong>不采用</strong>;改为"生成器输出 + 事后解析梯度投影"</td>
|
|
|
|
|
|
<td>无论文测过 1–2 步引导 <strong>[推断]</strong>;少步引导不稳定 [原文
|
|
|
|
|
|
RTC A.2]</td>
|
|
|
|
|
|
<td>1 步下引导 vs 投影的差异未经实验</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>引导的预期增益</td>
|
|
|
|
|
|
<td>固定已知环境下小(先验已学会绕柱);主要收益是降低穿透/余量不足比例</td>
|
|
|
|
|
|
<td>DiffusionSeeder +0.5 pt;MPD 训练环境 I 11.5%→1.2% [原文]</td>
|
|
|
|
|
|
<td>我方先验的碰撞率需实测</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>引导延迟代价</td>
|
|
|
|
|
|
<td>论文中 3.5–50× 开销,几乎全在代价梯度</td>
|
|
|
|
|
|
<td>MPD/GPD/CAMPD [原文]</td>
|
|
|
|
|
|
<td>我方解析胶囊距离很便宜,开销会小得多
|
|
|
|
|
|
<strong>[推断,未测]</strong></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>事后投影替代引导</td>
|
|
|
|
|
|
<td><strong>可以</strong>,前提是障碍在训练分布内</td>
|
|
|
|
|
|
<td>支持:DiffusionSeeder、CAMPD;反对:MPD Dprior+Cost 37% vs
|
|
|
|
|
|
78%(仅在新障碍下)[原文]</td>
|
|
|
|
|
|
<td>投影修不了"走错侧"的模式错误,需多样本或安全层回退</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>失效模式</td>
|
|
|
|
|
|
<td>局部极小、离流形/jerk、模式错误</td>
|
|
|
|
|
|
<td>EDMP/GPD/RTC A.2/CAMPD/DiffusionSeeder [原文]</td>
|
|
|
|
|
|
<td>—</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>推理时 RTC(ΠGDM 修复)</td>
|
|
|
|
|
|
<td><strong>不推荐</strong>:需 VJP(浏览器难)、仅在 n=5 验证、n=1
|
|
|
|
|
|
无依据</td>
|
|
|
|
|
|
<td>[原文] + <strong>[推断]</strong></td>
|
|
|
|
|
|
<td>若改用少步(≥3–5)可重新评估</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>训练时前缀条件化</td>
|
|
|
|
|
|
<td><strong>推荐</strong>,对 1 步生成器天然适用、零推理开销</td>
|
|
|
|
|
|
<td>2512.05964 [原文](d≥2 优于 RTC,d≤1 略逊)</td>
|
|
|
|
|
|
<td>我方 d≈0–1,硬前缀很短;需加"软/全重叠"条件化并做消融
|
|
|
|
|
|
<strong>[推断]</strong></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>时间集成</td>
|
|
|
|
|
|
<td><strong>不推荐</strong></td>
|
|
|
|
|
|
<td>RTC 仿真 TE 全面差、真机触发保护停机;BID 中 EMA 不稳;ACT
|
|
|
|
|
|
仅在确定性单峰下 +3.3% [原文]</td>
|
|
|
|
|
|
<td>若生成器近似确定性单峰,TE 危害会小</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>BID</td>
|
|
|
|
|
|
<td>可作为对照/上限,但需 N≈16 批采样 + 弱模型</td>
|
|
|
|
|
|
<td>+32%(+46% 配 EMA),时间约 ×2 [原文]</td>
|
|
|
|
|
|
<td>浏览器批量推理的实际延迟未知</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</tbody>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
<h3 id="5-局限">5. 局限</h3>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>多篇关键数值只在图中(RTC Fig.5/6、训练时 RTC Fig.3/5、MPD-期刊
|
|
|
|
|
|
Fig.6、BID Fig.6/7),文本未给具体数字,本文只引用了定性结论。</li>
|
|
|
|
|
|
<li>所有运动规划论文都是 7-DOF Panda、离线规划整条轨迹(H=32–64),而非
|
|
|
|
|
|
16
|
|
|
|
|
|
步闭环滚动块;成功率口径多为"批内至少一条成功",与我们单样本闭环不同。</li>
|
|
|
|
|
|
<li>没有任何来源测试浏览器推理、1 步生成器 + 代价引导、或 50 Hz 下 d≈0–1
|
|
|
|
|
|
的 RTC。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h1 id="四后训练apgrl与遗漏范式">四、后训练(APG/RL)与遗漏范式</h1>
|
|
|
|
|
|
<h2
|
|
|
|
|
|
id="后训练fine-tune方案与遗漏范式评估">后训练(fine-tune)方案与遗漏范式评估</h2>
|
|
|
|
|
|
<blockquote>
|
|
|
|
|
|
<p>范围:(A) 后训练方法(ELMP-APG、DPPO、ReinFlow、DRP/IMPACT、Neural MP
|
|
|
|
|
|
TTO),以及 APG 与 RL 的对比;(B) 可能遗漏的范式(C-space
|
|
|
|
|
|
距离场、TD-MPC2、Diffusion Forcing、(VQ-)BeT、IBC、Mamba、Geometric
|
|
|
|
|
|
Fabrics/RMPflow、cuRobo 式 GPU 轨迹优化做自监督精修)。
|
|
|
|
|
|
我们的设定:6-DOF
|
|
|
|
|
|
机械臂;环境固定且完全已知(一根立柱,胶囊体碰撞,有解析距离);低维状态;50
|
|
|
|
|
|
Hz 闭环;16 步 action chunk;3–5M 参数;浏览器推理;<strong>运行时不允许
|
|
|
|
|
|
teacher/planner</strong>(teacher 只能离线用于预训练数据);单张 RTX
|
|
|
|
|
|
3090 训练;近立柱困难用例必须 30/30;必须保留左/右绕行的多模态。
|
|
|
|
|
|
标注约定:<strong>[原文]</strong> =
|
|
|
|
|
|
已抓取全文并定位到章节;<strong>[摘要]</strong> =
|
|
|
|
|
|
只核对了摘要/检索摘录;<strong>[未验证]</strong> =
|
|
|
|
|
|
我的推断或背景知识,未在本次抓取的原文里核实。 原文全文(HTML 及抽取的
|
|
|
|
|
|
txt)存放在
|
|
|
|
|
|
<code>/workspace/work/out/survey/src/<arxiv_id>.{html,txt}</code>。</p>
|
|
|
|
|
|
</blockquote>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="0-结论速览-1">0. 结论速览</h3>
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr class="header">
|
|
|
|
|
|
<th>方法</th>
|
|
|
|
|
|
<th>结论</th>
|
|
|
|
|
|
<th>一句话理由</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tbody>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>ELMP 解析策略梯度(APG)</td>
|
|
|
|
|
|
<td><strong>采用(作为主后训练阶段)</strong></td>
|
|
|
|
|
|
<td>我们的环境固定、距离解析可得、运动学 rollout 天然可微,正是 APG
|
|
|
|
|
|
的理想条件;不需要新增专家数据</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>DPPO</td>
|
|
|
|
|
|
<td><strong>借鉴思路</strong>(若主干是扩散模型,用于"补最后几例")</td>
|
|
|
|
|
|
<td>能直接优化稀疏的 0/1
|
|
|
|
|
|
成功率,探索沿数据流形进行;但样本效率低,而且奖励不对称时会塌缩到单一模式</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>ReinFlow</td>
|
|
|
|
|
|
<td><strong>借鉴/备选</strong>(主干若为 flow/shortcut,优先于
|
|
|
|
|
|
DPPO)</td>
|
|
|
|
|
|
<td>1–4 步去噪即可做 RL;墙钟时间比 DPPO 少 62.82%;推理仍是确定性的
|
|
|
|
|
|
flow,适合浏览器</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>DRP / IMPACT 迭代师生微调</td>
|
|
|
|
|
|
<td><strong>采用其思路</strong>(离线 teacher 重标注 = 离线
|
|
|
|
|
|
DAgger)</td>
|
|
|
|
|
|
<td>teacher 只在离线用,符合规则;论文里成功率
|
|
|
|
|
|
+45%;对"近立柱擦碰"这种失败最有效</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>Neural MP 测试时优化(TTO)</td>
|
|
|
|
|
|
<td><strong>视规则而定:借鉴</strong>(运行时多采样 +
|
|
|
|
|
|
解析距离挑选)</td>
|
|
|
|
|
|
<td>用 K 个 chunk
|
|
|
|
|
|
采样再用胶囊距离打分很便宜,还能保住多模态;但它算不算"运行时
|
|
|
|
|
|
planner"需要你们拍板</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>CDF(C-space 距离场)</td>
|
|
|
|
|
|
<td><strong>借鉴</strong>(作为 APG 损失或策略输入特征)</td>
|
|
|
|
|
|
<td>关节空间梯度是单位范数,比"任务空间
|
|
|
|
|
|
SDF×雅可比"条件更好;立柱固定,可以离线预计算</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>RDF / Neural-JSDF</td>
|
|
|
|
|
|
<td><strong>否决</strong>(作为替代);Neural-JSDF 可作特征参考</td>
|
|
|
|
|
|
<td>我们已有精确的解析胶囊距离,学出来的距离只会更不准</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>TD-MPC2</td>
|
|
|
|
|
|
<td><strong>否决</strong>(可借鉴"学习的价值函数"来截断 BPTT)</td>
|
|
|
|
|
|
<td>动力学已知,没必要学世界模型;运行时 MPPI(512 样本×6
|
|
|
|
|
|
次迭代)本质上是 planner</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>Diffusion Forcing</td>
|
|
|
|
|
|
<td><strong>否决</strong>(可借鉴"带代价的引导采样")</td>
|
|
|
|
|
|
<td>优势在长序列和记忆,我们 16 步
|
|
|
|
|
|
chunk、低维、无部分可观测,用不上</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>VQ-BeT / BeT</td>
|
|
|
|
|
|
<td><strong>借鉴</strong>(显式离散"左/右模式 token"+连续残差)</td>
|
|
|
|
|
|
<td>显式离散化模式,最直接地保证左右多模态;单次前向推理</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>IBC(能量模型/隐式 BC)</td>
|
|
|
|
|
|
<td><strong>否决</strong></td>
|
|
|
|
|
|
<td>无导数优化(DFO)推理只适合 ≤5 维,我们的 chunk 是 16×6=96 维</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>Mamba / SSM 策略</td>
|
|
|
|
|
|
<td><strong>否决</strong></td>
|
|
|
|
|
|
<td>优势在长历史和视觉/3D
|
|
|
|
|
|
主干;我们是低维、短历史;浏览器端选择性扫描算子支持[未验证]</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>Geometric Fabrics / RMPflow(+学习组件)</td>
|
|
|
|
|
|
<td><strong>借鉴为离线 teacher / 安全层参考</strong></td>
|
|
|
|
|
|
<td>单独用会陷入局部极小;DRP 证明"策略+fabric"作离线 teacher
|
|
|
|
|
|
很有效</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>cuRobo 式 GPU 轨迹优化做自监督精修</td>
|
|
|
|
|
|
<td><strong>采用</strong>(离线:以策略 rollout 为初值做 L-BFGS
|
|
|
|
|
|
精修再蒸馏)</td>
|
|
|
|
|
|
<td>从策略样本出发精修,会留在同一同伦类(左/右),既保住多模态又补精度;离线使用符合规则</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</tbody>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="a-后训练方法">(A) 后训练方法</h3>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="a1-elmp--efficient-learning-for-motion-planning-via-analytical-policy-gradientsarxiv-260700215eth-rsl2026-06-30">A1.
|
|
|
|
|
|
ELMP — Efficient Learning for Motion Planning via Analytical Policy
|
|
|
|
|
|
Gradients(arXiv 2607.00215,ETH RSL,2026-06-30)</h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://arxiv.org/abs/2607.00215">https://arxiv.org/abs/2607.00215</a>
|
|
|
|
|
|
,全文 <a
|
|
|
|
|
|
href="https://arxiv.org/html/2607.00215v1">https://arxiv.org/html/2607.00215v1</a>
|
|
|
|
|
|
<strong>[原文]</strong></p>
|
|
|
|
|
|
<p><strong>是什么</strong>:两阶段训练。阶段 1 用约 60 万条 AIT*
|
|
|
|
|
|
专家轨迹做 BC(损失 = 动作 L2 + 碰撞球心 FK 点匹配,Eq.1)。阶段 2 用
|
|
|
|
|
|
APG 微调:把策略在可微运动学层里自回归展开 H
|
|
|
|
|
|
步,<code>q_{t+1}=clamp(q_t+Δq_t)</code>,然后对目标、碰撞、平滑三项损失做
|
|
|
|
|
|
BPTT(Alg.1,§III-C)。</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>目标项:位置平方误差 +
|
|
|
|
|
|
λ_rot·‖R_pred−R_tgt‖_F²(弦距离,避免四元数损失的梯度消失),<strong>只作用在终端
|
|
|
|
|
|
q_H</strong>(Alg.1 第 15–16 行)。</li>
|
|
|
|
|
|
<li>碰撞项:<code>Σ_t Σ_k ReLU(ε_margin − Φ_env(x_k(q_t)))</code>,用机器人球体近似和解析的原语
|
|
|
|
|
|
SDF(盒子、圆柱),并对非相邻连杆加自碰撞铰链损失(Eq.4,§III-D)。</li>
|
|
|
|
|
|
<li>平滑项:速度和加速度的二次惩罚(Eq.5)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>关键数字</strong>:</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>训练稳定性的处理(§IV-B):明确承认"长时域 BPTT
|
|
|
|
|
|
容易梯度消失或爆炸",对策只有 ① 用 BC 初始化作为稳定起点,② 梯度范数裁剪
|
|
|
|
|
|
≤1.0。此外用 Adam,lr 1e-4 加指数衰减,16 位混合精度。<strong>展开长度
|
|
|
|
|
|
H=69</strong>,APG 训练 50 个 epoch(batch 48,DDP),BC 训练 500 个
|
|
|
|
|
|
epoch;硬件 6×RTX 3090;ε_margin=0.03 m。<strong>没有截断
|
|
|
|
|
|
BPTT、没有学习的 critic、没有课程</strong>;SHAC
|
|
|
|
|
|
只在结论里列为面向接触丰富系统的未来工作(§V)。</li>
|
|
|
|
|
|
<li>Tab.I(1800 道留出题):ELMP-BC → ELMP-APG,环境碰撞率 31.3% →
|
|
|
|
|
|
8.9%;平滑轨迹 92.6% → 99.1%;1 cm 内位置精度 70.4% → 89.0%;15°
|
|
|
|
|
|
内姿态精度 76.7% → 93.5%。同一套 APG 套到 MπNets 上,碰撞率也从 16.3%
|
|
|
|
|
|
降到 10.8%。</li>
|
|
|
|
|
|
<li>数据效率(§IV-C,Fig.4):只用 1 万条专家轨迹预训练再做 APG,得到
|
|
|
|
|
|
72.0% 成功率、19.4% 碰撞率,<strong>已经超过用满 60 万条的纯
|
|
|
|
|
|
BC</strong>(57.9%、31.9%),相当于专家数据少 60 倍。APG
|
|
|
|
|
|
的增益在低数据区最大。</li>
|
|
|
|
|
|
<li>Tab.II:平均成功率 84.8%(cuRobo 86.1%,AIT* 76.7%,MπNets
|
|
|
|
|
|
50.1%,CuRobo-MPC 16.1%);冷启动 7.8 ms。在 Cubby(窄空间)上只有
|
|
|
|
|
|
72.7%,低于 cuRobo 的
|
|
|
|
|
|
88.0%:<strong>在高度受限的几何里仍不如优化器</strong>。</li>
|
|
|
|
|
|
<li>新环境迁移(§IV-F):零样本 57.3% → APG 89.8%,在同一批题上高于
|
|
|
|
|
|
BC+专家数据的 85.0%。采样一道题 82 ms,AIT* 求一条专家轨迹 21.5 s;20
|
|
|
|
|
|
万道题采样需 4.5 CPU 小时,同规模专家数据需 1194 CPU 小时以上。</li>
|
|
|
|
|
|
<li>加一项笛卡尔路径长度惩罚(ELMP-APG-Cartesian)后,末端路径从 0.85 m
|
|
|
|
|
|
缩到 0.63 m,碰撞率略升到 10.9%。说明换目标不需要新示范。</li>
|
|
|
|
|
|
<li>真机(§IV-G):30 Hz MPC 式闭环,成功率 72.2%,碰撞率 25%(仿真是
|
|
|
|
|
|
8.9%)。差距归因于深度相机噪声,与我们无关,因为我们的环境完全已知。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>对我们的适配:采用(作为主后训练阶段)</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>适配度极高。我们的胶囊体解析距离就是 ELMP 的
|
|
|
|
|
|
Φ_env(甚至更好:胶囊–胶囊距离精确、处处次可微)。环境只有一根立柱,不需要
|
|
|
|
|
|
PointNet,展开计算极轻。3–5M 参数的低维网络,在 1 张 3090 上跑 batch
|
|
|
|
|
|
数千条并行 BPTT 应该可行(ELMP 用 6 卡是因为 PointNet++ 处理 6272
|
|
|
|
|
|
点)。<strong>单卡可行性是推断 [未验证]</strong>。</li>
|
|
|
|
|
|
<li>我们需要的改动:
|
|
|
|
|
|
<ol type="1">
|
|
|
|
|
|
<li><strong>展开单位是 chunk</strong>:50 Hz、16 步 chunk。如果每 8
|
|
|
|
|
|
步重规划一次、一个回合 3–6 s,就是约 150–300 个控制步、20–40
|
|
|
|
|
|
次策略调用。BPTT 深度按策略调用次数算,比 ELMP 的 69
|
|
|
|
|
|
次调用更深或相当(ELMP
|
|
|
|
|
|
每步都调用策略)。<strong>这些回合长度是我的假设,请按实际 episode
|
|
|
|
|
|
长度核对。</strong></li>
|
|
|
|
|
|
<li><strong>梯度爆炸对策(ELMP 之外的补充,[未验证]
|
|
|
|
|
|
为背景知识)</strong>:
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>截断 BPTT:每 k 次策略调用 detach 一次 q。</li>
|
|
|
|
|
|
<li>对 q_t 的梯度做逐步裁剪或衰减(γ-discount backprop)。</li>
|
|
|
|
|
|
<li>短窗口 + 终端价值(SHAC 式,ELMP §V 提到 SHAC)。</li>
|
|
|
|
|
|
<li>保留 BC 损失作为锚点(ELMP 原文没写联合 BC
|
|
|
|
|
|
损失,属于我的建议)。</li>
|
|
|
|
|
|
<li>积分步本身是 <code>q+Δq</code>,雅可比为 I + ∂π/∂q。只要策略对 q 的
|
|
|
|
|
|
Lipschitz 常数不大,爆炸风险主要来自网络而非动力学;可用谱归一化或
|
|
|
|
|
|
LayerNorm 控制。</li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
<li><strong>铰链损失的盲区</strong>:ReLU(ε−d) 在 d>ε 时梯度为 0。当
|
|
|
|
|
|
BC 策略的轨迹"冲着柱子中心"时,SDF
|
|
|
|
|
|
梯度只能侧推,<strong>无法跨同伦类</strong>(不会从"撞上"直接变成"绕左/绕右"),而且对称位置的梯度可能相互抵消。近立柱困难用例可能卡在局部极小,因此单靠
|
|
|
|
|
|
APG 不一定能到 30/30(推断)。</li>
|
|
|
|
|
|
<li><strong>多模态风险</strong>:若主干是扩散或 flow,APG
|
|
|
|
|
|
需要对采样链做重参数化反传(flow 用 1–4
|
|
|
|
|
|
步最可行)。梯度会把每个样本在它自己的模式内往外推,大体能保住左/右;但会压缩方差,让输出趋向确定性。如果立柱一侧代价更低,也会改变左右比例。需要监控左/右比例,并加
|
|
|
|
|
|
BC 或 KL 锚定(推断)。</li>
|
|
|
|
|
|
<li>我们的成功判据(30/30)是二值的,APG
|
|
|
|
|
|
优化的是稠密代理损失。代理与判据之间要对齐:ε_margin
|
|
|
|
|
|
设成略大于验收裕度,并对困难用例采样加权。</li>
|
|
|
|
|
|
</ol></li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="a2-dppo--diffusion-policy-policy-optimizationarxiv-240900588">A2.
|
|
|
|
|
|
DPPO — Diffusion Policy Policy Optimization(arXiv 2409.00588)</h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2409.00588">https://arxiv.org/html/2409.00588</a>
|
|
|
|
|
|
<strong>[原文]</strong></p>
|
|
|
|
|
|
<p><strong>是什么</strong>:把去噪过程视为一个 MDP,嵌进环境
|
|
|
|
|
|
MDP,组成双层的 "Diffusion Policy
|
|
|
|
|
|
MDP"。每个去噪步都是高斯似然,因此可以直接用 PPO(§4,Fig.3)。</p>
|
|
|
|
|
|
<p><strong>关键数字和技巧</strong>:</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>只微调最后 K′ 个去噪步,或者改用 DDIM 微调(训练时 η=1,评估时
|
|
|
|
|
|
η=0,最少可到 5 步)(§4.3)。state 输入时预训练 20 步、微调最后 10
|
|
|
|
|
|
步(§5.3)。K′ 太小(如 3)会降低渐近性能(App C.2)。</li>
|
|
|
|
|
|
<li>探索噪声:σ_k 下限 σ_min^exp 取 0.01–0.1,似然评估时
|
|
|
|
|
|
σ_min^prob=0.1(§4.3)。PPO 的 clip 比例按"被裁剪样本占
|
|
|
|
|
|
10–20%"来调,早期去噪步的 ε 用 0.1×(App)。</li>
|
|
|
|
|
|
<li>MLP 头比 UNet 更容易稳定微调;MLP 下 T_a<T_p 会不稳定(§4.3
|
|
|
|
|
|
脚注)。<strong>T_a=16 时 DPPO 仍能稳定提升,Gaussian/GMM
|
|
|
|
|
|
则可能完全学不动(§6,Fig.11 右)</strong>。这一点和我们的 16 步 chunk
|
|
|
|
|
|
直接相关。</li>
|
|
|
|
|
|
<li>Robomimic(state 输入):Lift/Can 收敛到约 100%,Transport 超过
|
|
|
|
|
|
90%(§5.3)。Furniture-Bench 真机零样本 80%(16/20),Gaussian 策略仿真
|
|
|
|
|
|
88%、真机 0%(§5.4)。</li>
|
|
|
|
|
|
<li>墙钟时间:DPPO-MLP 比 Gaussian 慢 21–24%(App D);从零训练约是
|
|
|
|
|
|
Gaussian 的 6 倍(App C.3)。<strong>样本效率低于 off-policy
|
|
|
|
|
|
方法</strong>,是作者承认的主要局限(§7)。</li>
|
|
|
|
|
|
<li><strong>多模态相关</strong>:在 D3IL Avoid
|
|
|
|
|
|
实验(§6,Fig.10)里,作者<strong>特意只奖励"最上方模式"</strong>,DPPO
|
|
|
|
|
|
就会收敛到这个模式。也就是说,RL 会按奖励重塑模式分布。另外
|
|
|
|
|
|
App(Kitchen)指出:预训练没学到的模式,DPPO 也补不回来。</li>
|
|
|
|
|
|
<li>结构化、在流形上的探索:去噪的多轮噪声让探索留在专家数据流形附近,适合"预训练已覆盖成功模式"的情形(§6
|
|
|
|
|
|
Benefit 1)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>对我们的适配:借鉴思路</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>优点:直接优化 0/1 成功(例如"30/30、零碰撞"这种不可微判据);对长
|
|
|
|
|
|
chunk 稳定。我们的仿真只是运动学积分加解析距离,在 3090
|
|
|
|
|
|
上并行几千到几万个环境的成本极低,因此 RL
|
|
|
|
|
|
的"样本贵"在我们这里大幅缓解(推断)。</li>
|
|
|
|
|
|
<li>缺点:
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>如果左/右奖励不完全对称,或某侧略易成功,PPO
|
|
|
|
|
|
会把概率质量移到一侧,<strong>违背"保留左右多模态"</strong>。需要按模式平衡奖励或采样(例如按初始
|
|
|
|
|
|
BC 样本的绕行侧分组计算优势),或者显式加模式条件(见 B6)。</li>
|
|
|
|
|
|
<li>需要扩散主干,浏览器推理要跑 K 步去噪;部署时可以用 DDIM 少步。</li>
|
|
|
|
|
|
</ul></li>
|
|
|
|
|
|
<li>建议定位:APG 之后若仍剩少量困难失败,用 DPPO/ReinFlow
|
|
|
|
|
|
以稀疏成功奖励"补尾巴",并加模式平衡。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="a3-reinflow--fine-tuning-flow-matching-policy-with-online-rlarxiv-250522094">A3.
|
|
|
|
|
|
ReinFlow — Fine-tuning Flow Matching Policy with Online RL(arXiv
|
|
|
|
|
|
2505.22094)</h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2505.22094">https://arxiv.org/html/2505.22094</a>
|
|
|
|
|
|
<strong>[原文]</strong></p>
|
|
|
|
|
|
<p><strong>是什么</strong>:在 flow
|
|
|
|
|
|
的确定性路径上加一个可学习的噪声网络(noise injection net),把 flow
|
|
|
|
|
|
变成离散时间马尔可夫过程,得到精确、闭式的高斯似然,然后用 PPO
|
|
|
|
|
|
式裁剪目标联合训练速度网络和噪声网络(§4.1–4.3,Alg.1)。<strong>微调后丢掉噪声网络,部署的仍是确定性
|
|
|
|
|
|
flow</strong>(§4.3)。</p>
|
|
|
|
|
|
<p><strong>关键数字</strong>:</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>摘要和 §1:Rectified Flow 在运动任务上回报平均净增
|
|
|
|
|
|
135.36%,墙钟时间比 DPPO 省 82.63%。Shortcut
|
|
|
|
|
|
模型在操作任务上成功率平均净增 40.34%,<strong>可以只用 4 步甚至 1
|
|
|
|
|
|
步去噪</strong>;总体墙钟时间比 DPPO 少 62.82%。</li>
|
|
|
|
|
|
<li>Robomimic 视觉任务成功率平均提升 45.77%,Can/Square 只用 1
|
|
|
|
|
|
步,Transport 用 4 步(§5.2)。</li>
|
|
|
|
|
|
<li>去噪步数从 DPPO 的 10 步降到 4 步(App B)。成功率收敛到 100%
|
|
|
|
|
|
时,噪声水平会自然衰减(§4.3)。</li>
|
|
|
|
|
|
<li>正则(§4.4,§6):默认在 state 任务上用熵正则;W2
|
|
|
|
|
|
正则约束会限制提升。噪声幅度是最关键的超参:过小探索不足,适中时回报可达
|
|
|
|
|
|
3 倍。</li>
|
|
|
|
|
|
<li>局限(§7):on-policy,样本效率不高;对噪声幅度敏感。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>对我们的适配:借鉴/备选(若走 RL 路线,优先于
|
|
|
|
|
|
DPPO)</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>与浏览器部署最兼容:1–4 步 flow,推理成本约等于 1–4 次 MLP
|
|
|
|
|
|
前向。</li>
|
|
|
|
|
|
<li>同样有 RL 的模式塌缩风险(见
|
|
|
|
|
|
A2),需要模式平衡。熵正则对保持左右两支可能有帮助,但论文<strong>没有</strong>测多模态保持
|
|
|
|
|
|
[未验证]。</li>
|
|
|
|
|
|
<li>主干若是 flow/shortcut,也可以先 APG(通过 1–4 步 flow 反传)再
|
|
|
|
|
|
ReinFlow。二者共用同一个网络。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="a4-deep-reactive-policydrp-impactarxiv-250906953作业说是-corl-2025arxiv-页面只写了网站链接会议归属未验证">A4.
|
|
|
|
|
|
Deep Reactive Policy(DRP)/ IMPACT(arXiv 2509.06953;作业说是 CoRL
|
|
|
|
|
|
2025,arXiv 页面只写了网站链接,<strong>会议归属未验证</strong>)</h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2509.06953">https://arxiv.org/html/2509.06953</a>
|
|
|
|
|
|
<strong>[原文]</strong></p>
|
|
|
|
|
|
<p><strong>是什么</strong>:IMPACT 是一个以点云为条件、带 action chunk
|
|
|
|
|
|
的 Transformer 策略,预训练数据是 cuRobo 生成的 1000
|
|
|
|
|
|
万条轨迹(§3.1)。随后做<strong>迭代师生微调</strong>(§3.2):teacher =
|
|
|
|
|
|
冻结的 IMPACT 输出 chunk 的第一个动作作为中间目标,交给 Geometric
|
|
|
|
|
|
Fabrics(用特权 SDF 的局部避障控制器)精修,得到 q_e,再用 q_e 监督
|
|
|
|
|
|
student。在 IsaacGym 里并行,每 1 万个梯度步用 student 替换 teacher 里的
|
|
|
|
|
|
base,循环往复。作者特意<strong>不用 cuRobo 当微调
|
|
|
|
|
|
teacher</strong>,因为每个仿真步、每个并行环境都调用规划器代价太高(§3.2)。运行时还叠加
|
|
|
|
|
|
DCP-RMP,处理动态障碍(§3.3)。</p>
|
|
|
|
|
|
<p><strong>关键数字</strong>:</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>迭代师生微调让成功率比预训练提升 45%(§3.2,Tab.6)。Tab.1:Static
|
|
|
|
|
|
Environment 上 IMPACT 无微调 58.25 → 微调后
|
|
|
|
|
|
84.60;cuRobo(有特权信息)82.97。</li>
|
|
|
|
|
|
<li>网络:4.67M 参数,冷启动 3.48 ms,300 Hz(RTX 4090)。NeuralMP 加
|
|
|
|
|
|
TTO 是 20M 参数、2970 ms(App E,Tab.5)。</li>
|
|
|
|
|
|
<li>架构:6 层解码器、8 头、隐藏维 128、FF 1024,<strong>action chunk
|
|
|
|
|
|
10</strong>(Tab.7)。</li>
|
|
|
|
|
|
<li>消融:同数据同微调下,IMPACT 比 NeuralMP 的 LSTM-GMM 再高 9%(App
|
|
|
|
|
|
D,Tab.4)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>对我们的适配:采用其思路(离线 teacher 重标注 = 离线
|
|
|
|
|
|
DAgger)</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>规模几乎一模一样:4.67M 参数,与我们的 3–5M 吻合;chunk 10 与我们的
|
|
|
|
|
|
16 接近。</li>
|
|
|
|
|
|
<li>"teacher 只在离线用"完全符合我们的规则:在 policy
|
|
|
|
|
|
自己访问到的状态上(特别是近立柱、即将擦碰的状态),离线调用
|
|
|
|
|
|
teacher(我们现有的 planner,或
|
|
|
|
|
|
fabric/局部优化器)重标注,再蒸馏。这正面解决 BC 的协变量偏移。DRP
|
|
|
|
|
|
的失败分析也是"预训练策略经常小擦碰"(§3.2),和我们近立柱用例的症状一致。</li>
|
|
|
|
|
|
<li>多模态:如果 teacher 只做局部精修(fabric 或局部优化),就会保持
|
|
|
|
|
|
student
|
|
|
|
|
|
当前所在的绕行侧。<strong>不要用全局规划器重新规划去当标签</strong>:全局规划器可能把左侧状态标成右侧路线,破坏模式一致性(推断)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="a5-neural-mp-测试时优化arxiv-240905864">A5. Neural MP
|
|
|
|
|
|
测试时优化(arXiv 2409.05864)</h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2409.05864">https://arxiv.org/html/2409.05864</a>
|
|
|
|
|
|
<strong>[原文]</strong></p>
|
|
|
|
|
|
<p><strong>是什么</strong>:PointNet++ 加 LSTM 加 GMM 输出头,用 100
|
|
|
|
|
|
万到 300 万条
|
|
|
|
|
|
AIT*(经样条平滑)轨迹蒸馏。测试时假设障碍静止、控制器能精确跟踪,用线性前向模型从策略<strong>采样
|
|
|
|
|
|
N 条完整轨迹</strong>,用机器人 SDF
|
|
|
|
|
|
统计与场景点云的穿透,选穿透最少的那条执行(§III-C,Eq.,"selecting the
|
|
|
|
|
|
path with minimal objective value across 100 trajectories")。</p>
|
|
|
|
|
|
<p><strong>关键数字</strong>:</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>真机无物体任务(Tab.I,§V):基础策略 66.67%(AIT*-80s 是
|
|
|
|
|
|
72.92%),加 TTO 达到 95.83%;规划时间从 1 s 增到 3 s。</li>
|
|
|
|
|
|
<li>手持物体:完整方法 81%,去掉 TTO 31%,去掉 Objaverse 数据
|
|
|
|
|
|
44%(§V)。</li>
|
|
|
|
|
|
<li>App VIII-C:Bins 场景的 100 条采样轨迹里有 25% 完全无碰撞,TTO
|
|
|
|
|
|
从中挑选;基础策略的失败多是"回归不精导致的轻微擦碰"。</li>
|
|
|
|
|
|
<li>数据缩放:1K 条 15%,10K 条 50%,100K 条 65%,1M 条 80%(§V
|
|
|
|
|
|
仿真)。</li>
|
|
|
|
|
|
<li>编码器大小 4M/8M/16M 参数对应 94%/93%/92%,最小的反而最好(App
|
|
|
|
|
|
IX)。GMM 比 L2/L1/PointMatch 分别高 7%/12%/24%。</li>
|
|
|
|
|
|
<li>DRP 的 Tab.5 给出 NeuralMP 加 TTO 的冷启动为 2970 ms。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>对我们的适配:借鉴(视规则而定)</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>我们可以做轻量版:每次重规划时从生成式策略采样 K(例如 8–32)个 16
|
|
|
|
|
|
步
|
|
|
|
|
|
chunk,用<strong>解析胶囊距离</strong>打分(最小间隙、终端误差),选最优。浏览器端代价约为
|
|
|
|
|
|
K 次前向加 K×16×(连杆胶囊数) 次距离计算,50 Hz 下可承受(推断)。</li>
|
|
|
|
|
|
<li>这样还能<strong>保住多模态</strong>:采样覆盖左右两支,打分只剔除碰撞样本。</li>
|
|
|
|
|
|
<li><strong>需要你们判断</strong>:用解析距离做运行时评分是否算"运行时
|
|
|
|
|
|
planner"。它不调用 teacher,只是碰撞检查加 argmin;比 Neural MP 的整轨迹
|
|
|
|
|
|
TTO 轻得多。若规则不允许,就只在训练评估时使用,或者用它来生成 APG/RL
|
|
|
|
|
|
的困难用例。</li>
|
|
|
|
|
|
<li>局限:选择只发生在已采样的集合内。若 K 个样本全部撞柱,TTO
|
|
|
|
|
|
救不了;它是补丁而不是根治。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="a6-apg-与-rl-在我们设定下的对比">A6. APG 与 RL
|
|
|
|
|
|
在我们设定下的对比</h4>
|
|
|
|
|
|
<table>
|
|
|
|
|
|
<thead>
|
|
|
|
|
|
<tr class="header">
|
|
|
|
|
|
<th>维度</th>
|
|
|
|
|
|
<th>APG(ELMP 式)</th>
|
|
|
|
|
|
<th>RL(DPPO / ReinFlow)</th>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</thead>
|
|
|
|
|
|
<tbody>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>样本效率</td>
|
|
|
|
|
|
<td>很高:每条 rollout 都给出全参数的精确梯度。ELMP 用 1 万条示范加 APG
|
|
|
|
|
|
就超过 60 万条纯 BC(§IV-C)<strong>[原文]</strong></td>
|
|
|
|
|
|
<td>低:on-policy PPO,DPPO §7 自认低于 off-policy;ReinFlow §7 同样自认
|
|
|
|
|
|
<strong>[原文]</strong></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>墙钟时间(单张 3090,我们的运动学仿真)</td>
|
|
|
|
|
|
<td>每步计算是"前向+反传 BPTT",显存随 H×batch 线性增长;预计数小时级
|
|
|
|
|
|
<strong>[未验证估计]</strong></td>
|
|
|
|
|
|
<td>仿真极便宜,可大规模并行;ReinFlow 比 DPPO 省 62.82% 墙钟时间
|
|
|
|
|
|
<strong>[原文]</strong>;整体预计与 APG 同量级或更慢
|
|
|
|
|
|
<strong>[未验证估计]</strong></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>稳定性</td>
|
|
|
|
|
|
<td>依赖 BC 初始化和梯度裁剪(ELMP
|
|
|
|
|
|
§IV-B);长展开有爆炸/消失和混沌损失面的风险(ELMP 引用 Metz 2021)</td>
|
|
|
|
|
|
<td>DPPO 和 ReinFlow 都报告微调稳定;对 clip
|
|
|
|
|
|
比例、噪声下限、噪声幅度敏感 <strong>[原文]</strong></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>能处理的目标</td>
|
|
|
|
|
|
<td>只能处理<strong>可微</strong>的稠密代价:间隙铰链、终端位姿、平滑、路径长度</td>
|
|
|
|
|
|
<td>任意奖励,包括<strong>稀疏 0/1
|
|
|
|
|
|
成功</strong>和"零碰撞"这类不可微判据</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>跨同伦类</td>
|
|
|
|
|
|
<td>不能(局部梯度只侧推)<strong>[推断]</strong></td>
|
|
|
|
|
|
<td>可以,但前提是探索覆盖到另一模式(DPPO
|
|
|
|
|
|
的探索停在数据流形附近)<strong>[原文 §6]</strong></td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="even">
|
|
|
|
|
|
<td>多模态保持</td>
|
|
|
|
|
|
<td>每个样本在自己的模式内被推;风险是方差压缩、比例漂移
|
|
|
|
|
|
<strong>[推断]</strong></td>
|
|
|
|
|
|
<td>风险较大:会按奖励重塑模式(D3IL
|
|
|
|
|
|
实验)<strong>[原文]</strong>;需要模式平衡</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
<tr class="odd">
|
|
|
|
|
|
<td>主干要求</td>
|
|
|
|
|
|
<td>确定性策略最简单;扩散/flow 需对采样链做重参数化反传</td>
|
|
|
|
|
|
<td>需要随机策略:扩散用 DPPO,flow 用 ReinFlow</td>
|
|
|
|
|
|
</tr>
|
|
|
|
|
|
</tbody>
|
|
|
|
|
|
</table>
|
|
|
|
|
|
<p><strong>BPTT 时域问题小结</strong>:ELMP 只用了"BC 初始化 +
|
|
|
|
|
|
梯度范数裁剪 ≤1 + 混合精度 + lr 1e-4 指数衰减",展开 H=69
|
|
|
|
|
|
步就稳定了(§IV-B)<strong>[原文]</strong>。我们若按 chunk
|
|
|
|
|
|
展开、总控制步 150–300,可以加这些手段
|
|
|
|
|
|
<strong>[未验证,建议]</strong>:</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>截断 BPTT(例如每 2–4 个 chunk detach 一次);</li>
|
|
|
|
|
|
<li>碰撞项按时间步加权,困难区间权重更高;</li>
|
|
|
|
|
|
<li>SHAC 式短窗口加学习的终端价值(ELMP §V 提及);</li>
|
|
|
|
|
|
<li>联合保留 BC 损失(权重逐步退火);</li>
|
|
|
|
|
|
<li>先短后长的课程(展开长度逐步增加)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>推荐流水线(推断)</strong>:BC 预训练(含左右两模式)→ 离线
|
|
|
|
|
|
teacher 重标注 / DAgger(A4)以及 cuRobo 式离线精修蒸馏(B10)→ APG
|
|
|
|
|
|
微调稠密代价(A1)→ 若困难用例仍未到 30/30,用 ReinFlow/DPPO
|
|
|
|
|
|
加模式平衡的稀疏成功奖励补尾巴(A2/A3)→(规则允许时)运行时 K
|
|
|
|
|
|
采样加解析距离挑选(A5)作为最后的安全网。</p>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="b-可能遗漏的范式">(B) 可能遗漏的范式</h3>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="b1-cdf--configuration-space-distance-fields-for-manipulation-planningrss-2024arxiv-240601137">B1.
|
|
|
|
|
|
CDF — Configuration Space Distance Fields for Manipulation Planning(RSS
|
|
|
|
|
|
2024,arXiv 2406.01137)</h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2406.01137v1">https://arxiv.org/html/2406.01137v1</a>
|
|
|
|
|
|
<strong>[原文]</strong></p>
|
|
|
|
|
|
<p><strong>是什么</strong>:在关节空间定义距离场 f_c(p,q) = 从 q
|
|
|
|
|
|
到"使机器人表面接触点 p 的关节构型集合"的最小弧度距离。它满足关节空间的
|
|
|
|
|
|
eikonal 方程 ‖∇_q f_c‖=1(§III),因此一步梯度投影就能求出全身 IK。神经
|
|
|
|
|
|
CDF 用 MLP 拟合,损失 = 距离 + 梯度余弦 + eikonal + tension(§IV)。</p>
|
|
|
|
|
|
<p><strong>关键数字</strong>:</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>Tab.I(Franka,RTX 3090):投影迭代 1/2 次时,MAE 4.99/1.64
|
|
|
|
|
|
cm,成功率 60.3%/87.8%;推理 0.49 ms,投影 0.71 ms 级。</li>
|
|
|
|
|
|
<li>Tab.II:CDF 在 10.6 ms 内得到 8773 个全身 IK 解;SDF 方法 971 ms
|
|
|
|
|
|
只有 3652 个;吞吐超过 70 万解/秒,快约 180 倍(§V)。</li>
|
|
|
|
|
|
<li>Tab.IV(7D 运动规划):QP-IPOPT 成功率 CDF 93% vs SDF 51%;Geometric
|
|
|
|
|
|
Fabrics 88% vs 74%;QP 控制器能跑 200 Hz 以上(§VI)。</li>
|
|
|
|
|
|
<li>局限(§VII):无符号;零水平集样本有限时近处不准。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>对我们的适配:借鉴</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>立柱固定,可以<strong>离线</strong>为这根柱子求出 6-DOF
|
|
|
|
|
|
CDF(或训练一个小 MLP),用作: ① APG
|
|
|
|
|
|
的碰撞损失。关节空间梯度单位范数、方向一致,比"任务空间距离 × FK
|
|
|
|
|
|
雅可比"条件更好,可能缓解铰链损失的梯度消失和对称抵消(推断)。 ②
|
|
|
|
|
|
策略的额外输入特征(f_c 和 ∇_q f_c,共 7
|
|
|
|
|
|
维),直接告诉网络"往哪个关节方向离柱子最近"。</li>
|
|
|
|
|
|
<li>我们的解析胶囊距离已经精确,所以 CDF
|
|
|
|
|
|
用作<strong>辅助</strong>,不用作替代。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="b2-rdf--representing-robot-geometry-as-distance-fieldsicra-2024arxiv-230700533摘要">B2.
|
|
|
|
|
|
RDF — Representing Robot Geometry as Distance Fields(ICRA 2024,arXiv
|
|
|
|
|
|
2307.00533)<strong>[摘要]</strong></h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://export.arxiv.org/api/query?id_list=2307.00533">https://export.arxiv.org/api/query?id_list=2307.00533</a>
|
|
|
|
|
|
用 Bernstein 多项式编码每个连杆的
|
|
|
|
|
|
SDF,再经运动学链组合成关节空间可查询的机器人
|
|
|
|
|
|
SDF,任务空间和关节空间都光滑可微。
|
|
|
|
|
|
<strong>否决</strong>:我们是胶囊几何加解析距离,已精确、可微,RDF
|
|
|
|
|
|
只是更精细的机器人网格表示,不带来新能力。</p>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="b3-neural-jsdfkoptev-figueroa-billardra-l-2023doi-101109lra20223227860摘要检索摘录">B3.
|
|
|
|
|
|
Neural-JSDF(Koptev, Figueroa, Billard,RA-L 2023,DOI
|
|
|
|
|
|
10.1109/LRA.2022.3227860)<strong>[摘要/检索摘录]</strong></h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://doi.org/10.1109/lra.2022.3227860">https://doi.org/10.1109/lra.2022.3227860</a>
|
|
|
|
|
|
,代码 <a
|
|
|
|
|
|
href="https://github.com/epfl-lasa/Neural-JSDF">https://github.com/epfl-lasa/Neural-JSDF</a>
|
|
|
|
|
|
用神经网络学习关节空间隐式
|
|
|
|
|
|
SDF(机器人到点的距离),梯度给出关节空间排斥场。用于 QP-IK 时平均 250
|
|
|
|
|
|
Hz,用于采样式 MPC 时 92 Hz;分别比基线距离计算快 15% 和 40%(摘要)。
|
|
|
|
|
|
<strong>否决</strong>(作为替代):同上,我们有解析距离;而且它依赖运行时
|
|
|
|
|
|
QP/MPC 控制器。</p>
|
|
|
|
|
|
<h4 id="b4-td-mpc2iclr-2024arxiv-231016828">B4. TD-MPC2(ICLR
|
|
|
|
|
|
2024,arXiv 2310.16828)</h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2310.16828">https://arxiv.org/html/2310.16828</a>
|
|
|
|
|
|
<strong>[原文]</strong>
|
|
|
|
|
|
<strong>是什么</strong>:在隐式(无解码器)世界模型的潜空间里,用 MPPI
|
|
|
|
|
|
做局部轨迹优化,配 TD 学习的 Q 值和最大熵策略先验。
|
|
|
|
|
|
<strong>关键数字</strong>:</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>104 个任务、单一超参(§1);多任务模型 1M–317M 参数,在单张 3090
|
|
|
|
|
|
上以 GPU·天计(Tab.1)。</li>
|
|
|
|
|
|
<li>基础 5M 模型中,Q 网络约 3.16M 参数(App)。</li>
|
|
|
|
|
|
<li>规划超参:H=3,6 次迭代,种群 512,策略先验样本 24,精英 64(App
|
|
|
|
|
|
超参表)。 <strong>否决</strong>:</li>
|
|
|
|
|
|
<li>我们的动力学(运动学积分)完全已知,学世界模型是多余的。</li>
|
|
|
|
|
|
<li>运行时 MPPI(512×6×H)在浏览器里跑 50 Hz 很重,而且本质上就是运行时
|
|
|
|
|
|
planner,违反规则。</li>
|
|
|
|
|
|
<li><strong>可借鉴的一点</strong>:学一个 V(q, goal) 作为 APG 截断 BPTT
|
|
|
|
|
|
的终端价值(SHAC 式)[未验证]。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="b5-diffusion-forcingarxiv-240701392">B5. Diffusion
|
|
|
|
|
|
Forcing(arXiv 2407.01392)</h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2407.01392">https://arxiv.org/html/2407.01392</a>
|
|
|
|
|
|
<strong>[原文]</strong> <strong>是什么</strong>:对每个 token
|
|
|
|
|
|
使用独立的噪声水平做扩散训练,用因果模型实现"next-token +
|
|
|
|
|
|
全序列扩散"的混合。支持变长 rollout、长时域引导,以及 Monte Carlo
|
|
|
|
|
|
Guidance(MCG,对多条未来样本平均引导梯度)(§3)。
|
|
|
|
|
|
<strong>证据</strong>:D4RL 2D 迷宫的 6 个环境全部超过
|
|
|
|
|
|
Diffuser(§4.2,Tab.1);真机实验是需要记忆的水果换位任务(§4.4)。
|
|
|
|
|
|
<strong>否决</strong>:它的长处(长序列稳定、记忆、部分可观测)我们用不上:16
|
|
|
|
|
|
步 chunk、低维、完全可观测。引导采样需要运行时代价梯度,性质上接近 A5
|
|
|
|
|
|
的运行时评分,规则同样存疑。</p>
|
|
|
|
|
|
<h4 id="b6-bet--vq-betarxiv-220611251--240303181">B6. BeT /
|
|
|
|
|
|
VQ-BeT(arXiv 2206.11251 / 2403.03181)</h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://export.arxiv.org/api/query?id_list=2206.11251">https://export.arxiv.org/api/query?id_list=2206.11251</a>
|
|
|
|
|
|
<strong>[摘要]</strong> ;<a
|
|
|
|
|
|
href="https://arxiv.org/html/2403.03181">https://arxiv.org/html/2403.03181</a>
|
|
|
|
|
|
<strong>[原文]</strong> <strong>是什么</strong>:BeT 用 k-means
|
|
|
|
|
|
把动作离散化,Transformer 预测类别加连续偏移。VQ-BeT 用残差 VQ-VAE
|
|
|
|
|
|
对<strong>动作 chunk</strong>
|
|
|
|
|
|
分层离散化,主码做粗聚类、次码做细节(§3.2,N_q=2 已足够),再用 GPT
|
|
|
|
|
|
式模型预测码和偏移。 <strong>证据</strong>:无条件生成任务中 5/7
|
|
|
|
|
|
个环境超过 BC、BeT 和 Diffusion Policy(§1);条件任务中除 BlockPush
|
|
|
|
|
|
外全部最优(§4);用熵指标衡量模式覆盖(§4)。
|
|
|
|
|
|
<strong>借鉴</strong>:左/右绕行就是一个天然的二值模式。可以设计<strong>显式离散模式
|
|
|
|
|
|
token</strong>(左/右,或 VQ 主码)加连续残差头。好处有三:</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>多模态由结构保证,而不是靠采样运气;</li>
|
|
|
|
|
|
<li>RL 微调时可以在模式条件下分别优化,避免塌缩;</li>
|
|
|
|
|
|
<li>APG 可以只穿过连续残差头反传(VQ 码不可微,需要
|
|
|
|
|
|
straight-through,[未验证])。 推理是单次前向,适合浏览器。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="b7-ibc--implicit-behavioral-cloningarxiv-210900137">B7. IBC —
|
|
|
|
|
|
Implicit Behavioral Cloning(arXiv 2109.00137)</h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2109.00137">https://arxiv.org/html/2109.00137</a>
|
|
|
|
|
|
<strong>[原文]</strong> 用 InfoNCE
|
|
|
|
|
|
训练能量模型,推理时用无导数优化、Langevin 或自回归方法求 argmin
|
|
|
|
|
|
动作。能表示不连续、多值的函数(§2–3)。 <strong>否决</strong>:原文 App
|
|
|
|
|
|
B.1 写明 DFO 推理"适合 y 不超过 5 维",高维需要自回归或梯度法。我们的
|
|
|
|
|
|
chunk 是 16×6=96 维,推理需要迭代优化,浏览器 50 Hz
|
|
|
|
|
|
不现实;训练需要大量负样本(批 512、每个 256 个反例),也不稳定。</p>
|
|
|
|
|
|
<h4
|
|
|
|
|
|
id="b8-mamba--ssm-策略mail-arxiv-240608234mamba-policy-arxiv-240907163iros-2025">B8.
|
|
|
|
|
|
Mamba / SSM 策略(MaIL arXiv 2406.08234;Mamba Policy arXiv
|
|
|
|
|
|
2409.07163,IROS 2025)</h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2409.07163">https://arxiv.org/html/2409.07163</a>
|
|
|
|
|
|
<strong>[原文]</strong>,<a
|
|
|
|
|
|
href="https://export.arxiv.org/api/query?id_list=2406.08234">https://export.arxiv.org/api/query?id_list=2406.08234</a>
|
|
|
|
|
|
<strong>[摘要]</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>Mamba Policy:在 DP3 的 3D 扩散策略里替换 UNet 主干,参数量减少 80%
|
|
|
|
|
|
以上,FLOPs 最多省 90%,成功率最多高 5%(§1,Fig.1)。</li>
|
|
|
|
|
|
<li>MaIL:在 LIBERO 小数据设置下优于 Transformer(摘要)。
|
|
|
|
|
|
<strong>否决</strong>:收益来自"压缩大视觉/3D
|
|
|
|
|
|
主干"和"长历史建模",我们的低维、短历史设定里 MLP/小 Transformer
|
|
|
|
|
|
已足够。浏览器端(ONNX/WebGPU)对选择性扫描算子的支持<strong>未验证</strong>,存在部署风险。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="b9-geometric-fabrics--rmpflow--学习组件">B9. Geometric Fabrics /
|
|
|
|
|
|
RMPflow + 学习组件</h4>
|
|
|
|
|
|
<p>来源:RMPflow <a
|
|
|
|
|
|
href="https://export.arxiv.org/api/query?id_list=1811.07049">https://export.arxiv.org/api/query?id_list=1811.07049</a>
|
|
|
|
|
|
<strong>[摘要]</strong>;Geometric Fabrics <a
|
|
|
|
|
|
href="https://export.arxiv.org/api/query?id_list=2109.10443">https://export.arxiv.org/api/query?id_list=2109.10443</a>
|
|
|
|
|
|
<strong>[摘要]</strong>;Fabric-Guided Policy <a
|
|
|
|
|
|
href="https://arxiv.org/html/2405.02250v1">https://arxiv.org/html/2405.02250v1</a>
|
|
|
|
|
|
<strong>[原文,部分]</strong>;Neural Geometric Fabrics <a
|
|
|
|
|
|
href="https://proceedings.mlr.press/v205/xie23a.html">https://proceedings.mlr.press/v205/xie23a.html</a>
|
|
|
|
|
|
<strong>[摘要]</strong>;DRP(A4)<strong>[原文]</strong></p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>Geometric Fabrics
|
|
|
|
|
|
是可证明稳定的二阶"行为动力学",由多个几何项(避障、关节限位等)组合而成。</li>
|
|
|
|
|
|
<li>NGF(CoRL 2022)从示范中学习 fabric 的项,在 23-DoF 手臂系统上超过
|
|
|
|
|
|
RMP 和前馈/循环网络 40–100%。</li>
|
|
|
|
|
|
<li>2405.02250 让 RL 策略输出到 fabric 层,说明 fabric
|
|
|
|
|
|
能保证平滑和安全,并"移除动作和速度惩罚",从而简化奖励(§V)。</li>
|
|
|
|
|
|
<li>单独用局部反应式方法会陷入局部极小:DRP §1 和 ELMP §I
|
|
|
|
|
|
都这样指出;CDF Tab.IV 中 fabric 在 7D 上为 88%/74%。DRP
|
|
|
|
|
|
把"策略+fabric"作为<strong>离线 teacher</strong>,带来 +45%(A4)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>借鉴</strong>:</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>首选:作为 A4 的离线局部 teacher(输入策略的中间目标,fabric
|
|
|
|
|
|
用解析胶囊距离精修,再蒸馏)。</li>
|
|
|
|
|
|
<li>若规则允许"反应式安全层"(它不是
|
|
|
|
|
|
planner,只是控制律),可以在运行时加一个极薄的 fabric/RMP
|
|
|
|
|
|
避障项作安全网。是否允许由你们决定。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<h4 id="b10-curobo-式-gpu-轨迹优化作为自监督精修器arxiv-231017274">B10.
|
|
|
|
|
|
cuRobo 式 GPU 轨迹优化作为<strong>自监督精修器</strong>(arXiv
|
|
|
|
|
|
2310.17274)</h4>
|
|
|
|
|
|
<p>来源:<a
|
|
|
|
|
|
href="https://arxiv.org/html/2310.17274">https://arxiv.org/html/2310.17274</a>
|
|
|
|
|
|
<strong>[原文]</strong> <strong>是什么</strong>:GPU 批量 L-BFGS
|
|
|
|
|
|
加近似并行线搜索,再加粒子优化初始化(§4),配合几何规划器做种子。
|
|
|
|
|
|
<strong>关键数字</strong>:</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>全局运动生成平均 50 ms 内完成,比 Tesseract 快 60
|
|
|
|
|
|
倍(§1);几何规划器 20 ms(RTX 4090 + Ryzen 9 7950X)。</li>
|
|
|
|
|
|
<li>在 2600 道 MotionBenchMaker/MπNets 题上成功率 99.8%,只失败 5
|
|
|
|
|
|
道(§7,Fig.6)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p><strong>采用(离线)</strong>:把策略自己的
|
|
|
|
|
|
rollout(覆盖左右两支)作为初值,用批量 L-BFGS
|
|
|
|
|
|
在解析胶囊代价(间隙铰链、终端、平滑/最小
|
|
|
|
|
|
jerk)上做局部精修,得到同一同伦类内无碰撞、更平滑的轨迹,再回灌做
|
|
|
|
|
|
BC/蒸馏("self-improvement")。好处:</p>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>不需要全局规划器,离线使用符合规则;</li>
|
|
|
|
|
|
<li>初值来自策略,<strong>保持绕行侧</strong>,天然保住左右多模态(推断);</li>
|
|
|
|
|
|
<li>和 APG 互补:APG
|
|
|
|
|
|
是"在参数空间做梯度",精修是"在轨迹空间做梯度再蒸馏"。后者每条轨迹可以迭代很多步而没有
|
|
|
|
|
|
BPTT 爆炸问题,对近立柱困难用例更稳(推断)。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
<p>我们的问题只有 6 维、一根柱子,不需要 cuRobo 本体,用 PyTorch
|
|
|
|
|
|
自己写一个批量 L-BFGS 或 Adam 轨迹优化即可 [未验证工作量估计]。</p>
|
|
|
|
|
|
<hr />
|
|
|
|
|
|
<h3 id="未能确认--需注意">未能确认 / 需注意</h3>
|
|
|
|
|
|
<ul>
|
|
|
|
|
|
<li>DRP 的会议归属(CoRL 2025)未在 arXiv 元数据里确认。</li>
|
|
|
|
|
|
<li>ELMP 是否在 APG 阶段联合保留 BC 损失:原文 Alg.1 没有,所以"保留 BC
|
|
|
|
|
|
锚点"属于我们的建议。</li>
|
|
|
|
|
|
<li>所有"单卡 3090 可行""墙钟数小时""浏览器 K
|
|
|
|
|
|
采样可承受"都是基于模型规模的推断,没有实测。</li>
|
|
|
|
|
|
<li>Neural-JSDF 只核对了摘要;RDF、BeT、RMPflow、Geometric
|
|
|
|
|
|
Fabrics、NGF、MaIL 只核对了摘要。</li>
|
|
|
|
|
|
<li>"运行时用解析距离做采样评分或反应式安全层"是否违反"运行时不得有
|
|
|
|
|
|
teacher/planner",需要项目方裁定。A5、B5、B9 的结论都依赖这个裁定。</li>
|
|
|
|
|
|
</ul>
|
|
|
|
|
|
</body>
|
|
|
|
|
|
</html>
|