exp: 多段推理代价实测(2段+5.97ms/4段+17.7ms/8段+42ms,B=1 K=8)——靠段数补偏差不进 20ms 预算
This commit is contained in:
@@ -0,0 +1,611 @@
|
||||
{
|
||||
"device": "NVIDIA GeForce RTX 3090",
|
||||
"B": 1,
|
||||
"K": 8,
|
||||
"rounds": 24,
|
||||
"per_round": {
|
||||
"1": [
|
||||
{
|
||||
"p50": 9.198,
|
||||
"p95": 11.654,
|
||||
"p99": 12.236,
|
||||
"max": 12.236
|
||||
},
|
||||
{
|
||||
"p50": 9.211,
|
||||
"p95": 13.105,
|
||||
"p99": 13.765,
|
||||
"max": 13.765
|
||||
},
|
||||
{
|
||||
"p50": 9.188,
|
||||
"p95": 12.363,
|
||||
"p99": 15.901,
|
||||
"max": 15.901
|
||||
},
|
||||
{
|
||||
"p50": 8.894,
|
||||
"p95": 10.426,
|
||||
"p99": 11.641,
|
||||
"max": 11.641
|
||||
},
|
||||
{
|
||||
"p50": 8.968,
|
||||
"p95": 11.664,
|
||||
"p99": 11.874,
|
||||
"max": 11.874
|
||||
},
|
||||
{
|
||||
"p50": 9.456,
|
||||
"p95": 13.502,
|
||||
"p99": 13.951,
|
||||
"max": 13.951
|
||||
},
|
||||
{
|
||||
"p50": 8.683,
|
||||
"p95": 10.991,
|
||||
"p99": 11.978,
|
||||
"max": 11.978
|
||||
},
|
||||
{
|
||||
"p50": 9.599,
|
||||
"p95": 13.894,
|
||||
"p99": 17.102,
|
||||
"max": 17.102
|
||||
},
|
||||
{
|
||||
"p50": 9.405,
|
||||
"p95": 13.07,
|
||||
"p99": 13.111,
|
||||
"max": 13.111
|
||||
},
|
||||
{
|
||||
"p50": 8.947,
|
||||
"p95": 10.154,
|
||||
"p99": 10.405,
|
||||
"max": 10.405
|
||||
},
|
||||
{
|
||||
"p50": 9.019,
|
||||
"p95": 10.835,
|
||||
"p99": 12.272,
|
||||
"max": 12.272
|
||||
},
|
||||
{
|
||||
"p50": 8.824,
|
||||
"p95": 13.516,
|
||||
"p99": 15.963,
|
||||
"max": 15.963
|
||||
},
|
||||
{
|
||||
"p50": 8.819,
|
||||
"p95": 11.004,
|
||||
"p99": 11.308,
|
||||
"max": 11.308
|
||||
},
|
||||
{
|
||||
"p50": 8.777,
|
||||
"p95": 10.7,
|
||||
"p99": 11.144,
|
||||
"max": 11.144
|
||||
},
|
||||
{
|
||||
"p50": 8.926,
|
||||
"p95": 11.911,
|
||||
"p99": 12.171,
|
||||
"max": 12.171
|
||||
},
|
||||
{
|
||||
"p50": 8.924,
|
||||
"p95": 10.88,
|
||||
"p99": 11.94,
|
||||
"max": 11.94
|
||||
},
|
||||
{
|
||||
"p50": 8.508,
|
||||
"p95": 9.918,
|
||||
"p99": 11.57,
|
||||
"max": 11.57
|
||||
},
|
||||
{
|
||||
"p50": 9.351,
|
||||
"p95": 17.795,
|
||||
"p99": 17.948,
|
||||
"max": 17.948
|
||||
},
|
||||
{
|
||||
"p50": 8.779,
|
||||
"p95": 10.188,
|
||||
"p99": 11.614,
|
||||
"max": 11.614
|
||||
},
|
||||
{
|
||||
"p50": 9.389,
|
||||
"p95": 19.998,
|
||||
"p99": 25.582,
|
||||
"max": 25.582
|
||||
},
|
||||
{
|
||||
"p50": 9.344,
|
||||
"p95": 15.293,
|
||||
"p99": 16.308,
|
||||
"max": 16.308
|
||||
},
|
||||
{
|
||||
"p50": 9.67,
|
||||
"p95": 13.045,
|
||||
"p99": 13.805,
|
||||
"max": 13.805
|
||||
},
|
||||
{
|
||||
"p50": 10.331,
|
||||
"p95": 13.905,
|
||||
"p99": 21.628,
|
||||
"max": 21.628
|
||||
},
|
||||
{
|
||||
"p50": 8.96,
|
||||
"p95": 10.848,
|
||||
"p99": 11.741,
|
||||
"max": 11.741
|
||||
}
|
||||
],
|
||||
"2": [
|
||||
{
|
||||
"p50": 15.201,
|
||||
"p95": 18.17,
|
||||
"p99": 19.766,
|
||||
"max": 19.766
|
||||
},
|
||||
{
|
||||
"p50": 14.902,
|
||||
"p95": 17.614,
|
||||
"p99": 18.457,
|
||||
"max": 18.457
|
||||
},
|
||||
{
|
||||
"p50": 15.324,
|
||||
"p95": 18.549,
|
||||
"p99": 19.078,
|
||||
"max": 19.078
|
||||
},
|
||||
{
|
||||
"p50": 15.021,
|
||||
"p95": 19.99,
|
||||
"p99": 21.951,
|
||||
"max": 21.951
|
||||
},
|
||||
{
|
||||
"p50": 14.689,
|
||||
"p95": 18.919,
|
||||
"p99": 19.926,
|
||||
"max": 19.926
|
||||
},
|
||||
{
|
||||
"p50": 16.051,
|
||||
"p95": 32.815,
|
||||
"p99": 33.077,
|
||||
"max": 33.077
|
||||
},
|
||||
{
|
||||
"p50": 14.717,
|
||||
"p95": 17.324,
|
||||
"p99": 17.522,
|
||||
"max": 17.522
|
||||
},
|
||||
{
|
||||
"p50": 15.032,
|
||||
"p95": 18.216,
|
||||
"p99": 19.497,
|
||||
"max": 19.497
|
||||
},
|
||||
{
|
||||
"p50": 15.555,
|
||||
"p95": 19.893,
|
||||
"p99": 21.052,
|
||||
"max": 21.052
|
||||
},
|
||||
{
|
||||
"p50": 14.499,
|
||||
"p95": 16.796,
|
||||
"p99": 16.882,
|
||||
"max": 16.882
|
||||
},
|
||||
{
|
||||
"p50": 14.645,
|
||||
"p95": 17.099,
|
||||
"p99": 17.543,
|
||||
"max": 17.543
|
||||
},
|
||||
{
|
||||
"p50": 14.358,
|
||||
"p95": 21.149,
|
||||
"p99": 24.103,
|
||||
"max": 24.103
|
||||
},
|
||||
{
|
||||
"p50": 14.984,
|
||||
"p95": 18.661,
|
||||
"p99": 20.683,
|
||||
"max": 20.683
|
||||
},
|
||||
{
|
||||
"p50": 14.502,
|
||||
"p95": 17.139,
|
||||
"p99": 17.798,
|
||||
"max": 17.798
|
||||
},
|
||||
{
|
||||
"p50": 14.947,
|
||||
"p95": 16.647,
|
||||
"p99": 16.766,
|
||||
"max": 16.766
|
||||
},
|
||||
{
|
||||
"p50": 14.786,
|
||||
"p95": 17.521,
|
||||
"p99": 19.179,
|
||||
"max": 19.179
|
||||
},
|
||||
{
|
||||
"p50": 14.749,
|
||||
"p95": 19.165,
|
||||
"p99": 25.119,
|
||||
"max": 25.119
|
||||
},
|
||||
{
|
||||
"p50": 16.221,
|
||||
"p95": 28.768,
|
||||
"p99": 29.582,
|
||||
"max": 29.582
|
||||
},
|
||||
{
|
||||
"p50": 14.652,
|
||||
"p95": 28.668,
|
||||
"p99": 30.074,
|
||||
"max": 30.074
|
||||
},
|
||||
{
|
||||
"p50": 17.139,
|
||||
"p95": 32.269,
|
||||
"p99": 32.377,
|
||||
"max": 32.377
|
||||
},
|
||||
{
|
||||
"p50": 14.907,
|
||||
"p95": 20.386,
|
||||
"p99": 20.81,
|
||||
"max": 20.81
|
||||
},
|
||||
{
|
||||
"p50": 15.882,
|
||||
"p95": 17.677,
|
||||
"p99": 18.192,
|
||||
"max": 18.192
|
||||
},
|
||||
{
|
||||
"p50": 15.359,
|
||||
"p95": 18.135,
|
||||
"p99": 18.531,
|
||||
"max": 18.531
|
||||
},
|
||||
{
|
||||
"p50": 15.207,
|
||||
"p95": 17.382,
|
||||
"p99": 18.529,
|
||||
"max": 18.529
|
||||
}
|
||||
],
|
||||
"4": [
|
||||
{
|
||||
"p50": 26.665,
|
||||
"p95": 31.215,
|
||||
"p99": 34.178,
|
||||
"max": 34.178
|
||||
},
|
||||
{
|
||||
"p50": 27.294,
|
||||
"p95": 33.673,
|
||||
"p99": 35.04,
|
||||
"max": 35.04
|
||||
},
|
||||
{
|
||||
"p50": 27.918,
|
||||
"p95": 34.553,
|
||||
"p99": 42.061,
|
||||
"max": 42.061
|
||||
},
|
||||
{
|
||||
"p50": 26.37,
|
||||
"p95": 30.528,
|
||||
"p99": 32.127,
|
||||
"max": 32.127
|
||||
},
|
||||
{
|
||||
"p50": 25.9,
|
||||
"p95": 28.742,
|
||||
"p99": 34.469,
|
||||
"max": 34.469
|
||||
},
|
||||
{
|
||||
"p50": 27.106,
|
||||
"p95": 35.303,
|
||||
"p99": 40.808,
|
||||
"max": 40.808
|
||||
},
|
||||
{
|
||||
"p50": 26.195,
|
||||
"p95": 34.707,
|
||||
"p99": 45.867,
|
||||
"max": 45.867
|
||||
},
|
||||
{
|
||||
"p50": 26.772,
|
||||
"p95": 30.526,
|
||||
"p99": 30.766,
|
||||
"max": 30.766
|
||||
},
|
||||
{
|
||||
"p50": 26.886,
|
||||
"p95": 46.087,
|
||||
"p99": 50.21,
|
||||
"max": 50.21
|
||||
},
|
||||
{
|
||||
"p50": 26.004,
|
||||
"p95": 29.001,
|
||||
"p99": 30.311,
|
||||
"max": 30.311
|
||||
},
|
||||
{
|
||||
"p50": 27.095,
|
||||
"p95": 32.363,
|
||||
"p99": 38.011,
|
||||
"max": 38.011
|
||||
},
|
||||
{
|
||||
"p50": 25.952,
|
||||
"p95": 30.357,
|
||||
"p99": 31.543,
|
||||
"max": 31.543
|
||||
},
|
||||
{
|
||||
"p50": 26.537,
|
||||
"p95": 30.396,
|
||||
"p99": 31.056,
|
||||
"max": 31.056
|
||||
},
|
||||
{
|
||||
"p50": 26.563,
|
||||
"p95": 28.768,
|
||||
"p99": 30.415,
|
||||
"max": 30.415
|
||||
},
|
||||
{
|
||||
"p50": 26.863,
|
||||
"p95": 32.136,
|
||||
"p99": 32.967,
|
||||
"max": 32.967
|
||||
},
|
||||
{
|
||||
"p50": 28.413,
|
||||
"p95": 50.4,
|
||||
"p99": 58.088,
|
||||
"max": 58.088
|
||||
},
|
||||
{
|
||||
"p50": 26.623,
|
||||
"p95": 32.801,
|
||||
"p99": 35.603,
|
||||
"max": 35.603
|
||||
},
|
||||
{
|
||||
"p50": 27.344,
|
||||
"p95": 32.779,
|
||||
"p99": 38.661,
|
||||
"max": 38.661
|
||||
},
|
||||
{
|
||||
"p50": 26.408,
|
||||
"p95": 29.565,
|
||||
"p99": 30.094,
|
||||
"max": 30.094
|
||||
},
|
||||
{
|
||||
"p50": 26.198,
|
||||
"p95": 29.741,
|
||||
"p99": 30.489,
|
||||
"max": 30.489
|
||||
},
|
||||
{
|
||||
"p50": 27.724,
|
||||
"p95": 32.174,
|
||||
"p99": 32.423,
|
||||
"max": 32.423
|
||||
},
|
||||
{
|
||||
"p50": 26.724,
|
||||
"p95": 31.253,
|
||||
"p99": 32.153,
|
||||
"max": 32.153
|
||||
},
|
||||
{
|
||||
"p50": 26.76,
|
||||
"p95": 31.054,
|
||||
"p99": 31.087,
|
||||
"max": 31.087
|
||||
},
|
||||
{
|
||||
"p50": 26.278,
|
||||
"p95": 31.043,
|
||||
"p99": 39.867,
|
||||
"max": 39.867
|
||||
}
|
||||
],
|
||||
"8": [
|
||||
{
|
||||
"p50": 52.266,
|
||||
"p95": 68.035,
|
||||
"p99": 74.885,
|
||||
"max": 74.885
|
||||
},
|
||||
{
|
||||
"p50": 54.125,
|
||||
"p95": 85.092,
|
||||
"p99": 96.265,
|
||||
"max": 96.265
|
||||
},
|
||||
{
|
||||
"p50": 56.176,
|
||||
"p95": 85.733,
|
||||
"p99": 87.312,
|
||||
"max": 87.312
|
||||
},
|
||||
{
|
||||
"p50": 51.069,
|
||||
"p95": 60.145,
|
||||
"p99": 62.654,
|
||||
"max": 62.654
|
||||
},
|
||||
{
|
||||
"p50": 51.07,
|
||||
"p95": 61.397,
|
||||
"p99": 65.437,
|
||||
"max": 65.437
|
||||
},
|
||||
{
|
||||
"p50": 52.133,
|
||||
"p95": 69.749,
|
||||
"p99": 79.426,
|
||||
"max": 79.426
|
||||
},
|
||||
{
|
||||
"p50": 49.955,
|
||||
"p95": 60.339,
|
||||
"p99": 60.455,
|
||||
"max": 60.455
|
||||
},
|
||||
{
|
||||
"p50": 50.468,
|
||||
"p95": 64.167,
|
||||
"p99": 66.843,
|
||||
"max": 66.843
|
||||
},
|
||||
{
|
||||
"p50": 49.244,
|
||||
"p95": 52.489,
|
||||
"p99": 54.475,
|
||||
"max": 54.475
|
||||
},
|
||||
{
|
||||
"p50": 49.644,
|
||||
"p95": 57.36,
|
||||
"p99": 58.934,
|
||||
"max": 58.934
|
||||
},
|
||||
{
|
||||
"p50": 52.186,
|
||||
"p95": 59.122,
|
||||
"p99": 68.662,
|
||||
"max": 68.662
|
||||
},
|
||||
{
|
||||
"p50": 51.393,
|
||||
"p95": 75.776,
|
||||
"p99": 83.858,
|
||||
"max": 83.858
|
||||
},
|
||||
{
|
||||
"p50": 51.953,
|
||||
"p95": 67.169,
|
||||
"p99": 69.287,
|
||||
"max": 69.287
|
||||
},
|
||||
{
|
||||
"p50": 50.324,
|
||||
"p95": 60.185,
|
||||
"p99": 68.603,
|
||||
"max": 68.603
|
||||
},
|
||||
{
|
||||
"p50": 50.893,
|
||||
"p95": 54.805,
|
||||
"p99": 58.967,
|
||||
"max": 58.967
|
||||
},
|
||||
{
|
||||
"p50": 53.696,
|
||||
"p95": 65.629,
|
||||
"p99": 72.674,
|
||||
"max": 72.674
|
||||
},
|
||||
{
|
||||
"p50": 48.672,
|
||||
"p95": 62.026,
|
||||
"p99": 62.276,
|
||||
"max": 62.276
|
||||
},
|
||||
{
|
||||
"p50": 50.777,
|
||||
"p95": 65.002,
|
||||
"p99": 66.318,
|
||||
"max": 66.318
|
||||
},
|
||||
{
|
||||
"p50": 48.835,
|
||||
"p95": 57.514,
|
||||
"p99": 69.18,
|
||||
"max": 69.18
|
||||
},
|
||||
{
|
||||
"p50": 50.785,
|
||||
"p95": 73.072,
|
||||
"p99": 75.93,
|
||||
"max": 75.93
|
||||
},
|
||||
{
|
||||
"p50": 50.684,
|
||||
"p95": 65.827,
|
||||
"p99": 75.478,
|
||||
"max": 75.478
|
||||
},
|
||||
{
|
||||
"p50": 50.341,
|
||||
"p95": 57.511,
|
||||
"p99": 58.992,
|
||||
"max": 58.992
|
||||
},
|
||||
{
|
||||
"p50": 51.567,
|
||||
"p95": 66.644,
|
||||
"p99": 67.094,
|
||||
"max": 67.094
|
||||
},
|
||||
{
|
||||
"p50": 52.094,
|
||||
"p95": 71.313,
|
||||
"p99": 73.767,
|
||||
"max": 73.767
|
||||
}
|
||||
]
|
||||
},
|
||||
"summary": {
|
||||
"p501": 9.019,
|
||||
"p951": 11.911,
|
||||
"p991": 12.272,
|
||||
"p502": 14.984,
|
||||
"p952": 18.549,
|
||||
"p992": 19.766,
|
||||
"p504": 26.724,
|
||||
"p954": 31.253,
|
||||
"p994": 34.178,
|
||||
"p508": 51.069,
|
||||
"p958": 65.002,
|
||||
"p998": 68.662
|
||||
},
|
||||
"delta_vs_1step_ms": {
|
||||
"d502": 5.965,
|
||||
"d504": 17.705,
|
||||
"d508": 42.05
|
||||
}
|
||||
}
|
||||
@@ -107,6 +107,21 @@
|
||||
- **对 `backoff` 的预期与判据**:全拒意味着"连第 1 步的端点或中点已经穿进障碍",缩步能不能救取决于**穿得有多深**(穿 0.1 mm 救得回,穿 3 mm 救不回)。这个数转储里没记(只记被选中那条),所以直接由 `backoff_mean`/`reject_all_mean` 来量:
|
||||
`reject_all_mean ≈ 原全拒次数`(=backoff_mean+brakes_mean,与轮次 33 cap 的 19.55 可比),`backoff_mean/(backoff_mean+brakes_mean)` 就是"缩步能救回的比例"。这是补跑(#22)要读的第一个数。
|
||||
|
||||
## 多段推理的代价实测(B=1、K=8、逐轮交替、奇数轮反序)
|
||||
|
||||
- `docs/experiment_round38_steps_cost.json`(24 轮 × 每轮 40 次,取每档的中位):
|
||||
|
||||
| 段数 | 推理 P50 | 相对 1 段增量 |
|
||||
|---|---|---|
|
||||
| 1 | 9.02 ms | — |
|
||||
| 2 | 14.98 ms | **+5.97 ms** |
|
||||
| 4 | 26.72 ms | +17.71 ms |
|
||||
| 8 | 51.07 ms | +42.05 ms |
|
||||
|
||||
- 每多一段 ≈ 多一次解码器前向(编码器 `mem` 只算一次),所以增量近似线性;9.02 ms 这一档比轮次 33 报的 7.2 ms 高,是不同会话的时钟/上下文差别,**只用同批内的差值,不用绝对值跨轮比**。
|
||||
- 合到整周期上:轮次 34 的现口径 P50 ≈ 33.5 ms,两段就是 ≈39.5 ms(25 Hz),四段 ≈51 ms(19.6 Hz)——**离 20 ms 预算更远**,所以"靠多段推理把一步的偏差补回来"在部署上不成立,只能作为开环诊断口径。
|
||||
- 与 K 这条轴叠加会更糟(K=16 认证点翻倍),所以 `K=8/16 × cert_batch=0/1` 的四格周期微基准排在当前批次里(`ml/runs/_kcost_probe.py`),这是判断"候选数能不能买到部署里的到达率"的关键一列。
|
||||
|
||||
## 候选为什么会"塌":两段积分把 K 条候选吸成一条(轮次 39 探针,机理定案)
|
||||
|
||||
- `ml/runs/_cand_div.py`(256 题特征、同一批噪声 z、K=8,只改段数):
|
||||
|
||||
Reference in New Issue
Block a user