226 lines
3.2 KiB
JSON
226 lines
3.2 KiB
JSON
|
{
|
||
|
|
"device": "NVIDIA GeForce RTX 3090",
|
||
|
|
"B": 1,
|
||
|
|
"inc_cap": 1,
|
||
|
|
"infer": {
|
||
|
|
"8": [
|
||
|
|
{
|
||
|
|
"p50": 9.285,
|
||
|
|
"p95": 10.62
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 9.227,
|
||
|
|
"p95": 15.144
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 10.015,
|
||
|
|
"p95": 18.492
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 10.114,
|
||
|
|
"p95": 15.477
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"16": [
|
||
|
|
{
|
||
|
|
"p50": 9.281,
|
||
|
|
"p95": 12.2
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 9.321,
|
||
|
|
"p95": 15.859
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 11.673,
|
||
|
|
"p95": 17.75
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 9.22,
|
||
|
|
"p95": 11.764
|
||
|
|
}
|
||
|
|
]
|
||
|
|
},
|
||
|
|
"plan": {
|
||
|
|
"8/cb0": [
|
||
|
|
{
|
||
|
|
"p50": 134.514,
|
||
|
|
"p95": 146.198,
|
||
|
|
"max": 151.847
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 147.029,
|
||
|
|
"p95": 180.064,
|
||
|
|
"max": 191.364
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 133.562,
|
||
|
|
"p95": 145.323,
|
||
|
|
"max": 150.765
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 141.62,
|
||
|
|
"p95": 163.992,
|
||
|
|
"max": 194.319
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 146.427,
|
||
|
|
"p95": 186.324,
|
||
|
|
"max": 189.776
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 144.785,
|
||
|
|
"p95": 164.472,
|
||
|
|
"max": 168.658
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 144.466,
|
||
|
|
"p95": 204.952,
|
||
|
|
"max": 227.804
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 151.671,
|
||
|
|
"p95": 189.823,
|
||
|
|
"max": 241.949
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"16/cb0": [
|
||
|
|
{
|
||
|
|
"p50": 133.572,
|
||
|
|
"p95": 153.984,
|
||
|
|
"max": 156.276
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 144.001,
|
||
|
|
"p95": 170.74,
|
||
|
|
"max": 185.805
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 139.492,
|
||
|
|
"p95": 162.124,
|
||
|
|
"max": 165.545
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 139.614,
|
||
|
|
"p95": 152.373,
|
||
|
|
"max": 153.8
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 137.178,
|
||
|
|
"p95": 158.119,
|
||
|
|
"max": 161.382
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 136.955,
|
||
|
|
"p95": 175.71,
|
||
|
|
"max": 186.645
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 143.252,
|
||
|
|
"p95": 166.76,
|
||
|
|
"max": 182.599
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 149.9,
|
||
|
|
"p95": 200.22,
|
||
|
|
"max": 201.094
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"8/cb1": [
|
||
|
|
{
|
||
|
|
"p50": 151.167,
|
||
|
|
"p95": 164.805,
|
||
|
|
"max": 187.036
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 148.91,
|
||
|
|
"p95": 168.584,
|
||
|
|
"max": 177.316
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 162.24,
|
||
|
|
"p95": 204.403,
|
||
|
|
"max": 222.327
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 158.656,
|
||
|
|
"p95": 197.649,
|
||
|
|
"max": 224.336
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 149.629,
|
||
|
|
"p95": 176.731,
|
||
|
|
"max": 187.429
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 149.44,
|
||
|
|
"p95": 200.478,
|
||
|
|
"max": 243.552
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 150.726,
|
||
|
|
"p95": 200.097,
|
||
|
|
"max": 242.956
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 146.359,
|
||
|
|
"p95": 165.303,
|
||
|
|
"max": 165.497
|
||
|
|
}
|
||
|
|
],
|
||
|
|
"16/cb1": [
|
||
|
|
{
|
||
|
|
"p50": 156.341,
|
||
|
|
"p95": 180.399,
|
||
|
|
"max": 184.267
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 169.067,
|
||
|
|
"p95": 206.577,
|
||
|
|
"max": 218.282
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 169.66,
|
||
|
|
"p95": 190.207,
|
||
|
|
"max": 202.072
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 163.572,
|
||
|
|
"p95": 185.455,
|
||
|
|
"max": 192.382
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 172.023,
|
||
|
|
"p95": 204.316,
|
||
|
|
"max": 225.098
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 166.825,
|
||
|
|
"p95": 201.437,
|
||
|
|
"max": 236.891
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 171.442,
|
||
|
|
"p95": 207.533,
|
||
|
|
"max": 226.472
|
||
|
|
},
|
||
|
|
{
|
||
|
|
"p50": 159.815,
|
||
|
|
"p95": 198.534,
|
||
|
|
"max": 207.788
|
||
|
|
}
|
||
|
|
]
|
||
|
|
},
|
||
|
|
"summary": {
|
||
|
|
"infer_p50_K8": 10.015,
|
||
|
|
"infer_p50_K16": 9.321,
|
||
|
|
"plan_p50_8/cb0": 144.785,
|
||
|
|
"plan_p50_16/cb0": 139.614,
|
||
|
|
"plan_p50_8/cb1": 150.726,
|
||
|
|
"plan_p50_16/cb1": 169.067,
|
||
|
|
"plan_p95_8/cb0": 180.064,
|
||
|
|
"plan_p95_16/cb0": 166.76,
|
||
|
|
"plan_p95_8/cb1": 197.649,
|
||
|
|
"plan_p95_16/cb1": 201.437
|
||
|
|
},
|
||
|
|
"note": "K16/try3 那批臂是串行认证(cert_batch=0)，最坏要 K 次 gaps 调用；部署口径应是批量认证=1 次调用，所以两种口径都要量"
|
||
|
|
}
|