我已经问过 AI 了，已经把 onnx 模型进行了剪枝，进行了 int8 动态量化，开启了 cpu 多线程推理，速度由原来的 3s 优化到现在的 1.3s ，感觉到极限了，可是老板的要求是 500ms ，大佬快救救孩子
 |
1
gargar 3 天前
让老板出钱换更好的 CPU 、GPU
|
 |
3
frayesshi1 PRO 可以推理加速啊
|
 |
4
ns2250225 OP @frayesshi1 #3 怎么搞，求指导
|
|
5
frayesshi1 PRO @ns2250225 #4 硬件加速啊，trt 开启后 bf16 的 onnx 在 nano 板子随便跑
|
|
6
ns2250225 OP @frayesshi1 好滴，我试试，感谢
|
Select Language