k230是否支持多batch推理?

Viewed 53

问题描述


各位老师是否做过k230的yolov8多batch推理?我onnx和kmodel都转成了[2,3,640,640],但是部署到板子上一直部署不上去,查官方文档也没有找到多batch部署的方法。

硬件板卡


庐山派k230

1 Answers

这个我们也没试过,你是怎么部署的,说详细一点,理论上我认为batch推理是可以的

我导出onnx的时候是用的yolo export batch=2 imgsz=640导出的,然后修改了to_kmodel.py 中的 compile_options.input_shape 为 [2, 3, 640, 640](已经验证了转出的onnx和kmodel的输出shape均为2batch),但是在k230的后处理适配上遇到一些问题,libs.YOLO好像只支持单batch。

对的,后处理现在写的只处理单batch的,啥场景需要多batch推理。k230应该是可以做到多batch推理的,但是前后处理都需要修改。

打算带两到三个摄像头进行同时推理(leader那边认为多batch的速度能提高)前后处理改的我头痛就想来看看有没有大佬做过这块