k230推理速度过慢

Viewed 54

问题描述


我自己训练的检测模型,检测我的数据,推理速度大概在200ms,我使用了自己的模型和https://www.kendryte.com/zh/matrix链接的yolov8n_640.kmodel推理,推理速度也在200ms,请问为什么会和https://www.kendryte.com/k230_canmv/zh/main/zh/example/ai/YOLO%E5%A4%A7%E4%BD%9C%E6%88%98.html#id119这个里面的速度差这么多啊,我更改成320的分辨率也要58ms一张图,和文档里的数据差距很大(没有更改backbone)
想知道为什么会速度差距这么大,是正常的现象还是说哪一步有问题?
模型转换参考为yolo大作战。无变动,自己得到的模型大小为3.6mb左右,正常做的量化。
python to_kmodel.py --target k230 --model /home/z/Desktop/work/k230/ultralytics/work/results/train_results/weights/best.onnx --dataset /home/z/Desktop/work/k230/ultralytics/work/calib_data --input_width 640 --input_height 640 --ptq_option 0

硬件板卡


庐山派k230

软件版本


CanMV-K230_LCKFB_linux_v0.6.9_nncase_v2.10.0.img

我还发现,micropython的运行速度能有100ms,但是linux sdk上的c++就要有200ms

输入--input_width 320 --input_height 320,这样和历程差不多吧
我使用确实是30FPS左右

1 Answers

linux上和rtos和mp上有一点区别,还没有找到原因。你先看看rtos能不能满足要求?