分类目录归档:部署

yolov5 fp16动态输入转TensorRT部署到triton服务


目的:yolov5训练出的pytorch模型需要转换成tensorrt模型扔到triton里部署

需求:

        1、为加快推理速度,需要把fp32精度的模型转成fp16
        2、为支持yolov5动态padding和批推理,输入的batch和图片size需要是动态的

版本:

        yolov5——v6.1;
 &nb

Read more