目的：yolov5训练出的pytorch模型需要转换成tensorrt模型扔到triton里部署

需求：

        1、为加快推理速度，需要把fp32精度的模型转成fp16

        2、为支持yolov5动态padding和批推理，输入的batch和图片size需要是动态的

版本：

        yolov5——v6.1；

        triton docker镜像——22.08；

        TensorRT——8.4.2.4；

        cudnn——8.2.1.32；

        CUDA Toolkit——11.3.1

流程：

1、pt转onnx

...

Read more