yolov5 fp16 动态输入转 TensorRT 部署到 triton 服务

把 yolov5 训练出的 PyTorch 模型转换成 TensorRT 模型，扔进 triton 里部署。一条看似官方全程护航的流水线，实际每一步都有暗雷，本文按流程逐个排掉。

需求

1. 为加快推理速度，把 fp32 精度的模型转成 fp16；
2. 为支持 yolov5 动态 padding 和批推理，输入的 batch 和图片 size 需要是动态的。

版本

转换机（把 pt 转成 engine 的机器）：

• yolov5：截图里的 export.py 代码与 v6.2 写法一致（见下方 2026 年补注）
...

Read more