nvidia TAO Toolkit使用总结


nvidia TAO Toolkit 使用总结

TAO 表示 train、adapt、optimize。TAO Toolkit 是 nvidia TAO 框架的低代码版本,主打使用者无需专业 AI 知识即可构建高准确度模型,在英伟达设备上做到训练部署一条龙。低代码不等于无坑,本文按流程走一遍,把每一步的暗雷标出来。

流程参考快速上手 tao toolkit

环境准备

1. 注册与登录 ngc

注册英伟达开发者账号(略),去 ngc 官网目录右上角用英伟达账号登录。

2. 生成 API Key

回到 ngc 首页,右上角点自己的账号,进 Setup,出现 Generate API Ke...

Read more

django设置时区支持导致mysql查询报错


django 设置时区支持导致 mysql 查询报错

背景:为什么要开 USE_TZ

在 django settings 中设置 USE_TZ = True 是官方推荐的做法,也是 django 5.0 之后的默认值。官方文档的说明:

当启用对时区的支持时,Django 在数据库中以 UTC 为单位存储日期时间信息,在内部使用具有时区的日期时间对象,并在模板和表单中将其转换为最终用户的时区。

如果用户居住在多个时区,这会很方便:你要根据用户的时间来显示日期信息。

即使你的网站只在一个时区提供服务,在数据库中用 UTC 存储数据仍然是一个好的做法,主要原因是夏令时(DST)。许多国家都有...

Read more

yolov5 fp16动态输入转TensorRT部署到triton服务


yolov5 fp16 动态输入转 TensorRT 部署到 triton 服务

把 yolov5 训练出的 PyTorch 模型转换成 TensorRT 模型,扔进 triton 里部署。一条看似官方全程护航的流水线,实际每一步都有暗雷,本文按流程逐个排掉。

需求

  1. 为加快推理速度,把 fp32 精度的模型转成 fp16;
  2. 为支持 yolov5 动态 padding 和批推理,输入的 batch 和图片 size 需要是动态的。

版本

  • yolov5:v6.1
  • triton docker 镜像:22.08
  • TensorRT:8.4.2.4
  • cudnn:8.2.1.32
  • CUDA To...

Read more