avatar
文章
412
标签
318
分类
28
主页
归档
标签
分类
关于
J. Xu
搜索
主页
归档
标签
分类
关于

使用 tensorrt 加速 pytorch 模型推理

发表于2024-07-09|更新于2024-10-09|researchdeep learning
|字数总计:8|阅读时长:1分钟|阅读量:
文章作者: Jinzhong Xu
文章链接: https://xujinzh.github.io/2024/07/09/ai-pytorch-model-infer-acc-onnx-tensorrt/
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 J. Xu！
pythonlinuxtensorrtpytorchonnxtorch-tensorrt
cover of previous post
上一篇
使用 trickle 限制 linux 上应用程序的下载和上传速度
cover of next post
下一篇
Ubuntu 上安装 vlc 并使用 root 用户播放
相关推荐
cover
2021-11-06
服务器开机或IP改变自动发送通知邮件
cover
2021-11-29
服务器关机自动发送通知邮件
cover
2022-10-29
Ubuntu 上编译安装官网 Python
cover
2021-08-02
CNN 模型计算力 FLOPs
cover
2023-02-24
MMClassification 图像分类使用
cover
2023-02-26
MMDetection 目标检测使用
评论
avatar
Jinzhong Xu
众妙之门
文章
412
标签
318
分类
28
Follow Me
公告
日本核污染水强排入海！
目录
  1. 1. TensorRT 简介
  2. 2. 环境配置
  3. 3. pytorch 原生推理
  4. 4. torch_tensorrt 推理
    1. 4.1. torch_tensorrt compile 时推理
    2. 4.2. torch_tensorrt export 后推理
      1. 4.2.1. 单精度推理
      2. 4.2.2. 半精度推理
  5. 5. onnxruntime 推理
    1. 5.1. 简单的 onnx 导出和 onnxruntime 推理
    2. 5.2. 动态多输入输出导出 onnx
  6. 6. tensorrt 推理
    1. 6.1. 简单的 onnx 转 trt 并推理
    2. 6.2. 动态多输入输出的 onnx 转 trt 并推理
      1. 6.2.1. 从 onnx 导出动态、多输入输出 engine
      2. 6.2.2. 动态、多输入输出推理（numpy）
    3. 6.3. 动态、多输入输出推理（torch.tensor gpu）
  7. 7. 结论
  8. 8. 可能遇到的问题
  9. 9. 参考文献
最新文章
transport endpoint is not connected
transport endpoint is not connected2024-12-02
python 编译或打包 py 文件
python 编译或打包 py 文件2024-11-29
python 连接 mysql 数据库
python 连接 mysql 数据库2024-11-11
libstdc++.so.6 版本问题
libstdc++.so.6 版本问题2024-09-26
深度学习中的归纳偏置
深度学习中的归纳偏置2024-08-28
©2019 - 2024 By Jinzhong Xu
框架 Hexo|主题 Butterfly
搜索
数据库加载中