ONNX/TensorRT
ONNX是开放的模型格式标准,TensorRT是NVIDIA的高性能推理引擎,两者配合实现跨平台的高效模型部署。ONNX格式:模型导出与转换;ONNX Runtime:跨平台推理;TensorRT优化:层融合、精度校准;性能对比:速度与兼容性;部署流程:训练到推理pipeline。
学习资源(11 个)
📎
ONNX Runtime Documentation
ONNX Runtime文档
进阶
📎
百度千帆 - INT4量化部署
百度千帆INT4部署
进阶
📎
腾讯云TI - ONNX推理优化
腾讯云ONNX优化
进阶
📎
CSDN - TensorRT优化技巧
TensorRT教程
进阶
📎
SegmentFault - ONNX模型转换
模型转换指南
进阶
📎
掘金 - TensorRT部署实战
TensorRT实战
进阶
📎
飞桨Paddle - ONNX导出
飞桨ONNX导出
进阶
📎
ONNX Official Website
ONNX官方网站
入门
📎
NVIDIA TensorRT Documentation
TensorRT文档
进阶
📎
PyTorch ONNX Export
PyTorch ONNX导出
进阶
📎
ONNX Runtime Performance
ONNX Runtime性能
进阶