![cover](https://i-blog.csdnimg.cn/direct/4a1703ef380d4c519563ac7d99f2daaa.png)
CV11_模型部署pytorch转ONNX
https://www.bilibili.com/video/BV1cM4y187Xc/?spm_id_from=333.337.search-card.all.click&vd_source=7dace3632125a1ef7fd32c285eb2fbac
如果自己的模型中的一些算子,ONNX内部没有,那么需要自己去实现。
1.1 配置环境
安装ONNX
pip install onnx -i https://pypi.tuna.tsinghua.edu.cn/simple
安装推理引擎ONNX Runtime
pip install onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple
以及其他包,pytorch,matplotlib,numpy,pandas,pillow,opencv-python,tqdm 等
1.2 将模型导出为ONNX格式
# Author:SiZhen
# Create: 2024/7/15
# Description:
import onnx
import onnxruntime as ort
import torch
from model import resnet34 #导入模型
#print(onnx.__version__)
#print(ort.__version__)
device = torch.device("cuda:0" if torch.cuda.is_available() else 'cpu')
model = resnet34().to(device)
model = model.eval().to(device)
x = torch.randn(16,3,224,224).to(device)
output = model(x)
print(output.shape)
with torch.no_grad():
torch.onnx.export(
model, #要转换的模型
x, #模型的任意一组输入
'resNet34.onnx', #导出的ONNX文件名
opset_version=11, #ONNX算子集版本
input_names=['input'], #输入Tensor的名称 (自己起名字)
output_names=['output'] #输出Tensor的名称 (自己起名字)
)
或者用我们自己的模型:
# Author:SiZhen
# Create: 2024/7/15
# Description:
import onnx
import onnxruntime as ort
import torch
from model import resnet34 #导入模型
#print(onnx.__version__)
#print(ort.__version__)
device = torch.device("cuda:0" if torch.cuda.is_available() else 'cpu')
#model = resnet34().to(device)
model = torch.load('./resNet34.pth')
model = model.eval().to(device)
x = torch.randn(16,3,224,224).to(device)
output = model(x)
print(output.shape)
#生成ONNX格式模型权重文件
with torch.no_grad():
torch.onnx.export(
model, #要转换的模型
x, #模型的任意一组输入
'resNet34.onnx', #导出的ONNX文件名
opset_version=11, #ONNX算子集版本
input_names=['input'], #输入Tensor的名称 (自己起名字)
output_names=['output'] #输出Tensor的名称 (自己起名字)
)
#验证模型导出成功
import onnx
#读取 ONNX模型
onnx_model = onnx.load('resNet34.onnx')
#检查模型格式是否正确
onnx.checker.check_model(onnx_model)
print('无错误')
#以可读的形式打印计算图
print(onnx.helper.printable_graph(onnx_model.graph))
运行结果出现一个ONNX格式的权重文件:
1.3 验证ONNX模型导出成功
#验证模型导出成功
import onnx
#读取 ONNX模型
onnx_model = onnx.load('resNet34.onnx')
#检查模型格式是否正确
onnx.checker.check_model(onnx_model)
print('无错误')
以可读的形式打印计算图:
#以可读的形式打印计算图
print(onnx.helper.printable_graph(onnx_model.graph))
用netron可视化onnx模型:
1.4 torch.onnx.export()的原理:
三篇详细讲解的博客:
链接1:https://zhuanlan.zhihu.com/p/477743341
链接2:https://zhuanlan.zhihu.com/p/479290520
链接3:https://zhuanlan.zhihu.com/p/498425043
附
NPU是什么
NPU,全称为Neural Processing Unit,即神经网络处理单元,是一种专门为加速人工智能(AI)任务,特别是深度学习和机器学习算法而设计的专用计算芯片。随着AI技术的迅速发展,传统的中央处理器(CPU)和图形处理器(GPU)在处理复杂的神经网络模型时逐渐显得力不从心,特别是在移动设备和边缘计算场景中,对低功耗和高效能的需求日益增长,NPU因此应运而生。
NPU的特点与优势:
-
高度优化的架构:NPU的硬件架构针对神经网络中的大规模并行计算进行了特别优化,拥有大量简单但高效的计算核心,可以同时处理大量数据和执行复杂的矩阵运算,这对于诸如卷积神经网络(CNN)、循环神经网络(RNN)等深度学习模型尤为重要。
-
低功耗:相比CPU和GPU,NPU在处理相同AI任务时通常具有更低的能耗。这是因为其设计目标之一就是在保持高性能的同时减少能量消耗,这对于电池驱动的设备如智能手机、可穿戴设备尤为重要。
-
高速处理能力:NPU能够显著加快深度学习算法的运行速度,提升实时性,这对于需要即时反馈的应用场景,如语音识别、图像识别、自然语言处理等,至关重要。
-
集成与定制化:NPU往往被集成到系统级芯片(SoC)中,与CPU、GPU等其他组件紧密协作,为特定的AI应用场景提供定制化的解决方案。这种集成设计可以减少数据在不同组件间传输的时间,进一步提高效率。
-
机器学习推理与训练:NPU不仅适用于推理任务(即使用训练好的模型进行预测),在一些高端的NPU设计中,也支持或专门用于模型训练,尽管通常规模较小的训练任务或模型微调更为常见。
应用场景:
- 智能手机:提升拍照质量,实现即时的图像识别、场景识别、人脸解锁等功能。
- 自动驾驶:处理传感器数据,实现环境感知、物体识别和决策制定。
- 物联网设备:在智能家居、智能安防等场景中,进行本地数据分析,减少云端依赖,保护隐私。
- 医疗健康:辅助诊断,实时分析医疗影像资料。
- 边缘计算:在靠近数据源的位置处理数据,减少延迟,提高数据处理效率。
结论:
NPU代表了AI时代硬件发展的新方向,它的出现使得终端设备能够更高效、低耗地执行复杂的AI任务,推动了AI技术在日常生活中的广泛应用,同时也预示着未来计算设备将更加智能化和个性化。随着技术的不断进步,NPU的功能和应用范围预计将持续扩大,成为连接物理世界和智能世界的桥梁。
ONNX格式是什么
ONNX(Open Neural Network Exchange)是一种开放的神经网络交换格式,旨在促进不同深度学习框架之间的模型互操作性。它是由微软、亚马逊、Facebook、IBM等科技巨头共同发起和支持的项目,目的是简化和标准化机器学习模型的转移流程,使其能够在不同的平台和工具之间无缝迁移。
ONNX的核心特点和优势:
-
兼容性广泛:ONNX提供了一个统一的标准,使得模型可以从一个框架训练后,轻松转换到另一个框架进行推理,支持的框架包括但不限于PyTorch、TensorFlow、MXNet、Caffe2、Scikit-learn等。
-
中间表示格式:ONNX定义了一种中间层表示,这是一种平台无关的模型描述方式。这意味着模型可以在不损失精度的情况下,从原始训练框架转换为ONNX格式,进而部署到支持ONNX的推理引擎中。
-
模型组成:
- Graph:ONNX模型的核心是一个计算图(Graph),它描述了模型的计算流程,包括输入、输出以及中间的计算节点。
- Node:计算图中的每个节点(Node)代表一个特定的操作,如卷积、ReLU激活函数、矩阵乘法等。
- Tensor:模型中的数据通过张量(Tensor)的形式表示,这些张量是多维数组,用作节点的输入和输出。
-
算子丰富性与模拟:为了增强兼容性,ONNX不断扩展其算子库,以支持更多的模型类型和复杂操作。对于一些不直接支持的复杂算子,ONNX会尝试通过一系列基本算子的组合来模拟这些操作,确保模型转换的成功率。
-
性能优化:虽然ONNX本身不直接提供推理引擎,但它被设计为可以与多种高性能推理引擎集成,如TensorRT、OpenVINO等,这些引擎可以针对特定硬件(如GPU、NPU)进行优化,从而提升模型推理的速度和效率。
-
社区支持与工具:ONNX拥有活跃的开发者社区,提供了丰富的工具链,包括模型转换工具(如PyTorch的
torch.onnx.export
)、验证工具、可视化工具等,便于模型的转换、检查和调试。
应用场景:
- 模型迁移:研究者和开发者可以在不同框架间快速切换,比较不同框架下的模型性能。
- 部署灵活性:模型可以部署到云服务、边缘设备或移动设备上,适应不同的硬件环境。
- 模型服务化:企业和服务提供商可以利用ONNX格式将模型整合进其产品中,便于维护和更新。
综上所述,ONNX通过提供一个统一的模型表述方式,降低了模型在不同框架和平台间迁移的障碍,促进了AI技术的普及和应用。
更多推荐
所有评论(0)