Pytorch通过保存为ONNX模型转TensorRT5的实现1 Pytorch以ONNX⽅式保存模型
def saveONNX(model, filepath):
'''
保存ONNX模型
:param model: 神经⽹络模型
:param filepath: ⽂件保存路径
'''
numpy教程 pdf
# 神经⽹络输⼊数据类型
dummy_input = torch.fig.BATCH_SIZE, 1, 28, 28, device='cuda')
2 利⽤TensorRT5中ONNX解析器构建Engine
def ONNX_build_engine(onnx_file_path):
'''
通过加载onnx⽂件，构建engine
:param onnx_file_path: onnx⽂件路径
:return: engine
'''
# 打印⽇志
G_LOGGER = trt.Logger(trt.Logger.WARNING)
with trt.Builder(G_LOGGER) as builder, ate_network() as network, trt.OnnxParser(network, G_LOGGER) as parser:
builder.max_batch_size = 100
builder.max_workspace_size = 1 << 20
print('Loading ONNX file from path {}...'.format(onnx_file_path))
with open(onnx_file_path, 'rb') as model:
print('Beginning ONNX file parsing')
parser.ad())
print('Completed parsing of ONNX file')
print('Building an engine from file {}; this may take '.format(onnx_file_path))
engine = builder.build_cuda_engine(network)
print("Completed creating Engine")
# 保存计划⽂件
# with open(engine_file_path, "wb") as f:
#  f.write(engine.serialize())
return engine
3 构建TensorRT运⾏引擎进⾏预测
def loadONNX2TensorRT(filepath):
'''
通过onnx⽂件，构建TensorRT运⾏引擎
:param filepath: onnx⽂件路径
'''
# 计算开始时间
Start = time()
engine = self.ONNX_build_engine(filepath)
# 读取测试集
datas = DataLoaders()
test_loader = stDataLoader()
img, target = next(iter(test_loader))
img = img.numpy()
target = target.numpy()
img = img.ravel()
context = ate_execution_context()
output = np.empty((100, 10), dtype=np.float32)
# 分配内存
d_input = _alloc(1 * img.size * img.dtype.itemsize)
d_output = _alloc(1 * output.size * output.dtype.itemsize)
bindings = [int(d_input), int(d_output)]
# pycuda操作缓冲区
stream = cuda.Stream()
# 将输⼊数据放⼊device
# 执⾏模型
# 将预测结果从从缓冲区取出
# 线程同步
stream.synchronize()
print("Test Case: " + str(target))
print("Prediction: " + str(np.argmax(output, axis=1)))
print("tensorrt time:", time() - Start)
del context
del engine
补充知识：Pytorch/Caffe可以先转换为ONNX，再转换为TensorRT
近来⼯作，试图把Pytorch⽤TensorRT运⾏。折腾了半天，没有完成。github中的转换代码，只能处理pytorch 0.2.0的功能（也明确表⽰不维护了）。和同事⼀起处理了很多例外，还是没有通过。吾以为，实际上即使勉强过了，能不能跑也是问题。
后来有⾼⼿建议，先转换为ONNX，再转换为TensorRT。这个思路基本可⾏。
是不是这样就万事⼤吉？当然不是，还是有严重问题要解决的。这只是个思路。
以上这篇Pytorch通过保存为ONNX模型转TensorRT5的实现就是⼩编分享给⼤家的全部内容了，希望能
给⼤家⼀个参考，也希望⼤家多多⽀持。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。