TVM 可以加载编译的模型种类

最新推荐文章于 2025-11-18 09:49:54 发布
原创 最新推荐文章于 2025-11-18 09:49:54 发布 · 513 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
人工智能落地

当前文章被收录于：

人工智能落地
20 篇文章 3 人学习
订阅专栏 查看详情
博客介绍了在TVM中，relay是一种模型描述的IR，可将各种模型编译成relay后进行优化，还给出了使用tvm.relay.frontend.from_onnx加载onnx模型的示例用法。

 

relay 本质上在TVM中就是一种模型描述的IR, 将各种模型编译成relay后再进行一步优化

示例用法： tvm.relay.frontend.from_onnx("/path/to/onnx/model")  加载onnx模型

 

 

tvm.relay.frontend

Functions:

from_caffe(init_net, predict_net, …)

Convert from caffe model into compatible relay Function.

from_caffe2(init_net, predict_net[, shape, …])

Load caffe2 graph which contains init_net and predict_net into Relay Function.

from_coreml(model[, shape])

Convert from coreml model into Relay Function.

from_darknet(net[, shape, dtype])

Convert from Darknet’s model into compatible relay Function.

from_keras(model[, shape, layout])

Convert keras model to relay Function.

from_mxnet(symbol[, shape, dtype, …])

Convert from MXNet”s model into compatible relay Function.

from_onnx(model[, shape, dtype, opset, …])

Convert a ONNX model into an equivalent Relay Function.

from_pytorch(script_module, input_infos[, …])

Load PyTorch model in the form of a scripted PyTorch model and convert into relay.

from_tensorflow(graph[, layout, shape, outputs])

Load tensorflow graph which is a python tensorflow graph object into relay.

from_tflite(model[, shape_dict, dtype_dict])

Convert from tflite model into compatible relay Function.

quantize_conv_bias_mkldnn_from_var(bias_var, …)

Quantized conv2d bias

标签
#自然语言处理 #深度学习
Ubuntu20.04部署TVM流程及编译优化模型示例
Briwisdom的博客
11-28 2653
记录自己安装TVM的流程，以及一个简单的利用TVM编译优化模型示例。
AI编译器TVM部署示例解析
吴建明wujianming_110117
03-07 3189
AI编译器TVM部署示例解析 AI编译器TVM(一)——一个简单的例子 概述 什么是TVM？ TVM可以称为许多工具集的集合，这些工具可以组合起来使用，实现一些神经网络的加速和部署功能。这也是为什么叫做TVM Stack了。TVM的使用途径很广，几乎可以支持市面上大部分的神经网络权重框架(ONNX、TF、Caffe2等)，也几乎可以部署在任何的平台，如Windows、Linux、Mac、ARM等等。 参考文献 https://oldpan.me/archives/the-first-step-towards
TVM：端到端自动深度学习编译器（244页PPT）
05-11
陈天奇给了关于TVM的报告，TVM: An End to End Automated Deep Learning Compiler。
探索TVM：深度学习模型编译与部署的前沿与实践【文末送书】
一键难忘的博客
01-03 6325
TVM是一个开源的机器学习编译器栈，旨在将深度学习模型部署到各种硬件设备上，包括CPU、GPU和各种加速器。 TVM采用模块化设计，将编译器分为前端、中端和后端三个部分。前端负责将深度学习模型从各种框架（如TensorFlow、PyTorch等）转换为TVM的中间表示（Intermediate Representation，IR），中端负责在中间表示上进行一系列的优化，如算子融合、减枝等，以减少计算量并提高运行速度，后端则负责将优化后的中间表示转换为针对特定硬件设备的低级代码。
tvm学习笔记 （三）：载入onnx格式模型
热门推荐
sinat_31425585的博客
06-05 1万+
1、模型转换 import onnx import numpy as np import tvm import tvm.relay as relay onnx_model = onnx.load('test.onnx') target = tvm.target.create('llvm') input_name = '0' # change '1' to '0' shape_dict...
【TVM帮助文档学习】开始使用TVMC Python: TVM的高级API
zx_ros的博客
05-06 940
本文翻译自Getting Starting using TVMC Python: a high-level API for TVM — tvm 0.9.dev0 documentation 首先我们需要准备好示例使用resnet模型。如果你还没有的话，可以按以下步骤下载: mkdir myscripts cd myscripts wget https://github.com/onnx/models/raw/main/vision/classification/resnet/model/resnet.
TVM学习笔记二.relay IR介绍
亦梦云烟的博客
05-26 3076
relay是一种功能多样的编程语言，用于机器学习系统表达的中间表示。relay支持代数数据类型，闭包，控制流和递归，从而可以直接表示比基于计算图的IR更复杂的模型。relay还包括一种使用类型关系的依赖类型的形式，来处理对参数形状有复杂的要求的操作符的形状分析。relay在设计上是可扩展的，这使得机器学习的开发者可以很容易地开发新的大型程序转换和优化。 下面分别介绍Relay中的语法，类型系统，代数数据类型和运算符。 一.Relay表达式 Relay IR是一个纯粹面向表达式的表达语言。下面描述Rel
TVM入门：TVM编译Pytorch模型工作流程
weixin_44742084的博客
05-05 2481
TVM编译Pytorch模型工作流程 TVM官方文档参考 0.导包 import tvm from tvm import relay import numpy as np from tvm.contrib.download import download_testdata # PyTorch imports import torch import torchvision 1.加载一个模型 这里以resnet18为例 model_name = "resnet18" model = getattr(
TVM Compiler中文教程：TVM编译ONNX模型并执行
Mars_WH的专栏
06-03 3901
编译ONNX模型 下面描述使用Relay如何部署ONNX模型： #安装onnx，https://github.com/onnx/onnx pip install onnx --user 首先导入所需要的python包： import onnx import numpy as np import tvm import tvm.relay as relay from tvm.contrib.dow...
利用TVM神经网络编译器完成模型C++端的部署
生活需要深度
02-02 1502
在上一篇文章中<一步一步解读神经网络编译器TVM(一)——一个简单的例子>，我们简单介绍了什么是TVM以及如何利用Relay IR去编译网络权重然后并运行起来。上述文章中的例子很简单，但是实际中我们更需要的是利用TVM去部署我们的应用么，最简单直接的就是在嵌入式系统中运行起我们的神经网络模型。例如树莓派。这才是最重要的是不是？所以嘛，在深入TVM之前还是要走一遍基本的实践流程的，也唯有实践流程才能让我们更好地理解TVM到底可以做什么。
使用TVM编译ONNX模型的完整指南
最新发布
gitblog_00720的博客
11-18 941
在深度学习模型部署领域，ONNX(Open Neural Network Exchange)格式已经成为模型交换的重要标准。本文将详细介绍如何使用TVM(深度学习编译器)来编译和部署ONNX模型，帮助开发者将训练好的模型高效地部署到各种硬件平台上。 ## 准备工作 ### 安装必要的软件包 在开始之前，需要确保已经安装了以下Python包： ```bash pip install onnx
AI编译器及TVM概述
wsq_zqfl的博客
12-13 2499
TVM（TVM stack）是一个深度学习和机器学习的通用端到端支持库和编译器堆栈，旨在为深度学习模型的开发、优化和部署提供全面的支持。TVM的整体架构包括以下几个关键组件：前端（Frontend）：TVM支持多种深度学习框架的前端，包括TensorFlow、PyTorch、Keras等。通过前端，用户可以将自己的深度学习模型导入到TVM中进行编译和优化。中间表示（Intermediate Representation，IR）：TVM使用一种中间表示来表示深度学习模型。
【TVM系列二】TVM介绍
生活需要深度
02-11 1794
前面描述的转换都是基于规则和确定的，而TVM的设计目标之一是支持对于不同的硬件平台都可以进行高性能的代码优化。因此，需要对尽可能多的优化进行选择，每个优化又需要选择最优的参数，从这个角度来看，这个的工作量无疑是巨大的。TVM采用了基于空间搜索和机器学习的方法来解决这个优化选择与调参的问题。在relay优化的pipeline的最后，会运行一个 FuseOps的pass，将一个完整的Function（对应一个端到端的模型如 MobileNet）分解为多个子Funcions（例如 conv2d-relu）段。
TVM编译器推理加速模型
Y_snower的博客
03-09 1815
简单上手深度学习TVM推理框架
关于TVM模型的Relay IR的Node遍历
qq_47564006的博客
03-11 864
关于TVM模型的Relay IR的Node遍历
【TVM源码学习笔记】2.2 C++侧的relay ir op, function和irmodule
zx_ros的博客
02-25 1895
探讨C++侧算子的relay ir的实现
安装包 支持的参数_使用TVM支持TFLite（中）
weixin_28704565的博客
01-06 445
在阅读该篇文章之前，建议先阅读该系列文章的上一篇 蓝色：使用TVM支持TFLite（上），并希望按照上篇文章末尾所提供的文档链接，成功编译安装了TVM。若没有任何问题，你打开Python3以后，import tvm，不应该有任何报错，如下图所示：让TVM支持TFLite的准备工作在这一步以后，我们若要让TVM支持运行TFLite模型，我们还需要两个Python安装包：FlatbuffersTFLi...
【KAWAKO】TVM-tflite模型编译与优化
本平台停止更新，后续文章将在个人博客blog.kawako.fun发布
03-02 1627
目录 前言 准备模型 版本问题 精度问题 加载tflite模型 编译模型 在python上运行模型进行测试 加载输入数据 运行四连 优化（Autotune） 注： 前言 TVM的编译与优化主要有两种方法，一种是通过tvmc命令行，另一种是通过python。 tvmc编译出来的模型，在后面c++推理的时候读取不进来，可能是我使用的c++方法与tvmc的模型对应不上导致的，因此本文暂时不讲这种方法，其使用方法可以在官方文档中找到。 python方法虽然不如tvmc灵活，但也挺简单的
tvm 学习笔记（四）：tvm量化pytorch的onnx模型
sinat_31425585的博客
07-03 5957
1、模型来源： github链接：https://github.com/qfgaohao/pytorch-ssd 2、保存成onnx模型 运行convert_to_caffe2_models.py脚本 >> python convert_to_caffe2_models.py 3、使用onnx-simplifier工具： 安装使用： >> pip3 ins...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值