400-123-4657
联系我们/CONTACT US
地址:广东省广州市天河区88号
电话:400-123-4657
传真:+86-123-4567
公司动态您当前的位置: 首页 > 华宇动态 > 公司动态

OpenVINO早餐|第十八期:开始使用模型优化器

更新时间:2024-05-13

大家好,这里是OpenVINO早餐。

在上一期的节目中,我带大家一起看了模型优化器到底对模型做了哪些优化。从这一期开始,我们就来看看如何使用模型优化器对模型进行转换。


曹慧燕

英特尔 IOTG Edge AI 工程师


01 视频放映

【持续更新】吃 OpenVINO 早餐,玩转深度学习部署_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili


02 文稿阅读

开官方开发文档:docs.openvinotoolkit.org,” Go to Guides >”,找到 Model Optimizer Developer Guide。


  1. 模型优化器的工作原理
  • 模型优化器并不用来做模型推理
  • 作用是把支持的模型框架训练出来的模型转成IR文件
  • 在转换过程中,除了在上一期中介绍的特定的模型优化技术以外,还有一些通用的优化。比如:移除推理阶段不需要的层,如:Dropout;使用一个操作算子替代一组操作节点,从而减少节点数,降低推理时间。


2.了解模型优化器是否支持你的模型

可以在Supported Framework Layers中查找模型优化器支持的层,如果你的模型中有不支持的层,或者有你自己定义的算法,需要参考Custom Layers in the Model Optimizer 去自定义这些算法。


3.源代码目录结构

  • 在使用模型优化器的时候,我们调用 mo.py 或者带 Framework 的 py 即可,他们都是调用 mo目录下的 main 函数。
  • mo 目录中,有 front, middle, back, ops 这样的目录:

front:前端的校验,包括:参数的校验,对原始模型的分析,检查模型优化器是否支持等。

middle:对模型进行优化

back:生成IR

ops:定义了一些通用的操作

  • extensions 目录中定义了对支持的 Framework 中的模型的操作。通常,你自定义的算法需要放在这个目录中。


4.配置模型优化器

因为模型优化器是将OpenVINO支持的模型转成IR,因此,在对原始模型进行解析时,必须需要安装对应的框架以及相关的依赖库。

运行<INSTALL_DIR>/deployment_tools/model_optimizer/install_prerequisites目录下的install_prerequisites.sh或install_prerequisites.bat即可。

通常这一步在安装 OpenVINO 工具包的时候会建议大家配置好,如果大家在安装的时候没有配置,那在使用模型优化器之前必须配置好。

因为这些都是 python 库,对 python 熟悉的小伙伴可以创建虚拟环境并在虚拟环境中安装及使用模型优化器

该脚本会安装模型优化器支持的所有框架,也可以只安装特定的框架:

配置好环境以后,就可以开始使用模型优化器了。

使用模型优化器这一部分内容我会在下一期给大家介绍。今天的分享就到这里,我们下期节目见!



【往期回顾】

OpenVINO 小助手:早餐|第十五期 · OpenVINO大家族

OpenVINO 小助手:早餐|第十六期 · 2020.4 Release Notes 解读

OpenVINO 小助手:OpenVINO早餐|第十七期:模型优化器对模型做了哪些优化


【返回列表页】

关于华宇娱乐

本站为华宇娱乐,华宇平台永久招商,任何平台的新老会员、代理都可以联系华宇主管申请为总代理、直属,了解详情待遇请加QQ或微信。 客户:为客户提供高质量和最大价值的专业化产品和服务,以真诚和实力赢得客户的理解、尊重和支持。市场:为客户降低采购成本和风险,为客户投资提供切实保障。 发展:追求永续发展的目标,并把它建立在客户满意的基础上。 关于“为合作伙伴创造价值”公司认为客户、供应商、公司股东、公司员工等一切和自...

联系我们

电话:400-123-4657

邮箱:admin@youweb.com

地址:广东省广州市天河区88号

传真:+86-123-4567

版权所有:Copyright © 2002-2017 某某公司 版权所有 ICP备案编号:粤IP********** TOP

平台注册入口