不用写程序也能轻松上手─DL Workbench图形化接口工具（中）

作者：时间：2021-06-01来源：英特尔收藏

本文引用地址：http://www.eepw.com.cn/article/202106/426071.htm

在开始实际操作前，先大致说明一下整个DL Workbench的工作流程，方便后面理解实际操作项目，如Fig.3所示。

Fig.3 DL Workbench工作流程图。(OmniXRI Mar.2021整理制作)

1.安装(Install)：前面已经介绍过，除了可直接一步一步安装在计算机上，也可支持使用Docker映像方式安装DL Workbench。另外OpenVINO也支持以Dev-Could方式安装，方便没有采购硬件的人，先利用Intel提供的云端测试平台来选择合适的硬件。

2.模型(Model)：不会设计AI模型的人可通过OpenVINO内建的模型下载器(Model Downloader)选用Intel已预训练好参数的模型(Pre-Trained Open Model Zoo)，或者使用公开模型(Public)。当然也可支持自己开发并训练好的模型。不过这里只支持Caffe,MXNet,ONNX,TensorFlow和PyTorch格式的模型转换，最后会都转换成OpenVINO支持的中间表示(Intermediate Representation,IR)格式模型网络描述及权重文件(*.xml,*.bin)。

3.准备模型(Prepare Model)：由于导入的模型有可能过大，因此可通过OpenVINO内建的优化工具(Optimizer)协助处理网络架构调整以减少计算量。另外，一般训练好的模型参数（网络权重）多半都是使用32位浮点数(FP32)来表示，为实现更好的推理效果，这里也可协助校正(Calibration)，将32位浮点数(FP32)转换到16位浮点数(FP16)，甚至是8位整数(INT8)。虽然在不同场景下可能会损失几个百分点的推理精度，但好处是参数所需内存可缩小至1/2到1/4间，而指令周期则可增加2到3倍。

4.数据集(Dataset)：为了测试选用的模型，这里可以导入(Import)自行准备符合常见的公开数据集（如ImageNet,Pascal VOC,MS COCO等）格式的数据集。或者使用生成(Generate)高斯噪声变相产生小型数据集来辅助简易性测试，但请注意这种方式仅适用图像分类模型测试，且因不含标注数据，所以不适用精确度测量及校准工作。如果手上没有现成的数据集，亦可参考官网[3]说明，下载常见的ImageNet,Pascal VOC,Microsoft COCO等公开数据集。

5.建立基准(Benchmark)：准备好模型、数据集及选用欲执行的硬件环境后，便可根据平行流(Parallel Streams)及批次数量(Batch Size)设置值开始进行推理并建立一个基准点(如Fig.4a)，其内容包含产出速度(Throughout,Frame Per Second,FPS)、延迟(Latency,ms)。若不满意推理结果，则可重新调整上述参数，建立多个基准点，方便后续比较哪种组合的效果更好。

6.分析(Analyze)：为了更容易理解模型每个环节的工作负担，这里提供了许多可视化表格及图形来帮助理解，包含模型主要执行耗时分布(Execution Time by Layer)圆饼图(如Fig.4b)、每一层(Layers)的结构、名称、推理耗时、输出精确度(如Fig.4c)，模型整体网络节点连接关系图，模型优化前后(IR及nGraph)的网络结构(如Fig.4d)，另外还会搭配颜色表示各节点耗时，方便后续模型建立者调整结构及进一步的参数。

7.部署(Deploy)：待反复步骤5和6找到最佳效能点后，便可打包部署到实际硬件上执行，如此就能轻松完成模型分析、优化、部署工作。不过要注意的是这项功能目前仅提供Ubuntu(Linux)使用。