基于OpenVINO的海信医疗 CAS 计算机辅助手术胸肺系统

要点综述
　　人工智能等数字化技术正在深度重构医疗行业，从医学影像辅助诊断、疾病预测/健康管理到药物研发等诸多环节，数字化技术都发挥着日趋重要的作用，带来更加智慧、高效、精确的诊疗方式。其中，三维手术规划系统通过医疗影像中解剖结构智能分割、三维重建及渲染，能够帮助医生更精准定位手术位置，判断手术可行性，并规划最优手术路径，可有效提高肿瘤切除率、修正手术方案、大大减少手术时间及术中出血，提高手术安全性，造福病患。
　　青岛海信医疗设备股份有限公司（以下简称：海信医疗）是海信集团全资子公司，公司与青岛大学共建了数字医学与计算机辅助手术省级重点实验室，专注于与医学影像相关的人工智能技术开发，形成了以医学影像处理、人工智能、信息交互、医用显示等核心技术为基础，以计算机辅助手术系统、智能影像中心、数字化手术室等医院信息化解决方案为落地场景的完整研发、生产、营销服务体系。海信医疗多年致力于医学影像人工智能技术研发，成功开发出海信计算机辅助手术规划系统，覆盖胸肺、肝胆胰脾和泌尿系统，已应用于全国100多家医院，服务病患超过9000例（根据2020年2月的数据统计），产生了良好的社会及经济效益，具有良好的临床应用前景。
　　为了进一步提升 CAS 手术胸肺系统针对 CT（电子计算机断层扫描）人工智能器官分割的效率，提高部署灵活性并控制大规模部署成本，海信医疗部署了英特尔®至强®可扩展处理器，并使用OpenVINO™工具套件进行了算法深度学习加速，成功达到了预期目标。
背景：CAS 手术在中国与全球市场的发展现状与预测
　　随着近年来低剂量螺旋CT早期筛查普及率的提高，越来越多癌前病变的小结节被检出。与此同时，肺癌的外科治疗也经历了从一侧全肺切除、解剖性肺叶切除到肺楔形段切除的发展演变。
　　从解剖学上讲，肺段是一个完整和独立的单位，每个肺段都有其独立的动脉、静脉及支气管分支供应，精准切除肿瘤所在的肺段，既能保证肿瘤的完整切除，又能最大限度的保留正常肺组织，还能进行段间及段内淋巴结的采样或清扫，达到解剖性切除、根治肿瘤的目的。研究表明，针对如临床I期非小细胞肺癌（NSCLC）治疗等，解剖性肺段切除术与传统肺叶切除相比，可以提供类似的局部和远端控制1,2。因此，精准肺 段切除非常适合肺小结节或无法耐受肺叶切除病人的治疗。
　　由于肺脏边缘动静脉、支气管分支特别复杂，且缺乏天然可见的解剖边界，精准肺段切除术具有较大技术和解剖学难度。基于深度神经网络自动分割的肺部精准三维重建技术可以将肺组织、病灶、肺内血管和支气管等结构的形态和空间分布等进行识别与分析，实现直观准确的可视化呈现。使用三维重建技术的3D CT 手术计划对机器人辅助节段切除术非常有用，有利于减少并发症和提高手术效率。
　　术前精准三维重建可有效显示病灶及附近解剖结构，为肺癌患者提供了更多的选择，能够最大限度地保留患者的肺功能。针对早期肺癌和癌前病变，通过精准肺段切除能以最小代价提前实施干预，切除病灶，增加患者的长期生存率，提高患者生活质量。实例验证显示，解剖性肺段分析可有效确定肿瘤体积、所在肺段位置并帮助医生预测切缘。切缘预测阳性准确率对肿瘤切缘高于1cm或者切缘肿瘤直径比大于1的情况，切缘准确率（TP/（TP+FP））分别达到87%及75%，可有效辅助医生术前精确判断周围型肺癌肺段切除可行性。
　　为了支持医疗影像的自动分割，研究人员使用了 NiftyNet 等基础架构来开发深度学习方案，NiftyNet 使研究人员能够快速开发和分发用于分段、回归、图像生成和表示学习应用程序的 深度学习解决方案，或将平台扩展到新的应用程序6 。
　　据美国联合市场研究（Allied Market Research）机构最近公布的一份研究报告预测，全球术前规划软件市场规模2018年为8409万美元，到2026年这个数字将达到1.27亿美元，复合年增长率为5.2%。
　　胸肺 CT 三维重建是 AI 技术在医疗行业的典型应用。事实上，由于AI在诊疗过程中具备突出的优势，其已成为众多医院推进数字化创新、推动智慧医院建设的重要方向。《中国医学影像 AI 白皮书》显示，在医学影像方面，AI 技术具有更广阔的落地场景，通过 AI 技术，可以有效提高医师诊疗效率与诊断精 度，使医学影像的分析技术下沉，缩短患者就诊等待时间，降低患者就医成本。
　　开展精准肺段切除的最大难点在于个体解剖差异， 如何分辨肺段的静脉、动脉、支气管及段间平面是手术是否精准的关键。随着人工智能技术的发展， 国内少数医院通过将 CT 数据影像导入计算机工作站，建立起三维立体数字器官模型，真实还原了患者的动脉、静脉及支气管的走形形态，手术过程中能够在电脑中旋转观察，准确定位并精准切除病灶，同时也大大提升了手术的安全性。— 彭忠民 山东省立医院东院胸外科主任
海信医疗基于英特尔架构加速三维神经网络预测
　　海信医疗 CAS 计算机辅助手术胸肺系统可以为腹腔精准外科手术提供高效、精准、易用的影像重建及量化模拟分析整体解决方案。该系统能够针对腹腔组织器官的 CT/MR 影像进行预 处理和分割，精准输出清晰的肝脏、肿瘤、血管及周边器官组织的重建结果，并提供多种模拟手术工具进行直接 3D 切割、2D 映射切割和流域分析，为临床医生快速精准地进行诊断和制定方案提供了有力的辅助工具。

图 1. 利用海信医疗 CAS 完成的胸肺 CT 三维重建模型。图片由海信医疗提供

图 2. 海信医疗 CAS 计算机辅助手术胸肺系统。图片由海信医疗提供

　　面向重大肝脏疾病的计算机辅助手术系统进行的汇总分析显示，海信计算机辅助手术系统和其它同类产品已向临床医护人员提供帮助。
　　海信医疗 CAS 计算机辅助手术胸肺系统的设计采用功能原型设计、性能优化、准确性比对的步骤进行。系统采用了V-Net 神经网络架构来进行全卷积神经网络的三维图像分割，利用 NiftyNet 进行快速的算法原型设计，在功能验证的基础上，进一步利用英特尔工具进行性能优化，并对优化后预测结果与优化前预测结果进行对比，以确保优化后的神经网络的一致性。
V-Net
　　大多数医学影像数据是三维体数据，能够提取三维特征对于管道类组织的分割至关重要，这是因为血管、支气管等管道类组织在单张 CT 影像上往往呈现圆形或椭圆形截面，而其主要的形态特征存在于 z 轴方向。同时医学图像分割经常存在目标组织解剖结构体积占比小，样本间不均衡现象，如：肺支气管、肺小结节相比肺实质，从而带来预测偏差。 V-Net 神经网络结构由 Milletari et al. 在 2016 年提出，输入图像经过一个图像压缩路径进行特征提取及降采样操作，连接一个图像解压缩路径将图像恢复到输入图像大小，形成左右对称的 V 字神经网络架构。压缩及解压路径间通过特征前项短接 保留细颗粒特征，提升边缘的预测准确率。通过引入基于Dice系数的目标函数进行参数优化，可有效处理前景/背景体素不平衡现象。
NiftyNet
　　NiftyNet 是基于TensorFlow 的开源卷积神经网络（CNN）平台，通常用于医学影像分析和影像引导疗法的研究。海信医疗使用 NitfyNet 以及其内部开放模型库（Model Zoo）中的 Dense-Vnet 实现对于腹部 CT 中多个器官影像的分割，该神经网络平台可分割腹部 CT 上的八种类型的器官，包括胃肠道（食道、胃、十二指肠），胰腺和附近的器官（肝、胆、脾、 左肾）。

图 3. V-Net 神经网络架构图

　　NiftyNet 的开放模型库提供了可在 TensorFlow 之上，使用标准公共数据集训练模型的步骤，以及用于验证模型推理和性能评估的权重文件（checkpoint 文件）。在本案例中，英特尔帮助海信医疗修改 NiftyNet 的公共源代码来序列化 TensorFlow 模型图，并生成将权重固化到模型图的pb文件。OpenVINO工具套件需要使用在通用框架（Caffe， Tensorflow，MXNet，ONNX）上训练好的模型来进行转换，所以在开始使用OpenVINO之前，需要基于TensorFlow将 NiftyNet 模型源码生成模型图并固化权重，以便进行后续的工作。在深度网络图形序列化步骤中，需要指定正确的输入和输出节点，使得生成的权重固化文件中只包含从正确输入节点到正确输出节点之间的模型结构图。以下流程图反映了如何将 NiftyNet 公开模型使用 OpenVINO 加速的过程，其中橙色部分表示在 NiftyNet 源文件中编写代码完成的流程，蓝色部分表示 OpenVINO 优化流程：

图 4.NiftyNet模型使用OpenVINO优化性能的流程图。约 14.7x 的性能提高细节请参考图 9

使用 OpenVINO 工具套件分发来加速模型推断
　　OpenVINO 工具套件发行版提供了高度优化的神经网络计算能力，并基于包括英特尔 CPU、GPU、VPU 和 FPGA 在内的英特尔硬件平台，加速了深度学习模型推理。英特尔帮助海信医疗使用了英特尔® 深度学习部署工具包（英特尔® DLDT）。 该工具包是 OpenVINO 工具套件中的主要推理优化模块。
　　如图5所示，英特尔 DLDT 包含两个模块，模型优化器（MO，Model Optimizer）和推理引擎（IE，Inference Engine）。模型优化器是一个跨平台的命令行工具，可实现训练和部署环境之间的转换，执行静态模型分析并调整深度学习模型， 致力于在终端目标设备上实现最佳执行能力。它支持从流行的框架（包括 TensorFlow 模型）到中间数据格式（IR，Intermediate Representation）的离线模型转换。

图 5. OpenVINO 工具套件的深度学习部署 相关的产品架构

　　中间数据格式包含用于描述深度学习网络结构的 XML 和用于存储权重值和偏差值的二进制文件，可以使用推理引擎在英特尔至强可扩展处理器上加载和执行模型网络。推理引擎提供统一的跨平台 C++ 和 Python API，用于推理加速和优化。在英特尔®处理器上，IE将自动在运行时使用集成了英特尔®深度神经网络库（英特尔® DNNL）的运行插件，该插件均为动态函数库，可以在运行时检测指令集架构（ISA），并使用准时制代码生成（JIT）来部署，针对最新的 ISA12 进行优化，以加速神经网络中各层的运算。
　　图 6 展示了在 CPU 平台上，英特尔 DLDT 的加速推理的机制和流程，其中推理引擎使用到的MKL-DNN（又称英 特尔 DNNL）插件中定义了深度神经网络核心的原始操作（primitive operation）层的实现，其中包括卷积层（Conv，Convolution），对位操作层（Eltwise，element-wise），全连接层（Concat，Concatenation）等。
OpenVINO 异步模式
　　为了高度优化整个推理流程并降低数据传输成本，海信医疗采用推理引擎的异步应用程序编程接口（Async API）来设置多个推理请求对象的实例，并在多个处理器核上并行进行推理。该模式可将CT影像分割成多个小块进行处理（每个小块的尺寸为 64*64*64），并且每两个小块之间都不会存在数据相互依赖性，这意味着系统可以在开始时加载成批的块，并将其注入推理请求池以便并行计算，而无需等待逐个数据的输入或等待其他推理实例完成。这里提供了方便快捷的响应机制，一旦异步推理请求完成推理执行时，这组运算的结果将被获取和记 录，下一组输入将直接注入推理请求池进行下一轮推理。

图 6. 英特尔 DLDT 基于 CPU 平台上的优化机制

　　图 7 显示了使用英特尔® VTune工具包，通过程序热点（hotspot）分析选项，分析原始的推理引擎同步（Sync）API程序的运算情况。网络层在主线程上执行，英特尔DNNL将为在多个内核上进行计算的每一个网络层创建英特尔® TBB 线程。从OpenVINO工具套件2019R1版本开始，DLDT 将默认的并行化机制从 OpenMP 转移到英特尔 TBB，旨在为多网 络场景和异步及吞吐量模式下的推理运算提供更高的性能。
　　图 7 中黄色圆圈圈中的一栏代表主线程，横轴表示时常，橙色 的内容表示主线程处于空转的状态下，线程占据了系统资源，

　图 7. VTune 工具展示的 OpenVINO IE Sync API 计算过程

　　原因是主线程需要等待，直到下面的TBB子线程逐层地完成，并且每小块的输入数据将被逐一计算后，主线程才可以结束运算并释放资源。
　　与 Sync API 相比，Async API 可以创建多个推理请求实例来同时执行网络推理。如图 8 所示，Async API 将同时创建带有多个推理请求的线程，每个线程分别使用不同的输入数据块执行推理，图像中的红色圆圈表示同一个网络层在不同推理实例上的并行情况。通过使用这种方式，将减少主线程和子线程之间的等待时延。

　图 8. VTune 工具展示的 OpenVINO IE Async API 计算过程（“吞吐量” 模式打开）

　　同时，海信医疗还使用处理器推理引擎的“吞吐量”（Throughput）模式在 CPU上同时高效地运行多个推理请求，从而大大提高了吞吐量。使用该模式，执行资源会被固定到执行“流”中，而这些“流”的可以绑定在CPU物理核上， “流”的数量建议设置为 CPU 的物理核数。通过此功能将容易 获得更高性能，尤其是在多核服务器上。
基于OpenVINO工具套件的海信医疗CAS性能验证
　　要对 CT 等医疗影像进行三维重建，需要采集目标的点云数据 （Point Cloud Data，PCD），经过深度影像增强、点云计算与配准、数据融合、表面生成等步骤，完成对目标的三维重建计算，其涉及到影像人工智能自动分割、重建，需要部署 人工智能预测网络，对于计算资源、存储和网络连接有着巨大的需求。
　　在选择人工智能预测网络的基础设施时，用户常常会面临是选择 CPU 还是 GPU的困扰。GPU的并行架构适合处理图像算法，也普遍被用于深度学习训练中，但是由于医疗场景的特殊性，GPU 并非是面向三维重建的人工智能预测网络构建 的必然选择：
　　• 医院部署人工智能功能往往局限于医院局域网，很难利用公网中的廉价 GPU资源。为了满足并发需求，部署多块高性能 GPU 是不小的硬件成本。
　　• 通常GPU显存有限，针对三维神经网络预测的大数据量，需要采用拆分-单独预测-合并的 Patch-based 方法，这样容易丢失所预测目标的上下文信息，引入噪声。如胸肺动静分割，数据量（512*512*400），使用只有 11GB 显存的 GPU（海信医疗评估系统设置），最大Patch尺寸为（232*232*232）。部署时该GPU的适配性不高。
　　• 本案例中的海信医疗 CAS 手术系统的AI算法有较强的批处理属性，人为交互少，可以允许损失一部分处理时间而不影响用户体验。
　　• GPU 通用性有一定的限制，仅能用于定制的AI运算，平时不能利用。使用 CPU 服务器可有效利用空置资源，提供其他阅片室或者手术室服务。
　　因此，选择恰当的三维神经网络预测的基础设施平台，并通过深度学习加速工具包来加速预测性能，就成为三维重建手术规划系统部署的重要因素。
　　基于英特尔至强可扩展处理器以及 OpenVINO 工具套件，海信医疗与英特尔共同优化了胸肺CT人工智能自动分割、重建算法，在可接受的性能指标范围内，大大降低了CAS计算机辅助手术胸肺系统部署成本与灵活性。
　　在发现GPU方案可能存在的弊端之后，海信医疗决定基于英特尔至强可扩展处理器来搭建基础设施平台，并对该方案的性能进行评估。英特尔至强可扩展处理器不仅拥有强大的通用计算能力，还集成了增强单指令多数据流（Single Instruction Multiple Data，SIMD）、英特尔® AVX-512 等创新技术，实现了对于通用计算能力和并行计算能力的兼顾，为人工智能训练提供了卓越的性能基础。相比上一代产品，英特尔至强可扩展处理器针对人工智能训练和推理可提供大幅领先的性能。
　　此外，海信医疗还使用OpenVINO工具套件进行了加速，OpenVINO工具套件包括英特尔深度学习部署工具套件。通过输入来自标准网络的训练后模型，模型优化器可将其转换为统一的中间代码（IR）文件，然后在推理引擎上运行该文件， 这有助于跨不同加速器进行测试，无需重新编码。
　　为了验证该方案的性能表现，海信医疗进行了对比测试（其中，CPU方案采用了英特尔至强可扩展处理器，搭载了英特尔®SSE4.2、英特尔®AVX、英特尔® AVX2、英特尔AVX-512指令集，并使用OpenVINO工具套件进行了优化，结果如图 9 所示）。在方案中，CT 影像原图为尺寸为（284，512，512），即284张 512*512 的 CT 影像切片。海信医疗 CAS 应用 NiftyNet 中的 GridSampler 函数将该 CT 影像原始切片分成了1001个64*64*64 的小块进行深度学习推理。
　　测试结果显示 CPU 方案具备更高的部署与应用灵活性，可以承担更广泛的负载，更有效地控制系统的总体拥有成本（TCO）。

图 9. 缺省NiftyNet和OpenVINO工具套件优化前后的推理性能对比。数据由海信医疗于 2020 年 1 月提供

效果实例：8分钟完成疑难病症手术关键核心环节
　　通过英特尔至强可扩展处理器、OpenVINO工具套件来优化胸肺CT人工智能自动分割，海信医疗 CAS 计算机辅助手术系统的效率与精度得到了有效保证。通过对于胸肺 CT 进行三维重建，该系统可形成立体360度可量化、可观察、可互动的影像模型，医生可以通过旋转、调整透明度、缩放等方式对于影像模型进行更加细致的观察，为术前规划、术中参考提供重要支撑。
　　海信医疗副总经理陈永健指出，近日在中国重庆医科大学附属第一医院泌尿外科的一例“肾癌伴下腔静脉癌栓并浸润腔静脉壁”疑难手术中，患者病情的特殊性让医生找不到同类手术进行参考，施行手术的风险极高。通过引入海信医疗 CAS 计算机辅助手术系统进行三维重建，医生进行了充分的术前规划准备，最终手术关键环节仅用时8分钟就顺利完成。
　　基于海信医疗在医疗行业深厚的积累，以及英特尔架构所带来的高性能、灵活性与敏捷性，该系统在胸肺类疾病的诊断中可以发挥出巨大潜力，帮助医生提升临床手术的质量。对于医院而言，该解决方案也可以有效利用医院内部的通用计算资源，节省相应支出。
　　2020 年1月份，青岛大学附属医院和海信医疗联合科研团队共同开发的，基于海信医疗 CAS 计算机辅助手术系统的“基于小儿肝胆胰计算机辅助手术系统研发、临床应用及产业化”成果，荣获 2019 年度国家科技进步奖二等奖。
展望：英特尔与海信医疗推动智慧医疗的落地
　　“三维重建的技术优势在疾病诊断中的效率、准确性优势日渐显现。通过与英特尔进行合作，我们确保了该系统的运行效率以及敏捷性。而在未来，我们也将与英特尔合作探索 3D 打印、混合现实等技术在医疗行业的应用，为术前精确诊断、术中精准手术、患者快速康复提供更大的支持保障”，海信医疗副总经理陈永健表示。
　　为推进人工智能在医疗健康领域的广泛应用，英特尔推出了CPU、FPGA、Myriad™视觉处理器及一系列的软件开发工具，具备全面的人工智能产品组合和端到端的技术实力，可以提供高度灵活和多种优化的解决方案，并充分发挥合作伙伴们在各自领域的专业性，来推动人工智能医疗技术的落地与进一步发展。