DOCA 1.3上线 让DPU在数据时代找到“芯”价值

    随着数据中心成为新的计算单元，数据处理器有了更多的用武之地。英伟达的BlueField系列DPU由DOCA（Data-Center-Infrastructure-On-A-Chip Architecture）软件框架提供支持，可实现更好的网络、存储和安全性能。作为一款为BlueField DPU量身打造的软件开发框架，DOCA旨在为开发者提供全面、开放的开发套件，支持其BlueField DPU上进行简便、灵活的软件开发，快速创建基于BlueField DPU加速的高性能应用程序和服务。

      “DOCA是依托于面向未来的、API驱动的思维模式来构建的，可以让BlueField DPU硬件加速器变得更加易用，实现非凡的数据中心的性能、效率和安全性，解锁数据中心创新功能，并且能够更好地兼容下一代BlueField DPU，提供持续支持，加快应用程序和服务的上市时间，释放DPU的潜力。”NVIDIA网络技术专家崔岩说，“NVIDIA在发展BlueField DPU的同时，也在积极发展DOCA生态，这和我们以前发展GPU的同时在发展CUDA生态是异曲同工之妙。”

      今年5月，NVIDIA上线了DOCA 1.3版本，提供了121个新的API开发接口，加入了更多的增强和新功能，包括优化数据流插入的DOCA Flow库、通信通道库、正则表达式库、App Shield SDK、基于OVN的IPSec加密的完全卸载，以及一些DOCA服务，例如HBN在主机上实现了三层路由功能。借助DOCA 1.3，开发者不仅可以在本地BlueField DPU上或X86的容器中搭建开发环境，还能获得一致性的开发体验，可以统一访问BlueField DPU上的各种硬件资源，简化网络、存储、安全和基础设施管理服务相关的开发。同时，NVIDIA还为开发者提供了基于底层API抽象和封装的高级API库，大幅减少开发时间，可以更快的获得收益，另外通过容器化的DOCA服务，可以在BlueField DPU上直接部署应用。

DOCA软件栈

      DOCA 1.3中的正则表达式库被称为Regular Expression（RegEx），是多脚本语言使用的标准模式匹配工具，可以创建与文本模式匹配的过滤器，而不仅仅是单个单词或短语的匹配。正则表达式专为高吞吐量、低延时、深度包检测的应用程序设计，这些应用程序需要对数据包进行负载检测和异常监测，通过正则表达式模式匹配和字符串来实现相应的应用功能。正则表达式还可以实现安全和遥测功能，可以在DOCA 1.3上提供安全方面的应用，例如应用识别、入侵防御系统、URL过滤、文件扫描、深度数据包检测、App Shield内存扫描等，为安全软件开发提供底层的API支持。

      借助基于OVN的数据路径加密功能，不同主机之间可以利用IPsec的方式创建不同的隧道进行数据加密，保证数据在各个主机之间传递时是加密的状态。当数据到达某个主机时，BlueField DPU会将其解密成明文，把这些明文数据再传递给主机侧，为负载和应用程序提供数据。

      在NVIDIA BlueField DPU上，基于主机的网络（HBN）有助于对同一节点上的虚拟机和容器之间的流量进行管理和监控。如果在一个服务器主机上创建了多个虚拟机或多个容器，在它们之间会有一些数据流量，不管是二层数据流量还是三层路由的功能，都可以通过基于主机网络的DOCA服务在BlueField DPU上实现，并且可以做分析和加密进出节点的流量，还会把一些原来是依赖TOR交换机上的功能也在BlueField DPU中实现，改变了数据中心网络构建的方式。

OVN数据路径加密

      胡效赫是一名来自高校的开发者，他所在的团队参加了首届NVIDIA DPU中国黑客松竞赛，并获得了亚军。“我们的团队是由一位博士后和两位博士生组成的，研究方向是云计算、分布式系统、高性能计算。DPU作为数据中心重要组成部分，我们从2020年BlueField DPU发布之后就一直在关注，今年参加黑客松就是想进一步学习和参与DPU的相关开发，对DOCA的API进行深度、定制化开发，实现更好的性能和更丰富的功能，并且与指导专家和其他团队进行更多的交流。”胡效赫称。

      据了解，该团队的项目出发点是着眼于基础设施的业务可观测性，并为此提出“DeepTrace”项目——面向DPU驱动的基础设施的网包级函数粒度业务可观测性。以DOCA提供的NetFlow和粗粒度可观测性为基础，对应DOCA Netflow API库，结合DPU的高性能网络处理功能，对应DPU的ASAP2网包分类引擎，以及DOCA Flow API库的数据平面和控制平面的可编程能力，将可观测性的力度提升至网包级，并精确到每个函数功能，性能损耗几乎可以忽略不计。

      在DeepTrace项目的系统架构中，业务流量先经过DeepTrace预选器，再经由原始的DPU程序进行处理，在DPU程序中会调用DeepTrace的触发器实现相应点位的观测，被观测的数据会被汇总收集至分析器，通过数据的重组和分析得到相应结果，例如异常流量检测、业务问题定位等。

      其中，触发器部分的挑战是如何以最小的代价收集链式函数和网包的信息，上述团队采用的方案是以统一化、轻量化的函数内触发器实现，将DOCA NetFlow库修改为网包粒度，而需要观测的函数以API的形式调用触发器。在预选器部分的挑战是如何处理大规模原始流量，并在函数链中记录网包，该团队采用的方案是通过硬件卸载的预选器进行标记和过滤。在开发过程中，调用DOCA Flow库配置所需预选的规则实现。分析器部分，由运行在ARM控制平面的开源开放工程实现。

      胡效赫表示：“通过专家的指导，我们更充分地了解了DPU软硬件特性，积累了DPU的开发经验，也看到了其他团队在DPU上的创新实践。这次的经历，为我们后续基于DPU进行研究和开发提供了很好的帮助。”相应的，DPU中国虚拟黑客松竞赛也可以激发DOCA开发者的创新，在NVIDIA BlueField DPU和NVIDIA DOCA应用场景上带来一些启发，包括分布式存储、数据流跟踪分析、裸金属云管理、RDMA数据包加解密等方面。下一步，NVIDIA计划在今年下半年举办第二届DPU中国虚拟黑客松活动。

      目前，全球有超过半数的DOCA社区注册开发者来自中国。自去年建立以来，DOCA社区陆续为国内开发者开通了BBS官方论坛、DOCA文档库，以及DOCA的微信群，并且在微信公众号后台和知乎等知识平台上积极回答相关问题。此外，考虑到开发者可能没有DPU为自己的程序做验证，NVIDIA会通过与合作伙伴联合成立的DPU & DOCA卓越中心，提供相应的环境来测试和验证代码。参与第一期卓越中心试运行的合作伙伴为丽台（上海）信息科技有限公司和上海信弘智能科技有限公司。   

      卓越中心所提供的DOCA开发环境有三个要点：第一是可远程访问的免费开发环境，或是在上面运行已经开发好的程序；第二是提供了完整的开发平台，可以进行程序编译、运行和相应的测试；第三是主要支持中国的DOCA开发者，加速应用的创新。同时，卓越中心的工程师和NVIDIA的专家也会提供相关的技术帮助。每个卓越中心的运营公司会提供两套开发环境，这样初期会有四套开发环境供免费使用，DOCA开发者需要自备登录设备和相应的软硬件环境，卓越中心会提供完整的软硬件DOCA开发环境。

      DOCA开发环境的开放时间是周一至周四的9：00-15：00。申请人可以向卓越中心提交申请，审核批准之后会获得2-6小时的免费开发环境使用权。需要注意的是，每次申请获批后的时间是没有办法延长的，例如申请了4小时，那么4小时快用完时，再想延长2个小时是不行的，需要再次发起申请。截至今年年底，每一位开发者最长半年时间之内总使用时间不超过10个小时。在申请免费开发环境时，开发者需要提前48小时发出邮件，以便后台工程师分配系统资源和环境。

      一直以来，NVIDIA都是开源领域的积极贡献者，在网络市场亦是如此，包括SONiC、OVS、DPDK、OpenMPI等等，在整个Linux社区是第三大贡献者，在DPDK和SPDK社区的第二大贡献者，并且成为了Linux OPI项目创始成员。DOCA开放API和库之后，开发者可以借此来编写应用程序的中间层，通过相关接口可以更便捷的发挥DPU特性，包括硬件卸载、正则表达式、RDMA等。

      NVIDIA网络市场总监孟庆表示：“我们会在OPI和基金会里做出相应的贡献，把整个DOCA开放出来。上层的东西，包括一些安全功能、存储加速、网络硬件卸载等特性，都会进行开放，无论是客户、ISV，还是合作伙伴、OEM厂商，都能在开放的架构之上编写应用程序，这里指的甚至不止是网络程序，而是一个大的数据中心管理程序，里面会调用DOCA这样的框架。”

      如今，NVIDIA BlueField DPU已作为核心部件应用到NVIDIA认证系统中，包括HGX、EGX和OVX，以及为这些认证系统平台提供加速的以太网或InfiniBand解决方案，同时连接NVIDIA Spectrum端到端以太网平台或Quantum InfiniBand网络平台，为现代数据中心工作负载提供所需的精确定时、高性能、高级的安全性和丰富的功能，构建AI工厂的核心骨干网络，有力支撑上层系统软件、高性能计算、人工智能和虚拟仿真平台应用，在云计算、网络安全、存储、管理平台和边缘计算等领域构建全面的生态解决方案。

      相关数据显示，2023年起全球DPU市场规模将突破百亿美元，并进入年增长率超过50%的快车道。2023年，中国的DPU市场规模会超过300亿元，增长潜力巨大。具体来说，DPU 的大规模应用主要面向三个方面：通过数据中心加速计算模型带来的大规模应用，DPU能够为CPU的业务应用负载和GPU的人工智能、机器学习工作负载提供数据传输及数据处理，性能成本比、基础架构通用性与软硬件可迭代成为关注要素；针对客户的数据中心基础设施应用场景定制设计，通过大规模部署DPU满足特定应用场景的需求并解决问题；通过生态体系带来的大规模应用，从客户多样化应用需求出发，基于开放、标准化平台提供创新应用的通用集成解决方案，买来即可集成和部署。

      可以看到，DPU是围绕着数据在数据中心和应用场景的一系列特征应运而生的，而DOCA就像是DPU的灵魂，二者相互结合才能发挥出最大的功效。从硬件方面来看，DPU既可以作为独立的芯片或板卡，也可以作为额外的芯片集成在GPU或CPU中，给了客户个性化的选购和部署自由度，可以根据实际应用场景来定制。同时，与之相配的DOCA则借助全面开放的开发套件，最大限制降低了基于BlueField DPU的开发门槛和成本，加速业务创新，推动商业价值最大化。