新闻中心

EEPW首页 > 手机与无线通信 > 设计应用 > PCI Express与以太网:水火不容亦或和谐共处?

PCI Express与以太网:水火不容亦或和谐共处?

作者:时间:2018-08-29来源:网络收藏

到现在为止,PCI Express(PCIe)和之间的界限泾渭分明:PCIe用于芯片与芯片间互连;作为一种系统与系统之间的连接技术。有很好的理由可以说明为什么该界限可以长久维持。无论如何,这两种技术一直是绝对共存的。虽然没有迹象表明这一局面会彻底改变,但越来越多的情形显示,在过去独大的领域,PCIe正越来越多地显山露水,特别是在机架内。PCIe真的在同以太网竞争并能胜出吗?

本文引用地址:http://www.eepw.com.cn/article/201808/387992.htm

当前的架构

目前批量部署的传统系统具有需要被支持的多种互连技术。如图1所示,光纤通道和以太网是这些互连的两个例子(显然有更多种技术——如InfiniBand)。

图1:目前使用的传统I/O系统示例。

这种架构有如下局限:

* 多种I/O互连技术共存

* 输入/输出端点利用率低

* 因为需要多个I/O端点,使系统的功耗和成本都增高

* 在建构体系架构时,I/O就固定了,灵活性差

* 管理软件必须处理多个I/O协议,需占用处理能力

这种架构的致命弱点就是使用了多种I/O互连技术,因为这增加了延迟时间、加大了成本、电路板所占空间和功耗。如果所有端点在这段时间都100%地工作,则这种架构会比较有用。然而,更多的情况是,端点常常是空闲的,这意味着系统用户要为这有限的利用率掏腰包。增加的延迟是因为这些系统内处理器上本带的PCIe接口要被转换成多种协议。(设计师可以使用处理器自带的PCIe,并融合使用PCIe的所有端点来缩短系统延迟。)

显然,共享I/O端点(见图2)是解决这些限制的有效办法。该概念对系统设计师极具吸引力,因为它降低了成本和功耗、提高了性能和利用率、并简化了设计。因为共享端点有如此多的优势,所以多个组织都在试图这么做,如PCI-SIG发表了多条I/O虚拟化(Multi-Root I/O Virtualization——MR-IOV)规范来实现这一目标。然而,由于技术和商业因素的综合原因,即使MR-IOV已发布五年多,但作为规范一直没被普遍接受。

图2:将PCI Express用于共享I/O的一种传统I/O系统

共享I/O的其它优点有:

* 随着I/O速度的提高,唯一需要的额外投资是更换I/O适配器卡。在早期部署中,当在同一张卡上使用多种I/O技术时,设计师将不得不重新设计整个系统,而在共享I/O模式,当需要升级一种特定I/O技术时,设计师可以简单地用新卡替旧卡。

* 由于多个I/O端点不需要存在于同一块卡上,设计师或是可以制造更小的卡,以进一步降低成本和功耗;或是保留现有的大小,利用拿去卡上多个I/O端点所省出的空间,通过增加多个CPU、加大内存和/或增加其它端点的方式来差异化其产品。

* 设计师可以减少系统内纵横交错的电缆的数量。因为多个互连技术会需要不同的电缆,以支持协议的带宽和开销。然而,随着设计的简化以及有限的I/O互连技术种类,系统正常工作所需的电缆数量也在减少,从而降低了设计复杂性、节约了成本。

在PCIe交换机内实现共享I/O是实现如图2所述架构的关键推动者。如前述,MR-IOV技术并没被普遍接受,一种普遍看法是,它可能永远也不会。为此。单根I/O虚拟化(SR-IOV)技术出场救援,为提高性能,它用硬件实现了I/O虚拟化,并在一台物理服务器上提供了基于硬件的安全和质量服务(QoS)特性。SR-IOV还允许在同一台服务器上运行的多个客户操作系统共享I/O设备。

2007年,PCI-SIG发布了SR-IOV规范,以吁求将单一物理PCIe设备划分成多个虚拟功能,无论是网络接口卡、主机总线适配器、还是主机信道适配器。然后,虚拟机可以使用任一虚拟功能,允许许多虚拟机及其客户操作系统共享一台物理设备。

这需要I/O厂商开发支持SR-IOV的设备。而SR-IOV提供了在不同应用间,共享资源和I/O设备的最简单方法。目前的趋势是,大部分终端厂商都支持SR-IOV,而越来越多的厂商将加入这一阵营。

前面已列举了PCIe的很多好处,锦上添花的是:在传输层,PCIe是种无损建构。

PCIe规范定义了一种强健的流控制机制,以防止数据包丢失。在每一“跳”,会对每个PCIe数据进行确认,确保了传输成功。在传输错误的情况下,该包被重新传输——该过程由硬件完成,无需上层协议的任何介入。因此,在基于PCIe的存储系统中,几乎不可能发生数据丢失和损坏。

通过允许所有的I/O适配器(万兆以太网、FC或其他)移出服务器,PCIe提供了一个简化方案。借助PCIe交换机架构提供的虚拟化支持,每个适配器都可以被多个服务器共享,且同时为各服务器提供了一个逻辑适配器。服务器(或每个服务器上的虚拟机)可继续在共享适配器上直接访问自己的硬件资源集。实现的这种虚拟化允许更好的可扩展性,其中I/O和服务器可以彼此独立地进行调适。I/O虚拟化避免了服务器或I/O资源的过度配置,从而降低了成本和功耗。

表1提供了PCIe和10G以太网的高层次成本比较概览;表2提供了两者的高层次功耗比较概览。

表1:PCIe和以太网所节省成本的比较

表2:PCIe和以太网的降耗对比。

价格估算基于广泛的行业调查,对ToR(top-of-rack)交换机和适配器来说,还假设其价格会因批量、可用性和与供应商的关系深浅有所不同。这两个表为理解将PCIe用于IO共享(特别是通过拿掉了适配器)所带来的成本和功耗方面的好处提供了框架。

当然,这引发出这样一个疑问:比较成本和功耗为什么按每秒千兆字节计算,而不以每个端口为依据?主要原因是:眼下,对数据中心供应商来说,其收费趋势是按照所用带宽而不是连接数来计算。PCIe提供的带宽约是10G以太网的3倍,并允许供应商用它获利更多,若有人曾做过比较(用同样多的端口数建构相同的系统),会得出相同结论:PCIe会比以太网省50%以上。

总结

本文的重点是PCIe和以太网在成本和功耗方面的比较,当然,也应在两者间比较其他技术指标。但是,随着主要处理器供应商越来越多地在其处理器上内置PCIe,这让设计师从中受益匪浅。借助此新一代CPU,设计师可以直接将PCIe交换器与CPU连接,从而降低了延迟和元件成本。

PCIe技术已变得无处不在,该强大互连技术的第3代代表(每链路8Gbps)不仅仅能够支持共享I/O和集群,还为系统设计师提供了一款无与伦比的工具,以使他们的设计优化、高效。

为满足共享IO和集群细分市场的需求,如PLX Technology等厂商在向市场推出高性能、灵活、低功耗、体积小的设备。这些交换机被雕琢为可适应上面提到的全方位应用。展望未来,速度可达每链路16Gbps的第四代PCIe只会有助于加快PCIe技术进入新的细分市场并扩大这些市场,同时用其进行设计和使用也会更容易和经济。

多家全球厂商已经采用了这种无处不在的互联技术以支持I/O端点共享,因此,降低了系统成本和功耗要求,减小了维护和升级需求。基于PCI的共享I/O端点有望使价值数十亿美元的数据中心市场脱胎换骨。



关键词: PCIExpress 以太网

评论


相关推荐

技术专区

关闭