利用FPGA和多通道光模块组合长距离传送高速数据

目前基于铜电缆的高速串口能够以数千兆位速率进行数据传送，并可通过使用多个并行通道达成超过100Gbps的数据传输率，不过传送的距离却受到限制，一个可以改善传输距离的作法是使用光互连来取代铜电缆，Altera和Avago公司共同发展出结合FPGA以及光发射和接收模块的单一集成方案，可以取代铜电缆互连和多个卡边缘光收发器。

介绍

数据中心以及互联网上越来越大量的数据移动对于尝试赶上的基础设施形成压力，核心功能如存储次系统、数据交换机和路由器，甚至是计算系统都受到输入输出的限制，外部数据的移动则受限于数据可以在连接所有交换机、路由器和存储阵列的电缆或其他互连机制上以多快的速度和多远的距离移动。

目前基于铜电缆的高速串口能够以数千兆位速率进行数据传送，并可通过使用多个并行通道达成超过100Gbps的数据传输率，但要达到如此速度需付出一个代价，那就是受到限制的传输距离，基本上，数据率越高所能传送的距离就越短，除非在信号完整性、功率以及通道材料成本上做出牺牲。

为了补偿信号的劣化，通常使用复杂的信号处理功能在发射端和接收端进行信号均衡，这样的方式搭配上经过仔细设计但价格昂贵的铜电缆可以提供数米长度的距离延伸，足够让单一机架间的设备互连，不过如果要让数据在数据中心或网络中心的机架间传送，就需要更长的电缆，在许多情况下，面临的成本和大量电缆问题使这种作法变得不切实际。

光互连

一个可以改善传输距离的方法是使用光学方式来取代铜电缆，光纤连接目前虽然已经进入数据通信产业，但许多连线需要非常耗电的卡边缘光接口模块，并仍然面临系统逻辑到光模块的电气互连问题，请参考图1。高速串口的逻辑部分通常会在FPGA中实施，原因是这类器件可以提供设计工程师在电路板特性、功能以及输入输出选择的高灵活度，不过这样做FPGA的引脚必须连接光模块，无可避免地带来电路板上的高速走线。

图1：网络交换机或路由器的典型电路板布局显示输入输出逻辑和光模块间的距离

FPGA的好处

FPGA的灵活度和可重配置能力使它们成为需要各种高速输入输出系统的理想方案，达到1Gbps传送能力的高速LVDS串口和串化/解串器(SERDES)首先被集成到了FPGA中，接着是超过3Gbps的更高速度SERDES，目前FPGA已经集成10Gbps甚至更高数据率的SERDES，举例来说，Altera公司的新28nm Stratix V FPGA 就可以达到28Gbps的速度。除了高速输入输出能力外，FPGA还提供有数百万个可配置逻辑门、大量的片上静态存储器以及其他专门的系统资源，包括处理器核心、锁相环(PLL)、数字信号处理(DSP)方块、PCI Express® (PCIe®)通道以及存储控制器等。

所有FPGA上的资源允许设计工程师将许多系统功能配置到器件的逻辑电路上，缩减系统电路板上所需的电路数量，另外，FPGA的可配置特性使得设计工程师可以更改逻辑来增加或移除功能、修补逻辑臭虫或者改善性能。

图2：对于10Gbps的数据传送，数据可以移动的最大距离有着大幅度差异，主要依使用的为铜电缆(红色部分)或光接口(橘色和橙色)而定

虽然在10Gbps数据率下FPGA到光模块的距离仅数英吋，但就算电路板上数英吋的走线路径都可能损害信号的品质，图2显示了10Gbps数据流可以传送的距离会因使用的接口而有所不同，因此为了确保光模块可以得到最佳的信号，如何将FPGA连接到光连接端口发射器输入和接收器输出的距离极小化就成了必须面对的挑战。

集成型光封装

为了把FPGA和光模块间的距离极小化并降低整个芯片到模块连结的功率和使用材料，Altera和Avago公司共同开发了结合FPGA以及光发射和接收器模块到单一集成封装，可以取代多个外部卡边缘光收发器的产品，如图3中展示电路板上的蓝圈部分。光学FPGA技术展示使用了Altera公司的Stratix IV GT FPGA，提供32个高速SERDES连接端口，每个端口可以达到11Gbps的数据传输率，并有12个连接端口直接和Avago公司的MicroPOD™光模块连接。

12个光通道的每一个都可以独立运行或作为高容量通道的一部分，以方便通过高成本效益方式提供目标带宽，并行光学相似于使用并行通道电气接口，例如PCI Express的多重通道达到目标带宽的电子信号作法。

图3：评估电路板上包含有Altera公司的FPGA以及Avago公司的MicroPOD 12通道光发射器和接收器(红圈部分)，电路板上还有传统的卡边缘光收发器模块(蓝圈部分)提供设计工程师进行性能比较

通过集成高速光模块到装有FPGA的封装中，Altera公司可以缩短FPGA芯片输入输出到光收发器输入端的信号路径到1英吋以下，更短的路径可以减轻信号劣化和抖动，因此改善了信号完整性并降低信号路径中寄生元素所造成的数据错误，进一步说，由于芯片到模块的互连距离被大幅度缩短，因而FPGA和模块的总体功耗也会降低，因为再也不需浪费功率来进行传统非集成芯片到模块间互连的大幅度损耗均衡，图4中的混合FPGA封装保留有两个给Avago公司MicroPOD 12通道光收发器使用的角落，其中一个提供12个发射通道，另一个则提供12个接收通道。

除了两个插座外，FPGA封装的主要改变在于信号的路由，不将高速输入输出接点安排在封装引脚，而是把信号接点导到插座的接触区域，较短的路由距离可以保持高信号完整性，并且发出的电磁干扰也非常低。

图5中的光模块使用LGA接点安装在FPGA封装上，间隔为0.7424mm，每个插座仅需8.2mm x 7.8mm的区块大小，通过安装LGA插座在FPGA的角落，Altera公司可以把SERDES和光学模块间的距离缩短到低于1厘米，使用边缘安装光模块时则需要5到50厘米，插座集成接口也带来了可置换性、可测试性和高产出率。

图5：MicroPOD光学模块使用LGA安装在FPGA封装上，仅需8.2mm x 7.8mm的占用空间。

图6：12通道光缆和PRIZM® LT连接器直接安装在光模块上方，这样的组合形成了可以处理120Gbps的紧凑高速接口。

图6中组件的光学部分包含了连接到微型MicroPOD模块的12条光缆，在发射端，模块包含12个低功耗850nm VCSEL激光二极管，每个二极管功耗约130mW，接收端则包含有单石GaAs PIN二极管感应阵列，适合目标应用长度的光缆预先连接到PRIZM® LightTurn®连接器上，将光弯折90度并把光纤对准VCSEL激光，如图左下方的模块，PRIZM® LT连接器目前可以由多个制造商取得。

12个光通道的每一个都可以处理10.3125Gbps的数据率，因此可以得到单一模块120Gbps的总合数据带宽，这个高度集成模块提供有光接口最高的连接端口密度，而低功耗更使得模块的热管理变得非常简单。

诊断和状态监测

光模块面临的一个设计挑战是如何在发热的FPGA裸芯片旁安装容易受到热影响的光部件，为了克服这个问题，Altera公司设计了独特的散热方案，可以保持光缆在标准的0到70oC工作温度范围内，通过建立三个独立的散热设计使光学组件和裸芯片热隔离，其中每个光学次装置有一个，裸芯片中也有一个，我们已经证实光模块的温度位于目标范围内。

除此之外，通过I2C总线通信的数字诊断监测(DDM)电路允许设计工程师由光模块取得诊断数据，提供的诊断信息包括光输出功率、激光偏置电流以及接收输入功率，这使得系统可以监测光模块的状态，并在发生问题时及时得知，避免系统发生问题或造成停机，这些对于许多应用，特别是经营连线中断可能带来数百万美元损失的数据中心是非常关键的数据。

使光学FPGA工作

对于需要大量计算以及存储的应用，例如数据中心，集成光接口到器件封装可以取代可插入光器件并节省功耗达70%到80%，并大幅度提高连接端口密度和带宽，在军事、通信基础设施以及广播领域等背板应用中，这些连接器可以取代昂贵的电路板材料和连接器，大幅度提升带宽，消除使用基于铜电缆方案时的信号完整性问题并节省功耗，如MicroPOD光发射器和接收器的光模块在使用OM3级多模光纤时数据传送距离可以达到100米，使用OM4级多模光纤时更可达到150米的连接距离。

嵌入式光学模块有助于降低需要的电路板空间并改善EMI问题，这样的组合可以帮助降低成本并简化通过符合FCC的法规程序，使用由Molex或其他连接器公司提供的裸芯片MPO光纤多头适配器可以通过将机箱开口缩小到最小可能尺寸进一步减轻EMI问题，除此之外，相较于卡边缘可插入模块，非常明显地到安装在前面板MPO连接器的静电放电要小上许多。

刀片服务器系统为提供多个服务器，如存储、交换、输入输出、冷却以及电源次系统的紧密集成密集模块化服务器系统，逐渐升高的虚拟化、云计算需求，单一CPU和存储器库计算能力的持续提升，为刀片系统中的传统输入输出技术带来压力，目前大部分系统在服务器刀片和输入输出模块间通过复杂的电气中介板作为高速电气接口，请参考图7，这种型态的结构为系统设计工程师带来复杂的信号完整性和热管理挑战。

刀片服务器夹层卡的电气输入输出通道可以由光输入输出通道取代，复杂的电气中介板则可以由简单的同等光学系统取代，请参考图8。光学中介板提供了服务器以及系统中其他模块，包括存储设备、存储器以及输入输出间的所有高速连接能力，并且没有电气信号完整性、串音、EMI以及ESD承受力等复杂问题，另外，简单的光透通模块可以介接到中介电路板上使服务器刀片直接连接外部的交换机、存储设备以及存储器。

图7：在典型的刀片服务器中，多个CPU卡连接到中介板，中介板并连接提供高速输入输出端口的以太网交换机刀片

图8：服务器刀片和夹层卡典型框图显示通过中介板的布局和光互连

结论

嵌入式光学技术保存了高端系统所需的信号完整性、简化EMI问题、降低ESD暴露并带来系统冷却的灵活度选择，因为光连接器可以安排在接近主控ASIC甚至FPGA封装上，进一步说，由于骨干通常为24到36通道宽，嵌入式光学技术可以带来卡边缘便利的带宽总合，简化光纤管理以及机箱互连。
为了延伸单一FPGA或ASIC的容量，可以在多个FPGA或ASIC间配置多层级结构，典型的例子为三级Clos结构，虽然最新的可扩展系统可以通过使用ASIC间的电气接口在单一机箱内达成，但大型系统需要多个机箱，因而需要光互连。
Altera公司的光FPGA采用嵌入式并行光学概念并转化为更高集成度的组合，通过进行光FPGA的工程设计，Altera和Avago公司为FPGA使用者带来实现并行光接口的可能性，在使用光缆而非铜电缆进行高速通信时，不需是光学设计的专家，使用者就可实现连接距离和带宽的大幅度增长并降低功耗。