Xilinx 7系列690T FPGA GTX的QPLL和CPLL使用问题

最近使用Xilinx 7系列690T芯片的多个GTX接口传输千兆以太网数据帧时，在某些的测试情况下个别GTX接口会出现少量丢帧的问题，最后通过实验发现是时钟的分配使用问题，具体而言是GTX接口的QPLL和CPLL的使用问题。

情况说明

本次调试的主要任务是调通FPGA板子（型号为690T）上的24个GTX接口（对应于24个SGMII接口）。每个BANK上有4个GTX接口，每个接插件上也是4个GTX接口。如下图所示。

连接数据源，下载自回环程序测试接口，发现X1 AB,X2AB,X3 AB 正常，X1 CD,X2 CD,X3 CD(就是靠后的一排)有少量丢帧。正常的口和有丢帧的口连接同一个地检口测试，且下载的是相同程序。错口打固定帧256字节时在VIVADO上抓信号看到收到了超短帧和错帧。且帧头出错。

2、测试场景一：24口的BANK及接插件分配情况

框内的为一个BANK,一条横线上的为一个接插件上的

测试情况：打接口回环，X1 AB,X2 AB,X3 AB正常收发，X1CD,X2 CD,X3 CD有丢帧。

3、测试场景二：12口的BANK及接插件分配情况

测试情况：打接口回环。此时的X1 AB和 X1 CD现象与上面的24口情况相同（约束方法相同，X1 CD有丢帧现象。但之前测试12口的时候无误）。但此时X3 CD正常接收。（注意到此时的X3 CD和24口测试程序的约束方法不同，此时X3 CD有两个主核，有两个从核，初步怀疑是一个主核带不起三个从核或是一个bank到集插件上的时钟走线有问题。）

4、测试场景三：测试版BANK及接插件分配情况

测试情况：打接口回环。此时的X1 AB上的数据1，2正常，数据3，4丢帧，X1 CD上的数据5，6丢帧，数据7，8正常。可以发现正常的数据口都有一个主核，一个从核。而丢帧的数据口只有从核。

分析：此时可以排除是硬件问题，因为测试情况一、二时，X1 AB可正常收发数据。然而换成测试三的约束条件，发现有两个口也丢帧。

解决思路

经过上面的三种方案验证，怀疑是从核不能独立工作。于是查阅GTX手册，看到GTX的外部时钟使用模式如下图：

GTXE2_CHANNEL/ GTHE2_CHANNEL必须为每个收发器实例化原语。如果需要高性能QPLL时，必须实例化GTXE2_COMMON/GTHE2_COMMON原语。若速率要求不高，则可以每个通道用CPLL.用QPLL时，每个QUAD块上若用多个GTX接口，则需要有主从之分。

用QPLL时参考时钟经过IBUFDS_GTE2原语输出到GTXE2_COMMON/GTHE2_COMMON原语。

GTXE2_COMMON/GTHE2_COMMON原语产生的时钟再供给其他channel.由于一个QUAD块上只能有一个GTXE2_COMMON/GTHE2_COMMON，所以再用QPLL时一个QUAD块上有主从之分。

为了解决这次调试时出现的从核不能独立工作的现象，采用CPLL的方式，每个channel都有CPLL，所以每个核都是一样的，没有主从之分，问题解决。每个核都接的是参考时钟经过IBUFDS_GTE2原语输出的单端参考时钟。程序中把GTXE2_COMMON/GTHE2_COMMON原语注释掉，把输入到核的GTXE2_COMMON/GTHE2_COMMON的输出接零就好，如下图：

基础知识

以下来源于网络：

Xilinx的7系列FPGA随着集成度的提高，其高速串行收发器不再独占一个单独的参考时钟，而是以Quad来对串行高速收发器进行分组，四个串行高速收发器和一个COMMOM（QPLL）组成一个Quad，每一个串行高速收发器称为一个Channel。

QPLL和CPLL的区别，在于两者支持的线速率不同，对于CPLL来说，支持的线速率位1.6GHz到3.3GHZ之间，而对于QPLL来说，GTX支持的线速率分两档，Lower Baud支持5.93GHz~8.0GHz，Upper Baud支持9.8GHz~12.5GHz，对于GTH则不分档位，支持的线速率为8.0GHz~13.1GHz。

Xilinx的7系列FPGA根据不同的器件类型，集成了GTP、GTX、GTH以及GTZ四种串行高速收发器，四种收发器主要区别是支持的线速率不同，下图可以说明在7系列里面器件类型和支持的收发器类型以及最大的收发器数量。

Xilinx的7系列FPGA随着集成度的提高，其高速串行收发器不再独占一个单独的参考时钟，而是以Quad来对串行高速收发器进行分组，四个串行高速收发器和一个COMMOM（QPLL）组成一个Quad，每一个串行高速收发器称为一个Channel，以XC7K325T为例，GTX在FPGA内部如下图所示：

对于每一个串行高速收发器，其包含了发送部分和接收部分，内部结构如下图：

发送端和接收端功能独立，均由PMA(Physical Media Attachment，物理媒介适配层)和PCS(Physical Coding Sublayer，物理编码子层)两个子层组成。其中PMA子层包含高速串并转换(Serdes)、预/后加重、接收均衡、时钟发生器及时钟恢复等电路。PCS子层包含8B/10B编解码、缓冲区、通道绑定和时钟修正等电路。

GTX发送端处理流程：首先用户逻辑数据经过8B/10B编码后，进入一个发送缓存区，该缓冲区主要是PMA子层和PCS子层两个时钟域的时钟隔离，解决两者时钟速率匹配和相位差异的问题，最后经过高速Serdes进行并串转换，有必要的话，可以进行预加重、后加重。值得一提的是，如果在PCB设计时不慎将TXP和TXN差分引脚交叉连接，则可以通过极性控制来弥补这个设计错误。接收端和发送端过程相反，相似点较多，这里就不赘述了，需要注意的是RX接收端的弹性缓冲区，其具有时钟纠正和通道绑定功能。

上面是GTX的性能和结构功能概述，下面详细分析GTX的时钟结构。

以7系列的GTX来说，每个Quad有两个外部差分参考时钟源，其中一个Quad的时钟结构如下图所示：

红色方框部分是两个差分参考时钟输入，每个外部参考时钟的输入必须经过IBUFDS_GTE2源语之后才能使用。绿色方框是来自其他Quad的参考时钟输入，7系列FPGA支持使用相邻（南北方向）Quad的参考时钟作为当前Quad的参考时钟，多路参考时钟源经过一个选择器之后，分两路进入QPLL和CPLL，如图五和图六，其中蓝色方框是QPLL，黄色方框是CPLL，对于一个GTX Channel来说，可以独立选择参考时钟，可以选择QPLL，也可以选择CPLL，QPLL和CPLL的区别在于两者支持的线速率不同，QPLL支持的线速率高于CPLL，图七是外部参考时钟模型的详细结构，红色箭头表示QPLL通路，黄色箭头表示CPLL通路。

因为每一个Quad有两个外部参考时钟，因此对于每一个Quad来说，可以选择两个不同的参考时钟，每一个CHANNEL的接收端和发送端都可以独立选择参考时钟，如下图所示：

如果用户需要使用其他Quad的参考时钟源来作为当前Quad的参考时钟，在满足下面三个条件的情况下可以使用：

1、只能使用当前Quad上方的Quad的参考时钟；

2、只能使用当前Quad下方的Quad的参考时钟；

3、一个Quad的参考时钟源不能驱动超过3个Quad的收发器（只能驱动当前Quad和上下方相邻两个Quad）；

满足上面的条件，就可以把其他Quad的参考时钟配置成当前Quad的参考时钟，如下图所示，注意图中红色方框表示相邻的Quad：

QPLL和CPLL的区别，在于两者支持的线速率不同，对于CPLL来说，支持的线速率位1.6GHz到3.3GHZ之间，而对于QPLL来说，GTX支持的线速率分两档，Lower Baud支持5.93GHz~8.0GHz，Upper Baud支持9.8GHz~12.5GHz，对于GTH则不分档位，支持的线速率为8.0GHz~13.1GHz。当以高于CPLL操作范围的线路速率操作通道时，需要使用QPLL。GTXE2_COMMON原语封装了当使用GTX QPLL时，必须实例化GTX QPLL。

全文完。