非结构化海量网络数据处理技术研究

摘要：为实现网络化测试系统下非结构化海量网络数据的快速分析处理，在关键的算法和系统化集成处理方面提出解决方法。采用内存映射文件方式快速读取海量数据，并设计了时间矩阵算法，用以快速进行同步分析处理；应用分布式中间件方式实现海量数据的并发处理和数据分发，对飞行试验采集的网络数据进行了分析处理，使用这些算法的数据处理软件，可以使处理效率满足飞行试验海量网络数据处理的需求。这些都为新一代机载采集系统应用于飞行试验提供了技术保障。
关键词：IENA；XNET／INET；PCAP；飞行试验

飞行试验数据处理是飞行试验工程中非常重要的一个环节，是对各类试飞数据信息进行细致、充分和全面的分析与处理，数据处理结果是飞行试验鉴定结论的核心依据。随着计算机网络技术在飞行试验测试领域的深入应用，网络化测试技术逐渐成为飞行试验测试技术发展的另一个核心。同时随着现代飞机设计技术的发展，飞机系统越来越复杂，飞行试验科目、测试参数、测试数据种类以及测试数据总量越来越多。对飞行试验数据处理从质量、速度以及数据安全性、可靠性等方面提出了更高的要求。机载网络化测试系统架构技术应用于最新的飞机测试系统上，该系统采集记录的网络数据记录了飞机一个飞行试验起落的各类测试数据信息，新一代飞机测试参数总量激增，数据总量达到上百个GB。为缩短单架次飞行试验周期，如何高效快捷地对这些非结构化的海量网络数据包进行同步分析处理，方便科研人员的应用，就成为必须解决的实际问题。

1 网络化机载测试系统飞行试验数据的特点
在网络化机载测试系统Kam4000中，网络数据包从采集器通过二级交换机到记录器。第一级交换机可以有多个，二级交换机作为系统的时钟接入点、遥测数据和记录器的接入点、系统配置文件的加载点，结构如图1所示。网络数据包被记录器完整的记录下来，在此需要分析的是记录器记录的完整的网络数据。该网络数据是有一个个网络数据包组成，每个网络数据包的格式根据采集器的不同可以是不同的。

1．1 与Kam500采集系统的差别
现在大量应用于飞行试验的Kam500机载测试系统，采集记录的飞行试验数据格式为标准的PCM数据。PCM数据由重复出现的长帧组成，每个长帧的长度是固定的，每个长帧包含若干个短帧。网络化机载测试系统Kam4000中，采集记录的飞行试验数据为网络数据包格式。每个网络数据包的大小都可以不同，并且每个网络数据包中的参数个数也可以不同。
1．2 海量网络数据包的格式
网络化测试系统采用ARCA公司的最新采集器，采集记录的数据格式根据采集器的不同可以是IENA，或XNET／INET网络数据包格式。采用BCU105(IENA Ethernet Controller)支持的是IENA包结构。而采用BCU140(XNET Ethernet Controller)支持XNET／INET的同时，也支持IEN-A。在网络化测试系统中IENA和XNET／INET网络数据包以EthernetⅡ协议广播。根据记录器的不同，记录的网络数据包结构可以是PCAP格式或者IRIG106-10格式记录。
PCAP基本格式：
文件头 数据包头 数据包 数据包头 数据包 …
IRIG106-10基本格式：
文件头 特殊字头 数据包 特殊字头 数据包 …
根据飞行试验的测试特性，参照以往的模拟量在飞行实验中记录数据的大小，如果参数量为5 000个，一定的飞行时间内记录的飞行试验数据为12 GB左右。随着飞机系统的复杂性的增加，应用于飞行实验的网络化测试系统需测试的飞行试验参数也越来越多，单架次的飞行试验记录的模拟量数据将是现在的4倍、5倍甚至更多。