海量存储机群系统中提高系统MTTF的设计和分析

摘 要：当今，机群系统被广泛地应用于海量存储系统。对数据有高可靠性要求的应用，如何提高系统MTTF是人们研究的主要问题。本文提出了一个新的动态备份策略，并行数据备份策略，通过详细的理论分析，指出该策略可显著地提高系统MTTF；还通过仿真实验，验证了其效果。
关键词：海量存储;机群系统;平均故障前时间

1 引言

在过去几年里，机群系统被广泛地应用于海量存储系统，比如，著名的Google文件系统就包含上千个基于linux的计算机。这样做的好处有三个。第一，由于每个节点都是大批量生产的，整个系统的价格可以很低。第二，通过增减节点，系统可以简单地进行扩展。第三，通过在互相独立的节点上备份数据，可以显著地提高系统中数据的可靠性。

对存储系统来说，系统的平均故障前时间（MTTF）是指系统中出现某个数据因所有的备份都丢失，而导致该数据无法挽回地丢失所需的平均时间。对于有较高数据可靠性要求的系统，系统的MTTF是衡量系统性能的一个重要指标。提高系统MTTF的一个方法就是 提高数据的备份数。备份数的选择需要综合考虑，因为选择过低的备份数，系统的MTTF不能满足要求；而选择过高的备份数，系统的存储资源就被浪费，特别是当系统中包含大量数据的时候。另一个方面，考虑到机群系统中节点会不断失效，因此还必须对备份数因节点失效而降低的数据进行动态备份，以提高系统MTTF。本文提出了一个新的动态备份策略，并行数据备份策略，理论分析了其性能，并进行了仿真实验。

2系统结构和动态备份策略

整个系统的构成情况如下。机群系统包含n个节点。系统中的所有对象状态以状态块为单元进行组织。系统中存储的互不相同的状态块总数正比与节点总数。每个状态块有m个备份。同一个状态块的备份不能在一个节点上，以保证可靠性；一个节点可以同时存储许多个状态块的备份。每个正常节点都会失效。

在出现一个节点失效后，系统的动态备份策略为：1）为失效节点上的每个状态块，选择一对源节点和目标节点，源节点包含该状态块，目标节点不包含；2）让这些状态块，同时在各对应源节点和目标节点之间开始转移，直至转移完毕。其中，各状态块的源节点和目标节点的选择应尽可能互不重合，以使尽可能多的状态块转移可并发进行。另外，这个备份策略也意味着每个状态块的备份可存储于任一节点上。下面，通过建立数学模型，理论估计该动态备份策略下的系统MTTF。

3理论分析

考虑用Markov过程来描述这个模型。为此，做如下假设。节点的失效速率服从指数分布，均值为l。由于系统中节点数目巨大，所以在一个节点失效后，其上的状态块完全可以找到互不重复的源节点和目标节点，状态块转移可以并发进行，可设转移速率服从指数分布，均值为lb。另外，考虑到系统中的节点数目巨大，可以认为系统在出现某状态块无法挽回丢失时，系统中正常工作的节点数依然维持在较高水平，与起始时的节点数n在同一个数量级。因此，可近似认为系统中节点数始终为n。于是，取有几个失效节点上的状态块正在进行转移为研究对象，可得状态转移图如图1。其中，m为每个状态块的原备份数；ai表示当一个有n个节点的系统中有（i-1）个失效节点上的状态块正在进行转移时无状态块丢失，而再失效一个节点发生一状态块丢失的概率；状态i'（i>=m）表示系统中出现某状态块无法挽回地丢失。

图1 系统的状态转移过程

因此，目标就化为系统进入状态i'的均值时间。这个系统可以近似看成一个状态数为无穷的一维生灭过程。要求解进入状态i'的瞬态概率，将涉及解一个含无穷多等式的微分方程组，这是很复杂的。但根据以往求一维生灭过程的稳态解的经验知道， 。因此，如果ln-1/mn很小，那随着n的增加，Pn将急速下降。于是，当n增加到一定值时，可以忽略其后的状态。对一个典型的含1000个节点的机群系统，若节点的MTTF为一天，则系统中出现某节点失效的速率约为0.011/秒；而一个状态块的平均转移时间可以在10秒钟左右，即，转移速率为0.1/秒；这两个速率之比约为0.1。因此，可以忽略系统中n>=m的状态，而把系统进入状态m'的均值时间作为系统的MTTF。