基于盒式图的数据过滤与回归分析算法
1 盒形图和回归分析简介
1.1 盒形图
该方法可以描述数据集取值范围的情况，展示数据主要聚集的区域，发现离群数据可能的位置，以便于对离群数据进行处理。盒形图显示一个变量的信息，如对相同CMM等级的不同项目完成每个FP的工作量分析，根据中位数m、上四分位数u、下四分位数l、盒长d、和尾(tail)来分析。
中位数是在数据集中排列居中的项。也就是说，如果中位数取值为m，则数据集中有一半的值大于m，一半的值小于m。将所有数值按大小顺序排列并分成四等份，处于三个分割点位置的得分就是四分位数。最小的四分位数称为下四分位数l，所有数值中，有四分之一小于下四分位数，四分之三大于下四分位数。中点位置的四分位数就是中位数。最大的四分位数称为上四分位数u，所有数值中，有四分之三小于上四分位数，四分之一大于上四分位数。也有叫第25百分位数、第75百分位数的。将上四分位数和下四分位数的距离定义为盒长d，因此，d=u-l。接下来定义分布的尾(tail)。理论上，上尾值点为u+1.5d，下尾值为u-1.5d，这些值必须进行舍位处理，以接近真实数据，位于上尾和下尾之外的值称为离群值。
1.2 回归分析方法
回归分析方法是研究要素之间具体数量关系的强有力的工具，运用这种方法能够建立反映要素之间具体的数量关系的数学模型，即回归模型。线性回归技术的基础就是散点图。将每个属性对表示为一个数据点(x，y)，然后用回归技术计算出能够最好地拟合这些点的直线。目标是将属性y(因变量)根据属性x(自变量)表示为等式：y=a+bx。
线性回归的理论是从每个点垂直向上或向下画一条线段到趋势直线，表示从数据点到趋势直线的垂直距离。在某种意义上，这些线段的长度表示数据和直线的差异，且这种差异应尽可能地小。因此，“最佳拟合”的直线式是指使该距离最小的直线。
在数学上要计算“最佳拟合”直线的斜率b和截距a是很简单的。每个点的差异称为残差，生成线性回归直线的公式是残差的平方和达到最小。可以将每个数据点的残差表示为：
2 算法实现
在进行数据清洗时，由于数据是无序输入的，所以先对其排序，再用盒形图法行数据清洗。以下是伪代码：
void BubbleSort(double m，double q，int n) //先对输入
//的数据进行冒泡排序，并相应修改
//第二组数据的顺序，以保证它们之间的对应关系
{ for(int i=0；in；i++)
for(int j=n-1；j>i；j--)
{
输入数据的排序
修改第二组数据
}
}
void box(double *m，double *q，int n) //盒形法筛选
//掉离群项目工作量数据，n为输入数据个数，m、q为指针
{
double a，b，c，top，bottom，l； //上分位a，中位数b，//下分位c
if(n%2==0) //计算出3个四分位数
{
b=(*(m+n/2)+*(m+n/2-1))/2； //数据个数为
//偶数时，中位数取中间两数的平均值
a=*(m+n/4)；
c=*(m+3*n/4)； }
}
else
{ b=*(m+n/2)；
a=*(m+n/4)；
c=*(m+3*n/4)； }
l=c-a； top=c+1.5*l；bottom=c-1.5*l； //计算出盒
//长，上尾数，下尾数
if(bottom0) bottom=m； //并进行必要的舍位处理
int j=n；
for(int i=0；ij；i++) //判断是否为离群值，
{
if(*(m+i)>top‖*(m+i)bottom)
如有，将其从数组中剔去
}
}
评论