基于改进平衡Winnow算法的短信过滤系统
加入技术交流群
3 系统反馈
Winnow 是一种在线学习的、以错误为驱动的分类器， 适于结合增量式学习来解决自适应问题， 实现用户的个性化要求。平衡Winnow 算法是基本Winnow 算法的另外一种形式， 同样具有在线更新能力。在分类器训练过程中， 对错分的短信通过α 和β 更新类别权重向量，实现对分类器的更新， 平衡Winnow 算法中w+和w-的双向调节， 使算法的训练速度更快， 适合于对分类实时性要求较高的短信过滤系统。
4 实验资源及分析与*价
本文在自建短信语料库的基础上完成对比实验， 其中正常短信1 892 条， 垃圾短信270 条， 将短信语料库随机分成5 等份， 其中4 份用于训练样本，1 份作为测试样本。
4.1 *价指标
分类系统*价指标如下， 包括两类短信各自的准确率(precision) 和召回率(recall) ， 由于系统目标是垃圾短信过滤， 于是增加了针对垃圾短信的综合*价指标(F1):
F1=(2×准确率×召回率)/( 准确率+召回率)。
4.2 实验结果分析
(1) 实验1： 探讨改进的特征权重计算方法对实验结果的影响。实验结果如表1 所示。
表1 特征权重计算方法对实验结果的影响。
其中测试样本中正常短信被误分为垃圾短信条数为22 条， 正常短信召回率为94.2%； 垃圾短信被误分为正常短信8 条， 准确率仅为67.7%。
(2) 实验2： 统一参数和取固定的阈值θ 之后对实验结果的影响。该实验中取：α=1.5 、β=1/1.5 、θ=15 。实验结果如表2 所示。
表2 选定参数对实验结果的影响
其中测试样本中正常短信被误分为垃圾短信条数为18 条， 正常短信召回率为96.1%； 而测试用的垃圾短信正确识别了44 条， 准确率为71.0%。由此可见， 参数对实验结果的影响不大。
(3) 实验3： 去除野点对实验结果的影响。实验结果如表3 所示。
表3 去除野点对实验结果的影响。
从实验结果分析， 仅有12 条正常短信和8 条垃圾短信被错误分类。通过去除野点， 发现不仅缓减了抖动现象， 而且提高了分类器的分类性能及正常短信的召回率。
Balanced Winnow 在训练速度和分类速度上具有较大优势， 所以具有更高的实用价值， 非常适合短信过滤的要求。另外，Winnow 作为一种在线学习方法， 在训练集合不断扩大的情况下能够快速对分类器进行更新。正是基于Winnow 不断学习、不断调整的机制， 使其非常适合用户自己定制需要的分类标准。随着用户不断地反馈调整，整个系统会表现出越来越好的效果。本文引用地址：https://www.eepw.com.cn/article/156764.htm
评论