基于SVM的垃圾邮件过滤的研究

摘 要

本文主要介绍了在Windows环境下垃圾邮件过滤系统的设计模型和实现方法。该过滤系统能够对一些典型垃圾邮件进行识别判断过滤，而且也同时能够对其它邮件进行分类。经统计，从2001年开始，垃圾邮件增长的速度非常快，网民每周收到的垃圾邮件数量是非垃圾邮件数量的两倍，针对近几年来垃圾邮件的愈演愈烈，急需一种能有效防范垃圾邮件的方法。基于内容过滤就是其中一种方法。所以本文介绍的Windows下的垃圾邮件过滤系统，专门针对邮件的内容过滤进行了研究，具有较高的研究价值。
开发该系统的主要目的是了解当前垃圾邮件过滤的发展现状，学习有关过滤的技术，能有效的阻止垃圾邮件的泛滥。通过学习和实践，发现垃圾邮件过滤发展中遇到的问题，并结合自己的研究工作提出一些看法和见解。
本文首先介绍了垃圾邮件的现状和现在的反垃圾邮件技术的发展现状，以及邮件过滤的基本概念和原理。介绍了当前有关信息过滤和文本分类的相关研究。然后重点介绍了支持向量机的原理、各个参数对支持向量机的影响以及应用到本系统的方法；嵌入到OUTLOOK的方法；该系统的结构、具体的分词设计和SVM设计与实现。最后，总结了当前反垃圾邮件工作面临的许多问题，探讨了解决这些问题的方法和思路以及反垃圾邮件工作的未来，为以后的研究工作做出了一定的方向性指导。
本文目的是希望能设计一个嵌入到OUTLOOK2000中使用SVM作为分类器的垃圾邮件过滤系统。搜集能建立词库的样本集，以便SVM能够为垃圾邮件或者正常邮件建立一个分类器。该系统分为服务器端和客户端，基于邮件内容过滤主要在客户端，该系统是应用在OUTLOOK上。通过使用支持向量机SVM作为分类算法，对邮件进行过滤。实验证明，该系统对垃圾邮件的过滤有较好的查全率和查准率。
摘 要

本文主要介绍了在Windows环境下垃圾邮件过滤系统的设计模型和实现方法。该过滤系统能够对一些典型垃圾邮件进行识别判断过滤，而且也同时能够对其它邮件进行分类。经统计，从2001年开始，垃圾邮件增长的速度非常快，网民每周收到的垃圾邮件数量是非垃圾邮件数量的两倍，针对近几年来垃圾邮件的愈演愈烈，急需一种能有效防范垃圾邮件的方法。基于内容过滤就是其中一种方法。所以本文介绍的Windows下的垃圾邮件过滤系统，专门针对邮件的内容过滤进行了研究，具有较高的研究价值。
开发该系统的主要目的是了解当前垃圾邮件过滤的发展现状，学习有关过滤的技术，能有效的阻止垃圾邮件的泛滥。通过学习和实践，发现垃圾邮件过滤发展中遇到的问题，并结合自己的研究工作提出一些看法和见解。
本文首先介绍了垃圾邮件的现状和现在的反垃圾邮件技术的发展现状，以及邮件过滤的基本概念和原理。介绍了当前有关信息过滤和文本分类的相关研究。然后重点介绍了支持向量机的原理、各个参数对支持向量机的影响以及应用到本系统的方法；嵌入到OUTLOOK的方法；该系统的结构、具体的分词设计和SVM设计与实现。最后，总结了当前反垃圾邮件工作面临的许多问题，探讨了解决这些问题的方法和思路以及反垃圾邮件工作的未来，为以后的研究工作做出了一定的方向性指导。
本文目的是希望能设计一个嵌入到OUTLOOK2000中使用SVM作为分类器的垃圾邮件过滤系统。搜集能建立词库的样本集，以便SVM能够为垃圾邮件或者正常邮件建立一个分类器。该系统分为服务器端和客户端，基于邮件内容过滤主要在客户端，该系统是应用在OUTLOOK上。通过使用支持向量机SVM作为分类算法，对邮件进行过滤。实验证明，该系统对垃圾邮件的过滤有较好的查全率和查准率。


关键词： 垃圾邮件 分类 支持向量机 中文分词
目 录
摘 要 I
ABSTRACT II
1引言 1
1.1垃圾邮件的基本概念及特点 1
1.2反垃圾邮件技术的研究意义 1
1.3反垃圾邮件技术的发展 2
1.3.1 邮件服务器安全 2
1.3.2 垃圾邮件过滤技术简述 3
1.3.3 新技术的讨论 4
1.4本系统的功能及特色 5
2 电子邮件相关知识 6
2.1电子邮件的格式[1] 6
2.2 电子邮件的传送[1] 7
2．3 邮件系统有关的协议和标准[2] 7
2.3.1 邮件传输代理协议（MTA protocols） 7
2.3.2 邮件用户代理协议（MUA Protocols） 8
3.相关研究 9
3.1 中文分词 9
3.2 信息过滤 11
3.3 文本表示方法 12
3.4 特征项的提取 13
3.5支持向量机 15
3.5.1 统计学习理论 15
3.5.2 支持向量机简述 16
3.5.3 支持向量机的核函数 19
3.5.4核函数作用及核参数的影响[35] 20
3.5.5支持向量机中参数C的影响 20
3.5.6支持向量机和神经网络的不同训练方法 21
3.5.7 支持向量机主动学习 22
3.5.8 SVM方法在文本分类中的应用 23
3.6 文本分类算法 24
3.6.1 简单向量距离分类法 24
3.6.2 贝叶斯算法 25
3.6.3 KNN（K 最近邻居）算法 26
3.6.4神经网络算法 27
4. 系统设计与实现 27
4.1系统结构 27
4.2中文分词[44][45]方法 28
4.2.1主题词数据库的建立 28
4.2.2具体分词处理 28
4.2.3 程序运行界面 30
4.3邮件特征提取 30
4.3.1 程序运行界面 32
4.4 OUTLOOK嵌入方法 32
4.4.1 具体的嵌入方法 32
4.4.2注册插件 34
4.4.3 程序生成界面 35
4.5支持向量机分类器的设计 36
5 实验结果 37
6垃圾邮件过滤的发展方向和研究趋势 39
结束语 40
致谢 41
参考文献 42
攻读硕士学位期间发表的学术论文 45