第一章绪论
支持向量机(SupportVectorMachines简称SVM)是在统计学习理论基础上发展起来的，借助最优化方法解决机器学习问题的新工具。它最初于20世纪90年代由Vapnik}}}提出，近年来在其理论研究和算法实现方面都取得了突破性进展，初步表现出很多优于现有方法的性能。目前，已出版了许多相关的著作和会议文集，在许多领域都获得了成功的应用，逐渐成为新的研究热点。1.1研究背景随着信息技术和数据库技术的迅猛发展，人们可以方便地获取和存储大量的数据。面对大规模海量数据，传统的数据分析工具只能进行一些表层的处理，而很难获得数据之间的内在关系和隐含信息。为了摆脱“数据丰富，知识贫乏”的困境，人们迫切需要一种能够智能地自动地把数据转换成有用信息和知识的技术和工具，这种对强有力数据分析工具的迫切要求使得知识发现技术应用而生。基于数据的机器学习是一种重要的知识发现方法。
其研究从观测数据出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。目前，关于机器学习还没有统一的理论框架，其实现方法大致可以分为以下三种:1.经典的统计预测方法在统计预测方法中，模型中参数的相关形式是已知的，用训练样本来估计参数需要已知样本的分布形式，因此具有很大的局限性。2.经验非线性方法经验非线性方法，如神经网络方法，利用己知样本建立非线性模型，克服了传统参数估计方法的困难，但往往缺少统一的数学理论，容易陷入局部极小，网络泛化能力不强，结构设计依赖于设计者的先验知识和经验，缺乏一种有理论依据的设计程序。3.统计学习理论统计学习理论是一种专门研究小样本情况下机器学习规律的理论[l,z}。
针对小样本统计问题建立了一套新的理论体系，不仅考虑了对渐进性能的要求，而且追求在有限信息的条件下得到最优结果。Vapnik等人从20世纪60年代开始致力于这方面的研究。到20世纪90年代中期，随着不断发展和成熟，统计学习理论受到越来越广泛的重视和研究。统计学习理论具有坚实的理论基础，为解决有限样本学习问题提供一个统一的框架。它将很多现有方法纳入其中，有望解决许多原来难以解决的问题(如神经网络结构选择问题、局部极小点问题等)，同时，在这一理论基础上发展了一种新的通用学习方法—支持向量机，已初步表现出很多优于现有方法的性能。该方法根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折中，以获得最好的推广能力。
而且，只要定义不同的核函数，就可实现其它现有学习算法。.2研究现状.2.1支持向量机在系统辨识与建模中的研究现状目前支持向量机在系统辨识与建模中的研究主要集中在理论研究和应用研究两个方面:理论研究方面:针对支持向量机现存的各种问题提出多种解决方案，如核函数的选择、参数的选择、快速训练算法的研究等。1.SVM在核函数及参数选择问题上没有确定的理论和方法，这对SVM性能产生一定影响。如:核函数的形式及其参数决定分类器类型和复杂程度、参数C和。的选择对系统性能有一定的影响[3]。针对这些问题，常用的方法是最小化“留一法(LOO)"错误率，在LOO基础上又提出错误率上限调整方法、Chapelle使用的基于矩阵的二次规划方法等;另外，交叉验证方法[[41在小样本问题上有比较出色的表现。混合遗传算法结合遗传算法的全局优化能力和梯度法的局部寻优能力，能够选择到更好的支持向量机参数，使其具有更好的泛化性能。
02.由于标准SVM的求解是一个二次规划问题，计算难度大，对于大数据量的优化问题，二次规划的求解几乎是不可能的。为了降低计算资源、提高算法效率、扩大应用，研究者们提出了许多支持向量机训练算法。Vapnik描述了求解支持向量机QP(二次规划)问题的一个分割方法[[6]，即“Chunk"算法，它随机选择一个子集，在子集上执行QP算法，只保留支持向量，之后不断加入新数据进行训练，直到对所有样本满足KKT条件。Chunk算法大大减少矩阵大小，然而，Chunk算法仍然不能处理大规模训练问题。文献[7]提出序列最小优化算法，即SMO(Sequential Minimal Optimization)算法，其基本思想是把一个大数据量的QP分解为一系列的最可能小的QP子优化问题。SMO算法采取一种极端的情况，即每次只对两个拉格朗日乘子进行优化，它解决了对于大数据量的二次规划问题，由于SMO没有使用矩阵，对数值精度问题不太敏感，SMO算法比Chunk算法快很多倍。文献[[8〕提出了SMO回归算法。文献[9]等人对SMO算法进行改进，即在判别最优条件时用两个闭值代替一个}}7值，这使算法更加合理，收敛更快。
参考文献
V Vapnik. The Nature of statistical learning theory [M]. New York:Springer-Verlag, 1995
张学一I一译.统计学习理论的本质!M].北京:清华大学出版社，2000
董春曦，饶鲜，杨绍全，徐松涛，支持向量机参数选择方法研究[fJ].系统}一程与电子技术，2006, 26(8):1117-1120
安金龙.支持向量机若干问题的研究[M].天津:天津大学出版社，2004颜根廷，李传江，马广‘富.基于混合遗传算法的支持向量机参数选择[[J]，哈尔滨=I=业大学学
报，2008,40(5) :285-289
Vapnik V Use of support vector learning for chunk identification [J]. IEEE Transactions on Circuits and Systems, 1998, 35(54): 1009-1014 J.Platt.
Sequential minimal optimization: A fast algorithm for training support vector machines[R]. Technical Report 98-14, Microsoft Research, Redmond, Washington, 1998 Smola A. J. .Learning with kernel [D]. Ph.D Thesis, 1998
S. S. Keerthi, LJ Cao, CJ Ong, JQ Zhang. Parallel sequential minimal optimization for the training of support vector machines [J]. IEEE transactions on Neural Networks, 1999,17(4):1039-1049 Suykens J.A.K., Vandewalle J.Least squares support vector machine classifiers [J]. Neural Processing Letters, 1999, 9
(3):293-300Lee Y.J., Mangasarian O. L.RSVM: Reuded support vector machine[R].Technical Report 00-07,Data Mining Institute, University ofWisconsin,Madison, 1999Cauwenberghs G., Poggio T.Incremental and decremental support vector machine learning
[C].Advances in Neural Information Processing Systems, 2001,238-246Fung G, Mangasarian O. L. Proximal Support Vector Machine Classifiers
[C]. Knowledge Discovery and Data Mining, SanFrancisco, Association for Computing Machinery, 2001, 77-86. Lin Chun-Fu, Wang Sheng-De. Fuzzy support vector machines
[J]. IEEE Transactions on Neural Networks, 2002, 13 (2): 464 -471
李红莲，王春花，袁保宗一种改进的支持向量机NN-SVM[J].计算机学报，2003,26(8):
1015一1020
马笑天，黄席诞.基于SVM的二叉树多类分类算法及其在故障诊断中的应用[J].控制与决
策，2003, 18(3):272-284
Arenas-Garcia J, Perez-Cruz F Multi-class support vector machines:a new approach[C]. In Proceedings of IEEE International Conference on Acoustics Speech and Signal Processing, New York, 2003,2,781-784 Oren M.,
