基于主成分分析的支持向量机回归预测模型_图文_百度文库
您的浏览器Javascript被禁用，需开启后体验完整功能，
享专业文档下载特权
&赠共享文档下载特权
&100W篇文档免费专享
&每天抽奖多种福利
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
基于主成分分析的支持向量机回归预测模型
阅读已结束，下载本文需要
定制HR最喜欢的简历
下载文档到电脑，同时保存到云知识，更方便管理
加入VIP
还剩1页未读，
定制HR最喜欢的简历
你可能喜欢单片机、电路板
连接器、接插件
其他元器件
粒子群算法与主成分析法在支持向量机回归预测中的应用研究
粒子群算法与主成分析法在支持向量机回归预测中的应用研究
摘 要： 提出在支持向量机回归预测中采用粒子群算法优化参数和主成分析降维的方法，通过算例分析表明，此法能够显著提高预测的精度。关键词： 支持向量机；粒子群算法；主成分析法；预测 预测是国家、企业等组织制定政策和计划的主要依据，因而预测的准确度是政策与计划制定是否科学的前提。预测的方法有传统的多元回归预测，以及近几年来发展起来的人工神经网络预测[1]、灰色预测[2]。多元回归预测模型简单、易用性强，但难以处理
摘& 要： 提出在支持向量机回归预测中采用粒子群算法优化参数和主成分析降维的方法，通过算例分析表明，此法能够显著提高预测的精度。关键词： 支持向量机；粒子群算法；主成分析法；预测&&& 预测是国家、企业等组织制定政策和计划的主要依据，因而预测的准确度是政策与计划制定是否科学的前提。预测的方法有传统的多元回归预测，以及近几年来发展起来的人工神经网络预测[1]、灰色预测[2]。多元回归预测模型简单、易用性强，但难以处理高维、非线性模式；人工神经网络虽然能够较好地解决高维非线性预测的难题，但它需要大量的训练样本，且泛化能力不强，所以当可得到的预测样本是小样本，或者获得大量样本的成本很高时，就难免影响其实用性和经济性；灰色预测虽具有短期预测能力强，可检验等优点，但其长期预测能力较差。Vapnik等人提出的支持向量机[3-4]是在统计学习理论基础上发展起来的一种新的机器学习算法，是目前针对小样本统计和预测学习的最佳理论，支持向量机具有完美的数学形式、直观的几何解释和良好的泛化性能，解决了模型选择与欠学习、过学习及非线性等问题，克服了收敛速度慢，易陷入局部最优解等缺点，因此支持向量机在分类和回归中均表现出优越的性能。射函数。核函数的作用是当样本点在原空间线性不可分时，可以通过映射函数映射到高维空间，从而达到线性可分的目的，但实际应用中映射函数的显式表达式很难找到，观察式(2)~式(4)中只用到了映射在高维空间的点积，而核函数的特点就是能使变量在低维空间核函数值等于其映射到高维空间的点积值，从而实现不需要知道显式映射函数达到向高维空间映射的目的。任何满足Mercer 条件的函数均可作为核函数。2 粒子群算法基本原理&&& 微粒群算法最早是在1995年由美国社会心理学家Kennedy和Russell[6]共同提出，其基本思想是受鸟群觅食行为的启发而形成的。PSO算法把优化问题的解看作是D维空间中一个没有体积没有质量的飞行粒子，所有的粒子都有一个被优化目标函数决定的适应度值，而速度决定每个粒子的飞行方向和距离，粒子根据自己先前达到的最优位置和整个群体达到的最优位置来更新自己的位置和速度，从而向全局最优位置聚集。粒子根据以下公式来更新自己的速度和位置：4 应用实例&&& 试验从UCI上选取美国波斯顿地区1993年城镇住房数据作为试验数据[9]。试验步骤如下：&&& (1)应用主成分析法降维&&& 由于统计软件SPSS提供了主成份分析功能，而且具有采用交互式、图形化操作界面、结果图形化输出、直观性强等优点，故本文采用SPSS16.0作为降维工具，表1为最大方差旋转后的因子载荷图，从表中可以看出，7个主成份都有很好的解释意义(载荷绝对值&0.5，说明变量与主成份存在相关性)。主成份1为城镇生活环境，主成份2为治安环境，主成份3为人口密度，主成份4为人口层次，主成份5为是否有河流，主成份6为商业环境，主成份7为教育发展水平。&&& 本文把量子群优化算法和主成分析降维的方法应用于支持向量机的回归预测中，试验结果表明此法能显著提高支持向量机的预测精度，同时也表明了支持向量机在非线性、高维模式下的良好预测性能。参考文献[1] 阎平凡，张长水.人工神经网络与模拟进化计算[M].北京：清华大学出版社，2006.[2] 韦康南，姚立纲等.基于灰色理论的产品寿命预测研究[J].计算机集成制造系统，2005(10)：.[3] VAPNIK V N. The nature of statistic learning theory[M].New York： Springer， 2005.[4] VAPNIK V N. Estimation of dependencies based on empiric[M]. Berlin Springer-Verlag， 2003.[5] 邓乃扬，田英杰. 数据挖掘中的新方法-支持向量机[M].北京：科学出版社，2004.[6] KENNEDY J， EBERHART R. Particle swarm optimizat[A].Proc IEEE Int& Conf. on Neural[C]. Perth， -1948.[7] CLERK， M. The swarm and the queen： Towards a deterministic and adaptive particle swarm optimization[A].. 1990. Proc. CEC 1999.[8] 林海明.对主成分分析法运用中的十个问题的解析[J].统计与决策(理论版)，2007(8)：16-18.[9] http：//archive.ics.uci.edu/ml/index.html 1993.07.
上一篇：已经是第一篇
型号/产品名
柏威（深圳）电子有限公司关于支持向量机（SVM）的一个简单应用实例及matlab代码
********************************************************
*********************************************************
一次模式识别课中的关于SVM用法的一个简单的实例（训练集和测试集简单的划分）：
一、实验目的
1．掌握支持向量机（SVM）的原理、核函数类型选择以及核参数选择原则等；
2．熟悉基于libSVM二分类的一般流程与方法；
二、实验内容
&1．对“bedroom， forest”两组数据进行分类（二分类）；
2．得到试验分类准确率；
1．LibSVM软件包，3.17版本；
2． Matlab 2013a。
(1) 试验流程：
Step1: 根据给定的数据，选定训练集和测试集；
Step2: 为训练集与测试集选定标签集；
Step3: 利用训练集进行训练分类器得到model；
Step4: 根据model，对测试集进行测试集得到accuracy rate；
实验数据准备：
“bedroom.mat”10*15的矩阵，分别代表了不同的十张有关于bedroom的图片的15维属性；
“forest.mat”10*15矩阵，分别代表了不同的十张有关于forest的图片的15维属性特征；
训练集：trainset(); 分别取bedroom(1:5,:)和forse(1:5,:)作为训练集；
测试集：testset();&
分别取bedroom(6:10,:)和forse(6:10,:)作为测试集；
标签集：label(); 取bedroom的数据为正类标签为1；forse的数据为负类标签为-1.
(3) Matlab程序与实验结果：
附录：matlab代码
%% SVM数据分类预测---作业数据
%*****write by Taozhang
% 作业中提供的数据已做整理，不在单独导入；
dataset是将bedroom和forest合并；dataset =
[forset];这行代码可以实现合并
dataset.mat&&&&&&&&&&&&&&&&
%导入要分类的数据集
labelset.mat&&&&&&&&&&&&&&&
%导入分类集标签集
% 选定训练集和测试集
% 将第一类的1-5,第二类的11-15做为训练集
train_set = [dataset(1:5,:);dataset(11:15,:)];
% 相应的训练集的标签也要分离出来
train_set_labels =
[lableset(1:5);lableset(11:15)];
% 将第一类的6-10,第二类的16-20,做为测试集
test_set = [dataset(6:10,:);dataset(16:20,:)];
% 相应的测试集的标签也要分离出来
test_set_labels =
[lableset(6:10);lableset(16:20)];
% 数据预处理,将训练集和测试集归一化到[0,1]区间
[mtrain,ntrain] = size(train_set);
[mtest,ntest] = size(test_set);
test_dataset = [train_test_set];
% mapminmax为MATLAB自带的归一化函数
[dataset_scale,ps] =
mapminmax(test_dataset',0,1);
dataset_scale = dataset_scale';
train_set = dataset_scale(1:mtrain,:);
test_set = dataset_scale(
(mtrain+1):(mtrain+mtest),: );
%% SVM网络训练
model = svmtrain(train_set_labels, train_set, '-s 2
-c 1 -g 0.07');
%% SVM网络预测
[predict_label] = svmpredict(test_set_labels,
test_set, model);
%% 结果分析
% 测试集的实际分类和预测分类图
% 通过图可以看出只有一个测试样本是被错分的
plot(test_set_labels,'o');
plot(predict_label,'r*');
xlabel('测试集样本','FontSize',12);
ylabel('类别标签','FontSize',12);
legend('实际测试集分类','预测测试集分类');
title('测试集的实际分类和预测分类图','FontSize',12);
程序运行结果：
optimization finished, #iter = 5
nu = 0.643949
obj = -4.304693, rho = -0.008725
nSV = 8, nBSV = 6
Total nSV = 8
Accuracy = 100% (10/10) (classification)
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。机器学习算法多多挑花眼，怎样慧眼识精？阅读//5b.cdn.sohucs.com/images/a34ee48bac47f89e1ecd.jpeg如果你对推荐系统有所了解，你会发现它是一类很常用的机器学习算法，用来解决一类非常特殊的问题。而其它的一些问题则非常开放，可能需要一种试错方法（例如：强化学习）。监督学习、分类、回归等问题都是非常开放的，可以被用于异常检测或建立更加广泛的预测模型。
此外，我们在选择机器学习算法时所做出的一些决定与算法的优化或技术层面关系并不大，而更多地与业务决策相关。下面，让我们一起来看看有哪些因素能帮你缩小机器学习算法的选择范围。
数据科学过程
在你开始研究不同的机器学习算法前，你需要对自己拥有的数据、面对的问题及相关约束有清晰的了解。
理解你的数据
当我们决定使用哪种算法时，我们所拥有的数据的类型和形态起着关键性的作用。有些算法可以利用较小的样本集合工作，而另一些算法则需要海量的样本。特定的算法对特定类型的数据起作用。例如，朴素贝叶斯算法对处理待分类的输入特别有效，但是对于缺失值则一点都不敏感。
因此，你需要做到：
了解你的数据
1． 查看总结统计和数据可视化的结果
百分比可以帮助你识别大多数数据的范围
平均数和中位数可以描述集中趋势
相关系数可以指出强的关联性
2． 数据可视化
箱形图可以识别出异常值
密度图和直方图可以显示出数据的散布情况
散点图可以描述二元关系
1． 处理缺失值。缺失的数据对于某些模型的影响比对其它模型更大。即使是对于那些被用于处理缺失数据的模型来说，它们也可能对缺失数据很敏感（某些变量的缺失数据可能导致预测性能变差）
2． 选择处理异常值的方法
异常值在多维数据中十分常见。
有些模型对异常值的敏感性比其它模型要低。通常而言，树模型对于异常值的存在不太敏感。然而回归模型、或者任何试图使用方程的模型都会受到异常值的严重影响。
异常值可能是糟糕的数据收集造成的，也可能是合理的极值。
3． 数据需要被聚合吗？
1．特征工程是从原始数据中产生能够被用于建模的数据的过程，可以起到以下几种作用：
使模型更容易被解释（如数据分箱（binning））
捕获更复杂的关系（如神经网络）
减少数据冗余并降低数据维度（如主成分分析（PCA））
重新缩放变量（如标准化或归一化）
2． 不同的模型可能有不同的特征工程的要求。有的模型有内置的特征工程。
对问题进行分类
下一步是对问题进行分类。这是一个需要分两步实现的过程。
1． 根据输入分类：
如果你拥有的是带标签的数据，那么这就是一个监督学习问题。
如果你拥有的是未标注过的数据，并且希望从中找到有用的结构，那么这就是一个无监督学习问题。
如果你想要通过与环境的交互来优化一个目标函数，那么这就是一个强化学习问题。
2． 根据输出分类：
如果模型的输出是一个（连续的）数字，那么这就是一个回归问题。
如果模型的输出是一个类别，那么这就是一个分类问题。
如果模型的输出是一组用输入数据划分出的簇，那么这就是一个聚类问题。
你想发现一个异常点吗？此时你面对的就是一个异常检测问题。
理解你要满足的约束条件
你需要考虑你能够存储数据的容量有多大？这取决于系统的存储容量，你可能无法存储若干 GB 大小的分类、回归模型或者若干 GB 的用于聚类分析的数据。例如，在嵌入式系统中，你就会面临这种情况。
对预测过程的速度是否有要求？在实时应用中，很显然，尽快得出预测结果是十分重要的。例如，在自动驾驶问题中，应用必须尽可能快地对道路标志进行分类，以免发生交通事故。
对学习过程的速度是否有要求？在某些情况下，快速训练模型是十分必要的：有时，你需要使用不同的数据集快速地实时更新你的模型。
寻找可用的算法
当对自己的任务环境有了一个清晰的认识后，你就可以使用你所掌握的工具确定适用于待解决的问题并切实可行的算法。一些影响你选择模型的因素如下：
模型是否满足业务目标
模型需要多少数据预处理工作
模型有多准确
模型的可解释性如何
模型运行的速度有多快：构造模型需要多久？模型做出预测需要多长时间？
模型的可伸缩性如何
模型的复杂度是一个影响算法选择的重要标准。一般来说，一个更复杂的模型具备下列特征：
它依赖于更多的特征进行学习和预测（例如，使用十个而不是两个特征来预测目标）
它依赖于更复杂的特征工程（例如，使用多项式特征、交互特征或主成分）
它有更大的计算开销（例如，需要一个由 100 棵决策树组成的随机森林，而不是一棵单独的决策树）
除此之外，同样的机器学习算法可以基于参数的个数和某些超参数的选择而变得更加复杂。例如：
回归模型可以拥有更多的特征，或者多项式项和交互项。
决策树可以拥有更大或更小的深度。
将相同的算法变得更加复杂增加了发生过拟合的几率。
常用的机器学习算法
这可能是机器学习中最简单的算法。例如，当你想要计算一些连续值，而不是将输出分类时，可以使用回归算法。因此，当你需要预测一个正在运行的过程未来的值时，你可以使用回归算法。然而，当特征冗余，即如果存在多重共线性（multicollinearity）时，线性回归就不太稳定。
在下列情况下可以考虑使用线性回归：
从一个地方移动到另一个地方所需的时间
预测下个月某种产品的销售情况
血液中的酒精含量对协调能力的影响
预测每个月礼品卡的销售情况，并改善年收入的估算
Logistic 回归
Logistic 回归执行二进制分类，因此输出二值标签。它将特征的线性组合作为输入，并且对其应用非线性函数（sigmoid），因此它是一个非常小的神经网络的实例。
logistic 回归提供了许多方法对你的模型进行正则化处理，因此正如在朴素贝叶斯算法中那样，你不必担心你的特征是否相关。该模型还有一个很好的概率化的解释。不像在决策树或者支持向量机中那样，你可以很容易地更新你的模型以获取新的数据。如果你想要使用一个概率化的框架，或者你希望在未来能够快速地将更多的训练数据融合到你的模型中，你可以使用 logistic 回归算法。logistic 回归还可以帮助你理解预测结果背后起作用的因素，它不完全是一个黑盒方法。
在下列情况下可以考虑使用 logistic 回归算法：
预测客户流失
信用评分和欺诈检测
评价市场营销活动的效果
决策树很少被单独使用，但是不同的决策树可以组合成非常高效的算法，例如随机森林或梯度提升树算法。
决策树很容易处理特征交互，并且决策树是一种非参数模型，所以你不必担心异常值或者数据是否是线性可分的。决策树算法的一个缺点是，它们不支持在线学习，因此当你要使用新的样本时，你不得不重新构建决策树。决策树的另一个缺点是，它很容易发生过拟合，而这就是像随机森林（或提升树）这样的集成学习方法能够派上用场的地方。决策树也需要大量的内存空间（拥有的特征越多，你的决策树可能会越深、越大）
决策树能够很好地帮助你在诸多行动路径中做出选择：
做出投资决策
预测客户流失
找出可能拖欠银行贷款的人
在「建造」和「购买」两种选择间进行抉择
销售主管的资质审核
有时，你完全没有数据的标签信息，并且你的目的是根据对象的特征来为其打上标签。这种问题被称为聚类任务。聚类算法可以在这种情况下被使用：例如，当你有一大群用户，你希望根据他们共有的一些属性将其划分到一些特定的组中。
如果在你的问题声明中有这样的问题：例如，找出一群个体的组织形式，或将某些东西分组，或找出特定的组。这时，你就应该使用聚类算法。
该方法最大的缺点是，K－均值算法需要提前知道你的数据会有多少簇，因此这可能需要进行大量的试验去「猜测」我们最终定义的簇的最佳个数——K。
主成分分析（PCA）
主成分分析能够对数据进行降维。有时，你拥有各种各样的特征，这些特征之间的相关性可能很高，而模型如果使用如此大量的数据可能会产生过拟合现象。这时，你可以使用主成分分析（PCA）技术。
主成分分析（PCA）能够起作用的关键因素是：除了低维的样本表征，它还提供了各种变量的一种同步的低维表征。同步的样本和变量的表征提供了一种能够可视化地找到能够表示一组样本的特征的变量的方法。
支持向量机
支持向量机（SVM）是一种在模式识别和分类问题中被广泛应用的监督机器学习技术——当你的数据恰好有两类时。
支持向量机准确率高，对于防止过拟合很好的理论保障。当你使用一个合适的核函数时，即使你的数据在基（低维）特征空间中是线性不可分的，他们也可以很好地工作。支持向量机在文本分类问题中非常流行，在该问题中，输入是一个维度非常高的空间是很正常的。然而，SVM 是一种内存密集型算法，它很难被解释，并且对其进行调优十分困难。
在下列现实世界的应用中，你可以使用支持向量机：
发现患有糖尿病等常见疾病的人
手写字符识别
文本分类——将文章按照话题分类
股票市场价格预测
朴素贝叶斯
这是一种基于贝叶斯定理的分类技术，它很容易构建，非常适用于大规模数据集。除了结构简单，据说朴素贝叶斯的表现甚至比一些复杂得多的分类方法更好。当 CPU 和内存资源有限时，朴素贝叶斯算法也是一个很好的选项。
朴素贝叶斯非常简单，你仅仅是在做大量的计数工作。如果朴素贝叶斯的条件独立假设确实成立，朴素贝叶斯分类器的收敛速度会比 logistic 回归这样的判别模型更快，因此需要的训练数据更少。即使朴素贝叶斯的假设不成立，朴素贝叶斯分类器往往也能很好地完成任务。如果你想使用一种快速的、简单的、性能也不错的模型，朴素贝叶斯是一个很好的选择。这种算法最大的缺点就是它不能学习到特征之间的相互作用。
在下列真实世界的应用中，你可以使用朴素贝叶斯：
情感分析和文本分类
类似于 Netflix、Amazon 这样的推荐系统
识别垃圾邮件
随机森林是一种决策树的集成方法。它能够同时解决具有大规模数据集的回归问题和分类问题，还有助于从数以千计的输入变量中找出最重要的变量。随机森林具有很强的可伸缩性，它适用于任何维数的数据，并且通常具有相当不错的性能。此外，还有一些遗传算法，它们可以在具有最少的关于数据本身的知识的情况下，很好地扩展到任何维度和任何数据上，其中最简单的实现就是微生物遗传算法。然而，随机森林学习的速度可能会很慢（取决于参数设置），并且这种方法不能迭代地改进生成模型。
在下列现实世界的应用中，你可以使用随机森林：
预测高危患者
预测零件在生产中的故障
预测拖欠贷款的人
神经网络中包含着神经元之间连接的权重。这些权重是平衡的，逐次对数据点进行学习。当所有的权重都被训练好后，如果需要对新给定的数据点进行回归，神经网络可以被用于预测分类结果或一个具体数值。利用神经网络，可以对特别复杂的模型进行训练，并且将其作为一种黑盒方法加以利用，而在训练模型之前，我们无需进行不可预测的复杂特征工程。通过与「深度方法」相结合，甚至可以采用更加不可预测的模型去实现新任务。例如，最近人们已经通过深度神经网络大大提升了物体识别任务的结果。深度学习还被应用于特征提取这样的非监督学习任务，也可以在人为干预更少的情况下，从原始图像或语音中提取特征。
另一方面，神经网络很难被解释清楚，其参数设置也复杂地让人难以置信。此外，神经网络算法也都是资源密集型和内存密集型的。
SCIKIT 参考手册
Scikit learning 为大家提供了一个非常深入的、解释地很清楚的流程图，它能够帮助你选择正确的算法。我认为此图十分方便。
一般来说，你可以根据上面介绍的要点来筛选出一些算法，但是要想在一开始就知道哪种方法最好是很难的。你最好多迭代几次选择算法的过程。将你的数据输入给那些你确定的潜在优秀机器学习算法，通过并行或串行的方式运行这些算法，最终评估算法性能，从而选择出最佳的算法。
在最后，我想告诉你：为现实生活中的问题找到正确的解决方案，通常不仅仅是一个应用数学方法的问题。这要求我们对业务需求、规则和制度、相关利益者的关注点有所了解，并且具备大量的专业知识。在解决一个机器学习问题的同时，能够结合并平衡这些问题是至关重要的，那些能做到这一点的人可以创造最大的价值。
来源：机器之心
免责声明：本文系网络转载，版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题，请第一时间告知，我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除内容！本文内容为原作者观点，并不代表本公众号赞同其观点和对其真实性负责。四类基本模型
1 优化模型
1.1 数学规划模型
线性规划、整数线性规划、非线性规划、多目标规划、动态规划。
1.2 微分方程组模型
阻滞增长模型、SARS传播模型。
1.3 图论与网络优化问题
最短路径问题、网络最大流问题、最小费用最大流问题、最小生成树问题(MST)、旅行商问题(TSP)、图的着色问题。
1.4 概率模型
决策模型、随机存储模型、随机人口模型、报童问题、Markov链模型。
1.5 组合优化经典问题
l 多维背包问题(MKP)
背包问题： 个物品，对物品 ，体积为 ，背包容量为 。如何将尽可能多的物品装入背包。
多维背包问题： 个物品，对物品 ，价值为 ，体积为 ，背包容量为 。如何选取物品装入背包，是背包中物品的总价值最大。
多维背包问题在实际中的应用有：资源分配、货物装载和存储分配等问题。该问题属于 难问题。
l 二维指派问题(QAP)
工作指派问题： 个工作可以由 个工人分别完成。工人 完成工作 的时间为 。如何安排使总工作时间最小。
二维指派问题（常以机器布局问题为例）： 台机器要布置在 个地方，机器 与 之间的物流量为 ，位置 与 之间的距离为 ，如何布置使费用最小。
二维指派问题在实际中的应用有：校园建筑物的布局、医院科室的安排、成组技术中加工中心的组成问题等。
l 旅行商问题(TSP)
旅行商问题：有 个城市，城市 与 之间的距离为 ，找一条经过 个城市的巡回（每个城市经过且只经过一次，最后回到出发点），使得总路程最小。
l 车辆路径问题(VRP)
车辆路径问题（也称车辆计划）：已知 个客户的位置坐标和货物需求，在可供使用车辆数量及运载能力条件的约束下，每辆车都从起点出发，完成若干客户点的运送任务后再回到起点，要求以最少的车辆数、最小的车辆总行程完成货物的派送任务。
TSP问题是VRP问题的特例。
l 车间作业调度问题(JSP)
车间调度问题：存在 个工作和 台机器，每个工作由一系列操作组成，操作的执行次序遵循严格的串行顺序，在特定的时间每个操作需要一台特定的机器完成，每台机器在同一时刻不能同时完成不同的工作，同一时刻同一工作的各个操作不能并发执行。如何求得从第一个操作开始到最后一个操作结束的最小时间间隔。
2 分类模型
判别分析是在已知研究对象分成若干类型并已经取得各种类型的一批已知样本的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分析。
聚类分析则是给定的一批样品，要划分的类型实现并不知道，正需要通过局内分析来给以确定类型的。
2.1 判别分析
l 距离判别法
基本思想：首先根据已知分类的数据，分别计算各类的重心即分组(类)的均值，判别准则是对任给的一次观测，若它与第 类的重心距离最近，就认为它来自第 类。
至于距离的测定，可以根据实际需要采用欧氏距离、马氏距离、明科夫距离等。
l Fisher判别法
基本思想：从两个总体中抽取具有 个指标的样品观测数据，借助方差分析的思想构造一个判别函数或称判别式。其中系数 确定的原则是使两组间的区别最大，而使每个组内部的离差最小。
对于一个新的样品，将它的p个指标值代人判别式中求出 y 值，然后与判别临界值(或称分界点(后面给出)进行比较，就可以判别它应属于哪一个总体。在两个总体先验概率相等的假设下，判别临界值一般取：
最后，用 统计量来检验判别效果，若 则认为判别有效，否则判别无效。
以上描述的是两总体判别，至于多总体判别方法则需要加以扩展。
Fisher判别法随着总体数的增加，建立的判别式也增加，因而计算比较复杂。
l Bayes判别法
基本思想：假定对所研究的对象有一定的认识，即假设 个总体中，第 个总体 的先验概率为 ，概率密度函数为。利用bayes公式计算观测样品 来自第 个总体的后验概率 ，当 时，将样本 判为总体 。
l 逐步判别法
基本思想与逐步回归法类似，采用“有进有出”的算法，逐步引入变量，每次引入一个变量进入判别式，则同时考虑在较早引入判别式的某些作用不显著的变量剔除出去。
2.2 聚类分析
聚类分析是一种无监督的分类方法，即不预先指定类别。
根据分类对象不同，聚类分析可以分为样本聚类（Q型）和变量聚类（R型）。样本聚类是针对观测样本进行分类，而变量聚类则是试图找出彼此独立且有代表性的自变量，而又不丢失大部分信息。变量聚类是一种降维的方法。
l 系统聚类法（分层聚类法）
基本思想：开始将每个样本自成一类；然后求两两之间的距离，将距离最近的两类合成一类；如此重复，直到所有样本都合为一类为止。
适用范围：既适用于样本聚类，也适用于变量聚类。并且距离分类准则和距离计算方法都有多种，可以依据具体情形选择。
l 快速聚类法（K-均值聚类法）
基本思想：按照指定分类数目 ，选择 个初始聚类中心 ；计算每个观测量（样本）到各个聚类中心的距离，按照就近原则将其分别分到放入各类中；重新计算聚类中心，继续以上步骤；满足停止条件时（如最大迭代次数等）则停止。
使用范围：要求用户给定分类数目 ，只适用于样本聚类（Q型），不适用于变量聚类（R型）。
l 两步聚类法（智能聚类方法）
基本思想：先进行预聚类，然后再进行正式聚类。
适用范围：属于智能聚类方法，用于解决海量数据或者具有复杂类别结构的聚类分析问题。可以同时处理离散和连续变量，自动选择聚类数，可以处理超大样本量的数据。
l 模糊聚类分析
l 与遗传算法、神经网络或灰色理论联合的聚类方法
2.3 神经网络分类方法
3 评价模型
3.1 层次分析法(AHP)
基本思想：是定性与定量相结合的多准则决策、评价方法。将决策的有关元素分解成目标层、准则层和方案层，并通过人们的判断对决策方案的优劣进行排序，在此基础上进行定性和定量分析。它把人的思维过程层次化、数量化，并用数学为分析、决策、评价、预报和控制提供定量的依据。
基本步骤：构建层次结构模型；构建成对比较矩阵；层次单排序及一致性检验（即判断主观构建的成对比较矩阵在整体上是否有较好的一致性）；层次总排序及一致性检验（检验层次之间的一致性）。
优点：它完全依靠主观评价做出方案的优劣排序，所需数据量少，决策花费的时间很短。从整体上看，AHP在复杂决策过程中引入定量分析，并充分利用决策者在两两比较中给出的偏好信息进行分析与决策支持，既有效地吸收了定性分析的结果，又发挥了定量分析的优势，从而使决策过程具有很强的条理性和科学性，特别适合在社会经济系统的决策分析中使用。
缺点：用AHP进行决策主观成分很大。当决策者的判断过多地受其主观偏好影响，而产生某种对客观规律的歪曲时，AHP的结果显然就靠不住了。
适用范围：尤其适合于人的定性判断起重要作用的、对决策结果难于直接准确计量的场合。要使AHP的决策结论尽可能符合客观规律，决策者必须对所面临的问题有比较深入和全面的认识。另外，当遇到因素众多，规模较大的评价问题时，该模型容易出现问题，它要求评价者对问题的本质、包含的要素及其相互之间的逻辑关系能掌握得十分透彻，否则评价结果就不可靠和准确。
改进方法：
(1) 成对比较矩阵可以采用德尔菲法获得。
(2) 如果评价指标个数过多（一般超过9个），利用层次分析法所得到的权重就有一定的偏差，继而组合评价模型的结果就不再可靠。可以根据评价对象的实际情况和特点，利用一定的方法，将各原始指标分层和归类，使得每层各类中的指标数少于9个。
3.2 灰色综合评价法（灰色关联度分析）
基本思想：灰色关联分析的实质就是，可利用各方案与最优方案之间关联度大小对评价对象进行比较、排序。关联度越大，说明比较序列与参考序列变化的态势越一致，反之，变化态势则相悖。由此可得出评价结果。
基本步骤：建立原始指标矩阵；确定最优指标序列；进行指标标准化或无量纲化处理；求差序列、最大差和最小差；计算关联系数；计算关联度。
优点：是一种评价具有大量未知信息的系统的有效模型，是定性分析和定量分析相结合的综合评价模型，该模型可以较好地解决评价指标难以准确量化和统计的问题，可以排除人为因素带来的影响，使评价结果更加客观准确。整个计算过程简单，通俗易懂，易于为人们所掌握;数据不必进行归一化处理，可用原始数据进行直接计算，可靠性强；评价指标体系可以根据具体情况增减；无需大量样本，只要有代表性的少量样本即可。
缺点：要求样本数据且具有时间序列特性；只是对评判对象的优劣做出鉴别，并不反映绝对水平，故基于灰色关联分析综合评价具有“相对评价”的全部缺点。
适用范围：对样本量没有严格要求，不要求服从任何分布，适合只有少量观测数据的问题；应用该种方法进行评价时，指标体系及权重分配是一个关键的问题，选择的恰当与否直接影响最终评价结果。
改进方法：
(1) 采用组合赋权法：根据客观赋权法和主观赋权法综合而得权系数。
(2) 结合TOPSIS法：不仅关注序列与正理想序列的关联度 ，而且关注序列与负理想序列的关联度 ，依据公式 计算最后的关联度。
3.3 模糊综合评价法
基本思想：是以模糊数学为基础，应用模糊关系合成的原理，将一些边界不清、不易定量的因素定量化，从多个因素对被评价事物隶属等级（或称为评语集）状况进行综合性评价的一种方法。综合评判对评判对象的全体，根据所给的条件，给每个对象赋予一个非负实数评判指标，再据此排序择优。
基本步骤：确定因素集、评语集；构造模糊关系矩阵；确定指标权重；进行模糊合成和做出评价。
优点：:数学模型简单，容易掌握，对多因素、多层次的复杂问题评判效果较好。模糊评判模型不仅可对评价对象按综合分值的大小进行评价和排序，而且还可根据模糊评价集上的值按最大隶属度原则去评定对象所属的等级，结果包含的信息量丰富。评判逐对进行，对被评对象有唯一的评价值，不受被评价对象所处对象集合的影响。接近于东方人的思维习惯和描述方法，因此它更适用于对社会经济系统问题进行评价。
缺点：并不能解决评价指标间相关造成的评价信息重复问题，隶属函数的确定还没有系统的方法，而且合成的算法也有待进一步探讨。其评价过程大量运用了人的主观判断，由于各因素权重的确定带有一定的主观性，因此，总的来说，模糊综合评判是一种基于主观信息的综合评价方法。
应用范围：广泛地应用于经济管理等领域。综合评价结果的可靠性和准确性依赖于合理选取因素、因素的权重分配和综合评价的合成算子等。
改进方法：
(1) 采用组合赋权法：根据客观赋权法和主观赋权法综合而得权系数。
3.4 BP神经网络综合评价法
基本思想：是一种交互式的评价方法，它可以根据用户期望的输出不断修改指标的权值，直到用户满意为止。因此，一般来说，人工神经网络评价方法得到的结果会更符合实际情况。
优点：神经网络具有自适应能力，能对多指标综合评价问题给出一个客观评价，这对于弱化权重确定中的人为因素是十分有益的。在以前的评价方法中，传统的权重设计带有很大的模糊性，同时权重确定中人为因素影响也很大。随着时间、空间的推移，各指标对其对应问题的影响程度也可能发生变化，确定的初始权重不一定符合实际情况。再者，考虑到整个分析评价是一个复杂的非线性大系统，必须建立权重的学习机制，这些方面正是人工神经网络的优势所在。针对综合评价建模过程中变量选取方法的局限性，采用神经网络原理可对变量进行贡献分析，进而剔除影响不显著和不重要的因素，以建立简化模型，可以避免主观因素对变量选取的干扰。
缺点： ANN在应用中遇到的最大问题是不能提供解析表达式，权值不能解释为一种回归系数，也不能用来分析因果关系，目前还不能从理论上或从实际出发来解释ANN的权值的意义。需要大量的训练样本，精度不高，应用范围是有限的。最大的应用障碍是评价算法的复杂性，人们只能借助计算机进行处理，而这方面的商品化软件还不够成熟。
适用范围：神经网络评价模型具有自适应能力、可容错性，能够处理非线性、非局域性的大型复杂系统。在对学习样本训练中，无需考虑输入因子之间的权系数，ANN通过输入值与期望值之间的误差比较，沿原连接权自动地进行调节和适应，因此该方法体现了因子之间的相互作用。
改进方法：
(1) 采用组合评价法：对用其它评价方法得出的结果，选取一部分作为训练样本，一部分作为待测样本进行检验，如此对神经网络进行训练，知道满足要求为止，可得到更好的效果。
3.5 数据包络法(DEA)
3.6 组合评价法
4 预测模型
定性研究与定量研究的结合，是科学的预测的发展趋势。在实际预测工作中，应该将定性预测和定量预测结合起来使用，即在对系统做出正确分析的基础上，根据定量预测得出的量化指标，对系统未来走势做出判断。
4.1 回归分析法
基本思想：根据历史数据的变化规律，寻找自变量与因变量之间的回归方程式，确定模型参数，据此预测。回归问题分为一元和多元回归、线性和非线性回归。
特点：技术比较成熟，预测过程简单；将预测对象的影响因素分解，考察各因素的变化情况，从而估计预测对象未来的数量状态；回归模型误差较大，外推特性差。
适用范围：回归分析法一般适用于中期预测。回归分析法要求样本量大且要求样本有较好的分布规律，当预测的长度大于占有的原始数据长度时，采用该方法进行预测在理论上不能保证预测结果的精度。另外，可能出现量化结果与定性分析结果不符的现象，有时难以找到合适的回归方程类型。
4.2 时间序列分析法
基本思想：把预测对象的历史数据按一定的时间间隔进行排列，构成一个随时间变化的统计序列，建立相应的数据随时间变化的变化模型，并将该模型外推到未来进行预测。
适用范围：此方法有效的前提是过去的发展模式会延续到未来，因而这种方法对短期预测效果比较好，而不适合作中长期预测。一般来说，若影响预测对象变化各因素不发生突变，利用时间序列分析方法能得到较好的预测结果；若这些因素发生突变，时间序列法的预测结果将受到一定的影响。
灰色预测法
基本思想：将一切随机变量看作是在一定范围内变化的灰色变量，不是从统计规律角度出发进行大样本分析研究，而是利用数据处理方法(数据生成与还原)，将杂乱无章的原始数据整理成规律性较强的生成数据来加以研究，即灰色系统理论建立的不是原始数据模型，而是生成数据模型。
适用范围：预测模型是一个指数函数，如果待测量是以某一指数规律发展的，则可望得到较高精度的预测结果。影响模型预测精度及其适应性的关键因素，是模型中背景值的构造及预测公式中初值的选取。
4.3 BP神经网络法
人工神经网络的理论有表示任意非线性关系和学习等的能力，给解决很多具有复杂的不确定性和时变性的实际问题提供了新思想和新方法。
利用人工神经网络的学习功能，用大量样本对神经元网络进行训练，调整其连接权值和闭值，然后可以利用已确定的模型进行预测。神经网络能从数据样本中自动地学习以前的经验而无需繁复的查询和表述过程，并自动地逼近那些最佳刻画了样本数据规律的函数，而不论这些函数具有怎样的形式，且所考虑的系统表现的函数形式越复杂，神经网络这种特性的作用就越明显。
误差反向传播算法(BP算法)的基本思想是通过网络误差的反向传播，调整和修改网络的连接权值和闭值，使误差达到最小，其学习过程包括前向计算和误差反向传播。它利用一个简单的三层人工神经网络模型，就能实现从输入到输出之间任何复杂的非线性映射关系。目前，神经网络模型已成功地应用于许多领域，诸如经济预测、财政分析、贷款抵押评估和破产预测等许多经济领域。
优点：可以在不同程度和层次上模仿人脑神经系统的结构及信息处理和检索等功能，对大量非结构性、非精确性规律具有极强的自适应功能，具有信息记忆、自主学习、知识推理和优化计算等特点，其自学习和自适应功能是常规算法和专家系统技术所不具备的，同时在一定程度上克服了由于随机性和非定量因素而难以用数学公式严密表达的困难。
缺点：网络结构确定困难，同时要求有足够多的历史数据，样本选择困难，算法复杂，容易陷入局部极小点。
4.4 支持向量机法
支持向量机是基于统计学习的机器学习方法，通过寻求结构风险化最小，实现经验风险和置信范围的最小，从而达到在统计样本较少的情况下，亦能获得良好统计规律的目的。
其中支持向量机是统计学习理论的核心和重点。支持向量机是结构风险最小化原理的近似，它能够提高学习机的泛化能力，既能够由有限的训练样本得到小的误差，又能够保证对独立的测试集仍保持小的误差，而且支持向量机算法是一个凸优化问题，因此局部最优解一定是全局最优解，支持向量机就克服了神经网络收敛速度慢和局部极小点等缺陷。
核函数的选取在SVM方法中是一个较为困难的问题，至今没有一定的理论方面的指导。
4.5 组合预测法
在实际预测工作中，从信息利用的角度来说，就是任何一种单一预测方法都只利用了部分有用信息，同时也抛弃了其它有用的信息。为了充分发挥各预测模型的优势，对于同一预测问题，往往可以采用多种预测方法进行预测。不同的预测方法往往能提供不同的有用信息，组合预测将不同预测模型按一定方式进行综合。根据组合定理，各种预测方法通过组合可以尽可能利用全部的信息，尽可能地提高预测精度，达到改善预测性能的目的。
优化组合预测有两类概念，一是指将几种预测方法所得的预测结果，选取适当的权重进行加权平均的一种预测方法，其关键是确定各个单项预测方法的加权系数；二是指在几种预测方法中进行比较，选择拟合度最佳或标准离差最小的预测模型作为最优模型进行预测。组合预测是在单个预测模型不能完全正确地描述预测量的变化规律时发挥其作用的。
数学建模的常用模型和方法
规划&优化（lingo）：0-1规划、线性规划、整数规划、非线性规划、动态规划、单目标、多目标、
图论：最短路径、hamilton圈、旅行商TSP问题 、最小生成树、网络最...
数学建模模型大全
数学建模四大模型总结
数学规划模型
线性规划、整数线性规划、非线性规划、多目标规划、动态规划。
微分方程组模型
阻滞增长模型、SARS传播模型。
数学建模之预测模型总结
数学建模之预测模型的研究特点，优缺点和适用范围进行总结
一、数学建模的步骤：
1.建模准备2.分析简化3.模型建立4.模型求解5.模型的评价与改进6.模型应用
二、计算方法：
1.代数插值2.数值微积分3.数据拟合的最小二乘法4.常微分方程数值解法
...
数学建模常用算法
数学建模中常用的方法：类比法、二分法、差分法、变分法、图论法、层次分析法、数据拟合法、回归分析法、数学规划（线性规划，非线性规划，整数规划，动态规划，目标规划）、机理分析、排队方法、对策方法、决策方法...
没有更多推荐了，