君，已阅读到文档的结尾了呢~~
极小值原理及应用 精心收集的各类精品文档，欢迎下载！
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
极小值原理及应用
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口最优化理论与方法 【范文十篇】
最优化理论与方法
范文一：最优化理论与方法综述
最优化方法是近几十年形成的，它主要运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依据。最优化方法的主要研究对象是各种管理问题及其生产经营活动。最优化方法的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高系统的效能及效益，最终达到系统的最优目标。实践表明，随着科学技术的日益进步和生产经营的日益发展，最优化方法已成为管理科学的重要理论基础和不可缺少的方法，被人们广泛地应用到公共管理、经济管理、工程建设、国防等各个领域，发挥着越来越重要的作用。这就是我理解的整个课程的流程。在这整个学习的过程当中，当然也会遇到很多的问题，不论是从理论上的还是从实际将算法编写出程序来解决一些问题。下面给出学习该课程的必要性及结合老师讲解以及在作业过程中遇到的问题来阐述自己对该课程的理解。
20世纪40年代以来，由于生产和科学研究突飞猛进地发展，特别是电子计算机日益广泛应用，使最优化问题的研究不仅成为一种迫切需要，而且有了求解的有力工具。因此最优化理论和算法迅速发展起来，形成一个新的学科。至今已出现线性规划、整数规划、非线性规划、几何规划、动态规划、随机规划、网络流等许多分文。
最优化理论与算法包括线性规划单纯形方法、对偶理论、灵敏度分析、运输问题、内点算法、非线性规划K-T条件、无约束最优化方法、约束最优化方法、参数线性规划、运输问题、线性规划路径跟踪法、信赖域方法、二次规划路径跟踪法、整数规划和动态规划等内容。
最优化理论所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找出最优方案。这类问题普遍存在。例如，工程设计中怎样选择设计参数，使得设计方案满足设计要求，又能降低成本；资源分配中，怎样分配有限资源，使得分配方案既能满足各方面的基本要求，又能获得好的经济效益；生产评价安排中，选择怎样的计划方案才能提高产值和利润；原料配比问题中，怎样确定各种成分的比例，才能提高质量，降低成本；城建规划中，怎样安排基本单位的合理布局，才能方便群众，有利于城市各行各业的发展；农田规划中，怎样安排各种农作物的合理布局，才能保持高产稳产，发挥地区优势；军事指挥中，怎样确定最佳作战方案，才能有效地消灭敌人，保存自己，有利于战争的全局；在人类活动的各个领域中，诸如此类，不胜枚举。最优化这一数学分支，正是为这些问题的解决，提供理论基础和求解方法，它是一门应用广泛、实用性强的学科。
一、 最优化学习的必要性
最优化，在热工控制系统中应用非常广泛。为了达到最优化目的所提出的各种求解方法。从数学意义上说，最优化方法是一种求极值的方法，即在一组约束为等式或不等式的条件下，使系统的目标函数达到极值，即最大值或最小值。从经济意义上说，是在一定的人力、
物力和财力资源条件下，使经济效果达到最大，或者在完成规定的生产或经济任务下，使投入的人力、物力和财力等资源为最少。
通过老师的讲解，我们了解不同类型的最优化问题可以有不同的最优化方法，即使同一类型的问题也可有多种最优化方法。反之,某些最优化方法可适用于不同类型的模型。最优化问题的求解方法一般可以分成解析法、直接法。
1、 直接法
当目标函数较为复杂或者不能用变量显函数描述时，无法用解析法求必要条件。此时可采用直接搜索的方法经过若干次迭代搜索到最优点。这种方法常常根据经验或通过试验得到所需结果。对于一维搜索(单变量极值问题)，一维搜索介绍了黄金分割法即为0.618法（前提是存在单峰区间（所以在此时要提出使用进退法来得到该单峰区间））、二分法（效率最高，但是必须求取函数的导数不好求）、抛物线法（不推荐）；对于多维搜索问题(多变量极值问题)。
①黄金分割法是一维搜索方法，只针对一元函数来求解。黄金分割法的局限性在于要求是单峰函数，所以要先用进退法找到一个函数的其中一个单峰。步骤就是在区间[a,b]中取点x1=a+0.382(b-a)，x2=a+0.618(b-a)，如果f(x1)>f(x2),说明选取的步长太小，要扩大，令a=x1，x1=x2，再求新的x2;如果f(x1)<=f(x2)，步长选取过大，缩小步长，令b=x2，x2=x1，再求新的x1，循环。这样做每次可将搜索区间缩小0.382倍或0.618倍，直至缩为最小点。该算法为收敛速度很快的一维搜索方法。前提是要先利用进退法选择一个下降的单峰区间（即黄金分割法的单峰搜索区间）。
用进退法来确定下单峰区间，即黄金分割法的搜索区间。
2、 线性规划问题
单纯形法对于一般形式的线性规划问题，引入松弛变量或者剩余变量来化为标准型，可以将引入的变量作为初始基变量，该基变量对应的单位阵可以作为一个初始基可行解，然后进行单纯形法求解过程。如果线性规划是非退化的,则按照进基,离基迭代一次后,目标函数值有所下降.经过有限次迭代之后,一定可以得到一个基可行解,使得其所有判别数非负(得到最优解),或者其有一个判别数是负的,但对应列向量的所有分量非正(线性规划无最优解)。
而对于一般标准型的线性规划问题，约束方程组的系数矩阵中不包含单位阵，从而需要引入人工变量，构造一个单位矩阵，得到初始基可行解的方法。而利用单纯形法求解问题最
关键的环节是初始基可行解的求解，因为单纯形法的迭代过程是在已有一个初始基可行解的前提下进行的，而常用的方法有两种，一是大M法，二是两阶段法。
①大M单纯形法，其中M定义为一个比较大的数，通常比系数矩阵中的系数大一个数量级，与引入的人工变量结合构造辅助线性规划问题，从而也在系数矩阵中构造出了单位阵，对应的变量值作为一组初始基可行解进行单纯形法的迭代运算。在取得的最优解中人工变量全为零，即M的引入不影响目标函数的最优解。
②对偶单纯形法，单纯形法与对偶单纯形法是对偶的可以互相转换可以简化求解过程，而对偶之间只有最优解是相等的。单纯形法保证解可行，而对偶单纯形法保证对偶规划解可行。不同点在于对偶单纯形法的最优性判别是已知线性规划问题的基矩阵B及它所对应的基解的所有的判别数非负（即XB=B-1b>=0）时有最优解。对偶单纯形法并不是解对偶线性规划问题的单纯形法，而是根据对偶原理求解原线性规划问题的另一种单纯形法。
3、 无约束最优化问题
解析法只适用于目标函数有明显的解析表达式的情况。求解方法是：先求出最优的必要条件，得到一组方程或不等式，再求解这组方程或不等式，一般是用求导数的方法求出必要条件，通过必要条件将问题简化，因此也称间接法。这种方法针对的是无约束最优化，主要考虑下降算法包括最速下降法、newton法、共轭梯度法、拟newton法等。
最速下降法是求梯度的方法中效率最低的方法，它所提供的下降方向只是眼前下降最快的方向，用图形表示是一种锯齿形的路线，收敛速度慢，但是迭代计算量小、算法简单。它的原理就是沿着负梯度方向就是下降速度最快的方向，主要步骤就是取初值以及允许误差，求取函数的负梯度，若梯度范数小于允许误差，此时得到最优解。反之，得到此时的xk再用一维搜索求取合适的步长满足最小函数值方程，计算下一个xk+1值，求出梯度，循环计算最小函数值找到最优解。
最速下降法
基本思想：最速下降法是应用目标函数的负梯度方向作为每一步迭代的搜索方向，因为每一步都取负梯度方向的最优步长。使用条件：目标函数在迭代点处必须可微，且导数不为0。
特点：沿负梯度方向寻优的最优梯度法，其搜索路径实际上是成直角的锯齿形前进的，它是在某一点附近的最速下降方向，是一局部性质，开始时步长较大，收敛速度较快，但越接近极小点，步长越小，收敛速度越慢。
Newton法有很快的收敛速度，但它只是局部收敛的。所以提出共轭梯度法。如果在
共轭方向法中初始的共轭向量恰好取为初始点X0处的负梯度-g0，而以下各共轭方向Pk由第k迭代点Xk处的负梯度-gk与已经得到的共轭向量Pk-1的线性组合来确定，那么就构成了一种具体的共轭方向法。因为每一个共轭向量都是依赖于迭代点处的负梯度而构造出来的，所以称为共轭梯度法。产生的N个共轭方向
?p0??g0,???p??g??p,k?0,1,?,n?2,k?1kk?k?1
2?gk?1??k?,k?0,1,?,n?2.2?gk?
Newton法，算法流程如下：
(1) 取初始点x?1?，置精度要求?，置k?1
?k?k(2) 如果?f(x)??，则停止计算（x作为无约束问题的解）；否则求解线性方
程组?2f(x)d???f(x)，得到d?k??k??k?
?k?1?(3) 置x?x?k??d?k?，k?k?1，转(2)
牛顿迭代法是求方程根的重要方法之一。
约束最优化方法包括：Kuhn-Tucker 条件，既约梯度法及凸单纯行法，罚函数法及乘子法。罚函数法包括简单罚函数法、内点罚函数法和乘子法。
约束最优化方法：问题
S??x?g(x)?0,h(x)?0?
共轭梯度法的效果介于最速下降法和newton法之间，既能克服最速下降法的慢收敛性，又避免了newton法的计算量大和具有局部收敛性的缺点，因而是比较有效的算法。而且共轭方向法中的共轭梯度法，由于其存贮量小，可用来求解大规模（n较大）无约束优化问题。
基本思想：共轭梯度法是对最速下降法进行了修正的一种寻优方法，它是使搜索方向为共轭方向（将负梯度方向旋转一个角度），即每步的搜索方向都要对该步的负梯度方向做一个修正。
算法特点：共轭梯度法利用了各步搜索方向关于互为共轭的性质，它是利用梯度信息寻找共轭方向的；共轭梯度法具有二次终结的性质，这一点与共轭方向法相同，且其存储量小，不需存储矩阵，只需存储向量，在大规模问题中具有明显优势；但在实践中由于初始点选择不当或计算机的舍入误差等原因，会出现二次终结时精度不高的情况。此时，可继续迭代或重新开始新一轮共轭梯度法搜索或改用其他数值算法以满足高精度的要求。
无约束最优化的直接法；单纯形调优法（与线性规划中的不同，是针对非线性的问题的求解方法）。单纯形法求解控制系统参数优化。具体过程是给定寻优参数初值，然后利用matlab优化工具箱来构造误差目标函数（给定控制对象参数），再进行以下四步操作：反射，延伸，扩张和收缩。在此过程中有很多问题，开始不熟悉优化工具箱，所以无法建立误差目标函数；而且利用优化工具箱无法加入延迟环节；确定各个计算公式的系数（反射、扩大、收缩、压缩）的值是个大问题，对最坏值的判断很关键，什么条件下被取代的一系列的问题，最后得出最优解（但是得到的参数PI都非常大），则在simulink搭建该仿真系统（不知道应该如何建立被控对象的延迟环节的函数），将优化后的参数带入，观察分析所得曲线却能很好的满足系统性能优化。对于如此大的参数，在实际应用中肯定是会造成该系统剧烈振荡的不稳定的。
4、 约束最优化问题
约束最优化方法是指对于一般非线性规划模型的求解方法。惩罚函数法(包括外罚函数法和闸函数法)是一种有效的求解方法。而在构造罚函数的过程中，对于不等式约束和等式约束的构造方式是不一样的：对于不等式约束是用对数或者是倒数来构造，而对于等式约束则是求平方和来构造。步骤是：构造罚函数是为了将约束问题改变为无约束的问题进行求解，将问题简单化。内罚函数的步骤选取初始数据，给定初始内点（必须是可行的（即保证在可行域内），这样最终结果就能够保证是可行的）、初始罚因子、缩小系数、允许误差，k为迭代次数，构造罚函数，求解无约束问题（在求解无约束问题时用下降算法来求解即可，最有效的方法就是用拟牛顿法，而在实际时用的是最速下降法求解，问题是该如何给出约束条件，是将约束条件化作矩阵形式来构造罚函数），得到下一个解，判断终止条件是否满足，反之，则改变参数重新循环，直到得到最优解。与外罚函数法的唯一不同就是它的初始内点是在可行域内，保证了最优解的可行性。经过实践检验来看，罚函数法是一种比较有效的解约束最优化问题的方法。
范文二：遗传算法研究综述
罗九晖 统计学
优化是科学研究、工程技术以及经济管理等等领域的重要研究对象。优化问题广泛存在于各个领域中，学者对该问题的求解研究从未停止。
一、优化算法概述
优化问题是个古老的课题，目前，对优化问题的求解研究主要有三个方向：
（1）经典精确优化算法（数值最优化）
该算法主要用来处理目标函数以及约束条件有具体的解析表达式且存在导数的情况。它是先利用求导或者变分法得到极值点存在的必要条件（通常是一组方程或不等式），然后再求解细方程或不等式。
（2）经典近似优化算法（解析最优化）
通过最优解的性质建立迭代公式求最优解。
（3）智能算法（仿生算法、演化算法、进化算法）
数值优化算法和解析优化算法必须建立在目标函数存在导数的性质条件下进行，而在实际中碰到的很多优化问题的目标函数并不存在导数。因此，近年来，学者们以模拟物质变化过程或模拟生命体而设计的搜索方式为基础，提出各种算法，这类算法就是智能算法。
二、智能算法概述
智能是在任意给定的环境和目标条件下，正确制定决策和实现目
标的能力。智能优化算法则是将生物行为与计算机科学相结合，解决优化问题，制定最优化决策。目前，智能算法有以下几类：
（1）模拟退火算法
模拟退火算法是基于蒙特卡洛迭代求解策略的一种随机寻优算法,其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性(即:退火过程中,固体最终达到能量最小的状态,对应于优化算法最终找到了最优解)而设计的一种智能优化算法,该算法将固体的退火过程与优化问题的求解过程有机的结合起来,因此该算法被称为模拟退火算法。
（2）禁忌搜索算法
所谓禁忌就是禁止重复前面的工作。为了回避局部邻域搜索陷入局部最优的主要不足,禁忌搜索算法用一个禁忌表来记录已经达到过的局部最优点,在下一次的搜索中,利用禁忌表中的信息不再或有选择地搜索这些点,以此来跳出局部最优点。
（3）蚁群算法
蚂蚁在运动过程中,能够在它所经过的路径上留下该种物质,而且能够感知这种物质的存在及其强度, 并以此指导自己的运动方向。蚂蚁倾向于朝着该物质强度高的方向移动。因此,由大量蚂蚁组成的蚁群的集体行为便表现出一种信息正反馈现象:某一路径上走过的蚂蚁越多, 则后来者选择该路径的概率就越大。蚂蚁个体之间就是通过这种信息的交流达到搜索食物的目的。蚁群算法就是基于这样启发而设计出来的一种智能优化算法。
（4）粒子群优化算法
群体搜寻最优目标时,每个个体将参照当前群体中曾有的最优个体,和自身曾经达到的最优位置调整下一步的搜寻方向,这就是粒子群优化算法。
（5）人工神经网络
人工神经网络是对人脑的模拟。
（6）遗传算法
遗传算法是一种通过模拟生物界自然选择和遗传机制的随机搜索算法。
三、遗传算法概述
遗传算法是模拟自然界生物进化过程与机制，求解极值问题的一类自组织、自适应的人工智能技术，其基本思想是模拟自然界遗传机制和生物进化论而形成的一种过程搜索最优解的算法。
1.遗传算法执行过程
遗传算法是一种自适应全局优化搜索算法，使用二进制遗传编码，繁殖分为交叉和变异两个独立的步骤进行。其基本执行过程如下：
（1）初始化。确定种群规模 N、交叉概率 Pc、变异概率 Pm和置终止进化准则; 随机生成 N 个个体作为初始种群 X ( 0);置进化代数计数器 t←0。
（2）个体评价。计算或估价 X(t)中各个体的适应度。
（3）种群进化。
①选择 (母体 )。从X(t)中运用选择算子选择出 M /2对母
体 (M≥N )。
②交叉。对所选择的 M /2对母体, 依概率Pc执行交叉形成M个中间个体。
③变异。对M个中间个体分别独立依概率Pm执行变异, 形成M个候选个体。
④选择 (子代 )。从上述所形成的M 个候选个体中依适应度选择出N 个个体组成新一代种群X(t+ 1)。
（4）终止检验。如已满足终止准则, 则输出X(t+ 1)中具有最大适应度的个体作为最优解, 终止计算; 否则转（3）。
2.遗传算法理论研究
遗传算法追求的是当前群体产生比现有个体更好个体的能力，即遗传算法的可进化性，因此，遗传算法的理论和方法研究主要是围绕这一目标展开：
二进制编码用于多维、高精度数值优化问题时，不能很好地克服连续函数离散化时的映射误差，不能直接反映问题的固有结构，精度不高，并且个体长度大、占用内存多，学者们提出的改进方法主要有：a.格雷码编码；b.实数编码；c.十进制编码；d.非数值编码。
②适应度函数
在遗传算法中, 适应度是描述个体性能的主要指标, 根据适应度的大小对个体进行优胜劣汰。将目标函数转换成适应度函数一般应遵循两个原则: 适应度必须非负; 优化过程中目标函数的变化方向应
与群体进化过程中适应度函数变化方向一致。在使用遗传算法求解具体问题时，适应度函数的选择对算法的收敛性以及收敛速度的影响较大，针对不同的问题需要根据经验或算法来确定相应的参数。
③遗传算子
遗传算子主要包括三个方面：选择算子、交叉算子以及变异算子。常见的选择算子有：轮盘赌选择、排序选择、最有个体保存、随机联赛选择。交叉算子主要有：单点交叉、两点交叉、均匀交叉、算术交叉。变异操作主要有：基本位变异、均匀变异、二元变异以及高斯变异。
④参数选择
遗传遗传算法的参数选择一般包括群体规模、收敛判据、杂交概率和变异概率等。参数选择关系到遗传算法的精度、可靠性和计算时间等诸多因素, 并且影响到结果的质量和系统性能。因此, 在遗传算法中参数选择的研究非常重要。
⑤收敛性分析
遗传算法的收敛性通常是指遗传算法所生成的迭代种群收敛到某一稳定状态或其适应值函数的最大或平均值随迭代趋于优化问题的最优值。依不同的研究方法及所应用的数学工具, 收敛性分析可分为Vose-Liepins模型、Markov链模型和公理化模型等。
⑥欺骗问题
欺骗问题是遗传算法研究中的一个热点。根据模式定理可知, 低阶、短距的优模式在遗传子代中将以指数级增长, 最终, 不同的最
优模式相互组合, 从而得到最优解。但是, 对于欺骗问题, 复制算子受欺骗条件的迷惑,使最优低阶模式在组合后形成非最优高阶模式, 从而使遗传算法偏离最优解。由于欺骗问题的存在, 许多问题被归结为遗传算法难题, 使遗传算法的应用受到一定的局限。目前遗传算法的欺骗问题研究主要集中在三个方面: a.设计欺骗函数；b. 修改遗传算法以解决欺骗函数的影响；c. 理解欺骗函数对遗传算法的影响。
⑦并行遗传算法
并行算法的基本思想是将一个复杂的任务分解为多个较简单的子任务, 然后将各子任务分别分配给多个处理器并行执行求解。并行遗传算法可以分为四大类, 即全局并行遗传算法、粗粒度并行遗传算法、细粒度并行遗传算法和混合并行遗传算法。
3.遗传算法的应用
遗传遗传算法提供了一种求解复杂系统优化问题的通用框架,它不依赖于问题的具体领域, 广泛应用于多种学科领域。
其主要领域有：函数优化、组合优化、生产调度、自动控制、机器人学、图像处理、人工生命、遗传编程、机器学习以及数据挖掘等。
遗传算法作为一种非确定性的拟自然算法，为复杂系统的优化提供了一种新的方法，在许多学科领域具有广泛的应用价值。但有关算法的研究对已经研究较为深入的热点关注度较高，而对潜在研究热点和迅速发展起来的研究热点关注度不足。综观遗传算法在算法改进
及应用方面的研究现状，它已经成为目前计算智能领域的热点之一。但是还有一些不足，总体而言，以下几方面的工作尤其值得进一步探讨:
a.遗传算法与优化技术的融合。
b.算法的改进以及新型算法的提出。
c.混合遗传算法。
d.算法的并行化研究。
e.加强遗传算法与应用的结合。
f.面向多目标优化约束优化问题的算法及理论研究。
范文三：牛顿法
牛顿法作为求解非线性方程的一种经典的迭代方法，它的收敛速度快，有内在函数可以直接使用。结合着matlab可以对其进行应用，求解方程。
牛顿迭代法（Newton’s method）又称为牛顿-拉夫逊方法（Newton-Raphson method）,它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法,其基本思想是利用目标函数的二次Taylor展开，并将其极小化。牛顿法使用函数
f?x?的泰勒级数的前面几项来寻找方程f?x??0的根。牛顿法是求方程根的重要方法之一，其最大优点是在方程f?x??0的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根，此时非线性收敛，但是可通过一些方法变成线性收敛。
牛顿法的几何解释：
方程f?x??0的根x*可解释为曲线y?f?x?与x轴的焦点的横坐标。如下图：
设xk是根x*的某个近似值，过曲线y?f?x?上横坐标为xk的点Pk引切线，并将该切线与x轴的交点 的横坐标xk?1作为x*的新的近似值。鉴于这种几何背景，牛顿法亦称为切线法。
牛顿迭代公式：
（1）最速下降法：
以负梯度方向作为极小化算法的下降方向，也称为梯度法。
设函数f?x?在xk附近连续可微，且gk??f?xk??0。由泰勒展开式：
x?k?x??f???kx?
?x??f?kx???
可知，若记为x?xk??dk，则满足dkgk?0的方向dk是下降方向。当?取定后，TTdkgk的值越小，即?dkgk的值越大，函数下降的越快。由Cauchy-Schwartz不等
k，故当且仅当dk??gk时，dkgk最小，从而称?gk是最速下降
最速下降法的迭代格式为：
xk?1?xk??kg。k
（2）牛顿法：
设f?x?是二次可微实函数，xk?Rn，Hesse矩阵?2f?xk?正定。在xk附近用二次Taylor展开近似f，
f?xk?s??q?k??s??f?xk?s??f?xk?s?sT?2f?xk?s
s?x?xk，q?k??s?为f?x?的二次近似。将上式右边极小化，便得：
xk?1?xk????f?xk????f?xk?，
这就是牛顿法的迭代公式。
在这个公式里，步长因子?k?1。令Gk??2f?xk?,gk??f?xk?，则上式也可写成：
?1xk?1?xk?Gkgk
显然，牛顿法也可以看成在椭球范数?G下的最速下降法。
事实上，对于f?xk?s??f?xk??gks，
的解。该极小化问题依赖于所取的范数，当采取l2范sk是极小化问题 min
数时，sk??gk，所得方法为最速下降法。当采用椭球范数?Gk时，
sk??Gk?1gk，所得方法即为牛顿法。
对于正定二次函数，牛顿法一步即可达到最优解。而对于非二次函数，牛顿法并不能保证有限次迭代求得最优解，但由于目标函数在极小点附近近似于二次函数，故当初始点靠近极小点时，牛顿法的收敛速度一般是快的。
牛顿法收敛定理：
?f?x*??0，
设f?C?2?，如果?2f?x*?正定，且Hesse矩阵G?x?xk充分靠近x*，
满足Lipschitz条件，即存在??0，使得对所有i,j，有：
Gij?x??Gij?y???x?y，
其中Gij?x?是Hesse矩阵G?x?的?i,j?元素，则对一切k，牛顿迭代公式有意义，且所得序列?xk?收敛到x*，并且具有二阶收敛速度。
在实际求解中，当初始点远离最优解时，Hesse矩阵Gk不一定正定。牛顿方向不一定是下降方向，其收敛性不能保证。这说明恒取步长因子为1的牛顿法是
不合适的，应该在牛顿法中采用某种一维搜索来确定步长因子。但是应该强调，仅当步长因子??k?收敛到1时，牛顿法才是二阶收敛的。这时牛顿法的迭代公式为：
dk??Gk?1gk，xk?1?xk??kdk
其中?k是一维搜索产生的步长因子。
带步长因子的牛顿法
步1 选取初始数据，取初始点x0，终止误差??0，令k:?0。 步2 计算gk。若gk??，停止迭代，输出xk，否则进行步3. 步3 解方程组构造牛顿方向，即解Gkd??gk，求出dk。 步4 进行一维搜索，求?k使得
f?xk??kd?k?min?
令xk?1?xk??kdk,k:?k?1
牛顿法的计算步骤：
选定初始近似值x0，计算f0?f?x0?，f0'?f'?x0?。 步骤2
迭代一次，得新的近似值x1， 'f0
f1?f?x1?，f1'?f'?x1?。
如果x1满足???1，或f1??2，则终止迭代，以x1作为所求的根；否则转步骤4. 此处，?1,?2是允许误差，而：
?x1?x0,当x1?C时；?
,当x?C时，1?x1?
其中C是取绝对误差或相对误差的控制常数，一般可取C=1。
如果迭代次数达到预先制定的次数N，或者f1'=0，则方法失败；否则以?x1,f1,f1'?代替?x0,f0,f0'?，转步骤2继续迭代。
4 牛顿法的改进
在优化问题的计算中，牛顿迭代法是非线性方程求根中一种很实用的方法，它
具有简单的迭代格式和较快的收敛速度，它二次收敛到单根，线性收敛到重根。数值计算中的经典
牛顿法面临的主要问题是Hesse矩阵Gk不正定，这时候二次模型不一定有极小点，甚至没有平稳点。当Gk不定时，二次模型函数是无界的。
Goldstein和Price（1967）提出当Gk非正定时，采用最速下降方向?gk。Goldfeld等人（1966年）提出了一种修正方法，即使牛顿方向偏向最速下降方向?gk。更明确的说，就是将模型的Hesse矩阵Gk改变成Gk?vkI，其中vk?0，使得Gk?vkI正定。
该算法的框架如下：
给出初始点x0?Rn。第k步迭代为：
（1）令Gk?Gk?vkI，其中：
vk?0，如果Gk正定；vk?0,否则。
（2）计算Gk的Cholesky分解，Gk?LkDkLTk。 （3）解Gkd??gk得dk。 （4）令xk?1?xk?dk
牛顿法的优点是收敛快，缺点一是每步迭代要计算f?xk?及f'?xk?，计算量较大且有时f'?xk?计算较困难，二是初始近似值x0只在根x*附近才能保证收敛，如x0给的不合适可能不收敛。
为克服这两个缺点，通常可以下述两个方法： （1）简化牛顿法，也称平行弦法。其迭代公式为，
xk?1?xk?Cf?xk?,C?0,1,?
迭代函数??x??x?Cf?x?。
（2）牛顿下山法：牛顿法的收敛性依赖于初始值x0的选取。如果x0偏离所求根
x*较远，则牛顿法可能发散。为防止迭代发散，对迭代过程再附加一项要求，即
具有单调性：
f?xk?1??f?xk?
满足这项要求的算法称下山法。将牛顿法与下山法结合起来使用，即在下山法保证函数值稳定下降的前提下，用牛顿法加快收敛速度。
公式如下：
与前一步的近似值，适当加权平均作为新的改进值 f'xk
xk?1??xk?1??1???xk，其中??0????称为下山因子，上式即为：
,?k?0,1,??，称为牛顿下山法 f'xk
范文四：牛顿法简介
摘要：牛顿法作为求解非线性方程的一种经典的迭代方法，它的收敛速度快，有内在函数可以直接使用。结合着matlab可以对其进行应用，求解方程。
关键词：牛顿法，Goldfeld等人修正牛顿法, matlab实现
迭代法也称辗转法，是一种不断用变量的旧值递推新值的过程，跟迭代法相
对应的是直接法，即一次性解决问题。但多数方程不存在求根公式，因此求解根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。
迭代算法是用计算机解决问题的一种基本方法。它利用计算机运算速度快、适合做重复性操作的特点，让计算机对一组指令（或一定步骤）进行重复执行，在每次执行这组指令（或这些步骤）时，都从变量的原值推出它的一个新值。
利用迭代算法解决问题，需要做好以下3个方面的工作：
1，确定迭代变量。在可以用迭代算法解决的问题中，至少存在一个直接或间接地不断由旧值递推出新值的变量，这个变量就是迭代变量。
2，建立迭代关系式。所谓迭代关系式，是指如何从变量的前一个值推出下一个值的公式（或关系）。迭代关系式的建立是解决迭代问题的关键，通常可以使用递推或倒推的方法来完成。
3，对迭代过程进行控制。在什么时候结束迭代过程？这是编写迭代程序必须 考虑的问题。不能让迭代过程无休止地重复下去。迭代过程的控制通常可分为两种情况：一种是所需的迭代次数是个确定的值，可以计算出来；另一种是所需的迭代次数无法确定。对于前一种情况，可以构建一个固定次数的循环来实现对迭代过程的控制；对于后一种情况，需要进一步分析出用来结束迭代过程的条件。
牛顿迭代法（Newton’s method）又称为牛顿-拉夫逊方法（Newton-Raphson method）,它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法,其基本思想是利用目标函数的二次Taylor展开，并将其极小化。牛顿法使用函数
f?x?的泰勒级数的前面几项来寻找方程f?x??0的根。牛顿法是求方程根的重要方法之一，其最大优点是在方程f?x??0的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根，此时非线性收敛，但是可通过一些方法变成线性收敛。
牛顿法的几何解释：
方程f?x??0的根x*可解释为曲线y?f?x?与x轴的焦点的横坐标。如下图：
设xk是根x*的某个近似值，过曲线y?f?x?上横坐标为xk的点Pk引切线，并将该切线与x轴的交点 的横坐标xk?1作为x*的新的近似值。鉴于这种几何背景，牛顿法亦称为切线法。
牛顿迭代公式：
（1）最速下降法：
以负梯度方向作为极小化算法的下降方向，也称为梯度法。
设函数f?x?在xk附近连续可微，且gk??f?xk??0。由泰勒展开式：
x?k?x??f???kx?
?x??f?kx???
可知，若记为x?xk??dk，则满足dkgk?0的方向dk是下降方向。当?取定后，TTdkgk的值越小，即?dkgk的值越大，函数下降的越快。由Cauchy-Schwartz不等
k，故当且仅当dk??gk时，dkgk最小，从而称?gk是最速下降
最速下降法的迭代格式为：
xk?1?xk??kg。k
（2）牛顿法：
设f?x?是二次可微实函数，xk?Rn，Hesse矩阵?2f?xk?正定。在xk附近用二次Taylor展开近似f，
f?xk?s??q?k??s??f?xk?s??f?xk?s?sT?2f?xk?s
s?x?xk，q?k??s?为f?x?的二次近似。将上式右边极小化，便得：
xk?1?xk????f?xk????f?xk?，
这就是牛顿法的迭代公式。
在这个公式里，步长因子?k?1。令Gk??2f?xk?,gk??f?xk?，则上式也可写成：
?1xk?1?xk?Gkgk
显然，牛顿法也可以看成在椭球范数?G下的最速下降法。
事实上，对于f?xk?s??f?xk??gks，
的解。该极小化问题依赖于所取的范数，当采取l2范sk是极小化问题 min
数时，sk??gk，所得方法为最速下降法。当采用椭球范数?G时，
sk??Gk?1gk，所得方法即为牛顿法。
对于正定二次函数，牛顿法一步即可达到最优解。而对于非二次函数，牛顿法并不能保证有限次迭代求得最优解，但由于目标函数在极小点附近近似于二次函数，故当初始点靠近极小点时，牛顿法的收敛速度一般是快的。
牛顿法收敛定理：
?f?x*??0，
设f?C?2?，如果?2f?x*?正定，且Hesse矩阵G?x?xk充分靠近x*，
满足Lipschitz条件，即存在??0，使得对所有i,j，有：
Gij?x??Gij?y???x?y，
其中Gij?x?是Hesse矩阵G?x?的?i,j?元素，则对一切k，牛顿迭代公式有意义，且所得序列?xk?收敛到x*，并且具有二阶收敛速度。
在实际求解中，当初始点远离最优解时，Hesse矩阵Gk不一定正定。牛顿方向不一定是下降方向，其收敛性不能保证。这说明恒取步长因子为1的牛顿法是
不合适的，应该在牛顿法中采用某种一维搜索来确定步长因子。但是应该强调，仅当步长因子??k?收敛到1时，牛顿法才是二阶收敛的。这时牛顿法的迭代公式
dk??Gk?1gk，xk?1?xk??kdk
其中?k是一维搜索产生的步长因子。
带步长因子的牛顿法
步1 选取初始数据，取初始点x0，终止误差??0，令k:?0。 步2 计算gk。若gk??，停止迭代，输出xk，否则进行步3. 步3 解方程组构造牛顿方向，即解Gkd??gk，求出dk。 步4 进行一维搜索，求?k使得
f?xk??kd?k?min?
令xk?1?xk??kdk,k:?k?1
牛顿法是非先线性方程求根中一种很实用的方法，它具有简单的迭代格式和较
快的收敛速度，它二次收敛到单根，线性收敛到重根。数值计算中的经典迭代算法（SN）：
f?xn?xn?1?xn?',n?0,1,2?
fxnxex?1?0
使用牛顿法求解。
这里牛顿公式为，xk?1?xk?
1?xk取迭代初值x0?0.5，迭代结果列于下表：
k012xk0.50.16
本例所给方程实际上等价于x?e?x。若使用不动点迭代到同一精度要迭代17次，可见牛顿法的收敛速度很快。
牛顿法的计算步骤：
选定初始近似值x0，计算f0?f?x0?，f0'?f'?x0?。 步骤2
迭代一次，得新的近似值x1， f0'
f1?f?x1?，f1'?f'?x1?。
如果x1满足???1，或f1??2，则终止迭代，以x1作为所求的根；否则转步骤4. 此处，?1,?2是允许误差，而：
?x1?x0,当x1?C时；?
,当x?C时，1?x1?
其中C是取绝对误差或相对误差的控制常数，一般可取C=1。
如果迭代次数达到预先制定的次数N，或者f1'=0，则方法失败；否则以?x1,f1,f1'?代替?x0,f0,f0'?，转步骤2继续迭代。
4 牛顿法的改进
在优化问题的计算中，牛顿迭代法是非线性方程求根中一种很实用的方法，它
具有简单的迭代格式和较快的收敛速度，它二次收敛到单根，线性收敛到重根。数值计算中的经典
牛顿法面临的主要问题是Hesse矩阵Gk不正定，这时候二次模型不一定有极小点，甚至没有平稳点。当Gk不定时，二次模型函数是无界的。
Goldstein和Price（1967）提出当Gk非正定时，采用最速下降方向?gk。Goldfeld等人（1966年）提出了一种修正方法，即使牛顿方向偏向最速下降方向?gk。更明确的说，就是将模型的Hesse矩阵Gk改变成Gk?vkI，其中vk?0，使得Gk?vkI正定。
该算法的框架如下：
给出初始点x0?Rn。第k步迭代为： （1）令Gk?Gk?vkI，其中：
vk?0，如果Gk正定；vk?0,否则。
（2）计算Gk的Cholesky分解，Gk?LkDkLTk。 （3）解Gkd??gk得dk。 （4）令xk?1?xk?dk
牛顿法的优点是收敛快，缺点一是每步迭代要计算f?xk?及f'?xk?，计算量较大且有时f'?xk?计算较困难，二是初始近似值x0只在根x*附近才能保证收敛，如x0给的不合适可能不收敛。
为克服这两个缺点，通常可以下述两个方法： （1）简化牛顿法，也称平行弦法。其迭代公式为，
xk?1?xk?Cf?xk?,C?0,1,?
迭代函数??x??x?Cf?x?。
（2）牛顿下山法：牛顿法的收敛性依赖于初始值x0的选取。如果x0偏离所求根
x*较远，则牛顿法可能发散。为防止迭代发散，对迭代过程再附加一项要求，即
具有单调性：
f?xk?1??f?xk?
满足这项要求的算法称下山法。将牛顿法与下山法结合起来使用，即在下山法保证函数值稳定下降的前提下，用牛顿法加快收敛速度。
公式如下：
xk?1?xk?f'x与前一步的近似值，适当加权平均作为新的改进值
xk?1??xk?1??1???xk，其中??0????称为下山因子，上式即为：
xk?1?xk??',?k?0,1,??，称为牛顿下山法
5.MTALAB牛顿法实现：
MTALAB程序： R=[2 1; 1 3]; P=[6;4]; W=[3;2]; u=0.1;
ww=zeros(2,201); ww(:,1)=W; for i=1:200
deta=R*W-P;
W=W-u*eye(2,2)/R*
ww(:,i+1)=W; end
[W0,W1] = meshgrid(0:0.05:4,-1:0.05:2);
Z=2*W0.^2+2*W0.*W1+3*W1.^2-12*W0-8*W1+36; [X,Y] = contour(W0,W1,Z,20,'LineWidth',2); xlabel('W0');ylabel('W1');zlabel('Z'); clabel(X,Y,'manual');
plot(ww(1,:),ww(2,:),'LineWidth',2);
参考文献：
1，袁亚湘，孙文瑜. 最优化理论与方法[M].北京：科学出版社
2，张光澄. 非线性最优化计算方法[M].北京：高等教育出版社，2005. 3，邓乃扬，无约束最优化计算方法，科学出版社，北京，1982. 4，胡毓达，非线性规划，高等教育出版社，北京，1990.
5，席少霖，赵风治，最优化计算方法，上海科学技术出版社，上海，1983. 6，E．W．Cheney and A.A.Goldstein, “Newton’s method for convex program-ming and Chebyshev approximation”, Numerische Mathematik, 11 (8.
7, R. Bryd and J. Nocedal, “An analysis of reduced Hessian methods for constrained optimization”, Math. Prog.,49(3.
8, C. A. Bostaris and D. H. Jacobson, “A Newton-type curvilinear search method for optimization”, J. Math. Anal. Appl.,54(9.
范文五：最优化方法
（The Methods of Optimization）
20世纪的30年代末期，由于军事和工业生产发展的需要，提出了一些不能用古典的微分法和变分法解决的最优化问题，在许多学者和广大科技工作者的共同努力下，逐渐产生、发展和形成了一些新的数学方法——最优化方法。
最优化方法是运筹学的一个重要的组成部分，在自然科学、社会科学、生产实际、工程设计和现代化管理中有着重要的实用价值，因此，在最近的40多年中得到了十分迅速的发展和广泛的应用。
利用最优化的理论和方法解决生产实际和自然科学中的具体问题，一般分为两个步骤：
(1)建立数学模型。即对所要解决的具体问题进行分析研究，加以简化，形成最优化问题。
(2)进行数学加工和求解。这个过程主要包括以下各项工作：将所得的最优化问题进行整理和变换，使之成为易于求解的形式；选择或提出解决该问题的适当的计算方法；编制计算程序并上机计算；分析计算结果，看其是否符合实际。
如：运输问题，生产计划，合理下料，优化设计，投资决策等
近代解决最优化问题的方法，大致可分为两类。
(1)间接最优化(或解析最优化)方法，就是把所研究的问题(例如，物理、力学、化学和工程问题)用数学方程描述出来，然后用解析方法求其最优解。前面描述的问题就可以用这一类方法来求解。
(2)直接最优化(或试验最优化)方法。在某些情况下，所研究对象本身的机理尚不清楚，无法用数学方程描述，这时可设法在数学原理的指导之下，直接通过少量试验，根据试验结果的比较而求其最优解。这种方法被称为直接最优化方法，它可以用来解没有解析表达式或解析式子很复杂的最优化问题。优选法就是解决这一类问题的重要的数学方法之一。
二、最优化问题的提法和基本概念
1．最优化问题的数学描述
一般的最优化问题的提法是：在约束条件
gi(x)≤0，i＝1，2，,,，m
hi(x)=0，i=m+1，,,，p
之下，求向量x，使函数f(x)取极小值(或极大值)。这里f(x)称为目标函数，gi(x)≤0称为不等式约束条件，hi(x)=0称为等式约束条件，x=(x1，x2，,,，xn)T称为设计变量或决策变量。今后我们把上述的最优化问题简写为
?minf(x)?tgi(x)?0i?1,2,?,m
?h(x)?0i?m,m?1,?p?i
令R={x |gi(x)≤0，i=l，2，,,，m；hi(x)=0，i=m+1，,,，p}，称R为问题(*)的可行集或容许集，称x∈R为可行解或容许解。
2．几个概念
（1） 最优解（点），全局最优解（点）
（2） 局部最优解，
求解最优化问题就是要求全局最优解。
（3） 凸集，凸函数，凸规划
3．两个定理
Th1：设(*)中f(x)，gi(x)，hi(x)在Rn上连续，则(*)的可行集R为闭集。 Th2：设f(x) ∈C1，x*为内点，若x*为f(x)的一个极值点，则?f(x*)?0.
称x*为稳定点或驻点。
4．二维最优化问题的几何意义
?minz?f(x1,x2) ?tgi(x1,x2)?0?s..
分析：z?f(x1,x2)在三维欧式空间中表示一张曲面，f(x1,x2)?C称为等高线或等值线，让C依次取一系列的数值，就得到一族等值线，
5．最优化问题分类
（1） Linear Programming（LP）
（2） Quadratic Programming（QP）
（3） Nonlinear Programming（NLP）
（4） Integer Programming（IP）
（5） Geometric Programming
（6） Multiobjective Programming
三、线性规划问题的解法
（1） 单纯形方法
（2） 线性规划的多项式算法
1979年，苏联数学家哈奇阳给出，计算复杂性O(n6L2)
1984年，印度数学家（旅美）卡玛卡尔给出，计算复杂性O(n3.5L2)
四、无约束优化方法（解决无约束非线性规划问题）——迭代法
1．思想：首先给出f(x)的极小点x*的一个初始估计x（0）(称为初始点)，然后，计算一系列的点,,,,，希望该点列的极限就是f(x)的一个极小点
怎样产生这个点列呢?也就是说在有了点x（k）之后，如何求得点x（k+1）呢? 易见可有x（k+1）＝x（k）+λks（k），其中s
（k）（k）是一个方向向量，λk是一个正实数(称为步长)。从而得到一个序列{ x
的差别就在于选取方向}，称之为极小化序列。而各种不同算法s（k）和步长λk的方法不同，特别是选取
（k）s（k）的方法不同。那么，应该按照什么原则来选取s和λk呢?
(1)要求极小化序列对应的函数值是逐次减少的，至少是不增的，即
f(x（0）)≥f(x（1）)≥,,≥f(x（k）)≥,,
（k）具有这种性质的算法，称为下降递推算法或下降算法。
(2)要求极小化序列具有这样的性质，或者序列{ x
的极小点，或者{ x（k）}中的某一点本身是f(x)}有一个极限，它是函数f(x)的一个极小点。具有上述性质的算法称为收敛的。这个要求是很基本的，因为如果极小化序列不收敛于极小点，那么，这个序列就没有什么用处了。但是这个要求却并不容易做到。
因此，当提出一种算法时，往往要对其收敛性进行研究，但这个工作是困难的。事实上有许多方法在经过长时间的实际应用之后，其收敛性才得到证明；有的算法，尽管其收敛性尚未得到证明，但在某些实际问题的应用中显示出是很有效的，因而人们仍在不断地使用它。另一方面，任何一种算法，也只能对满足一定条件的目标函数来说是收敛的，但是，当应用于不满足这些条件的函数时，有时也能收到很好的效果。
2．一维搜索
步长λk由求φ(λ)=f(x（k）+λs（k）)的极小值确定的方法称为精确一维搜索或简称一维搜索。
分为两类：不用导数的方法：0.618法，分数法，“成功—失败”法；使用导数的方法：Newton法，抛物线法，三次插值法
（1） 牛顿法
优点：收敛速度快。缺点：需要计算二阶导数，初始点必须选好。
（2） 抛物线法
（3） 三次插值法
（4） 平分法（对分法）
（5）“成功——失败”法
（6）0.618法
（7）不精确一维搜索
3．求多变量函数极值的基本下降法
（1） 最速下降法
（2） Newton法
（3） 阻尼Newton法
4．共轭方向法和共轭梯度法
5．变尺度法
6．直接搜索法
最优化方法结课作业
1、几种方法比较
无约束优化：不对定义域或值域做任何限制的情况下，求解目标函数的最小值。这是因为实际应用中，许多情形被抽象为函数形式后均为凸函数，对于凸函数来说局部最小值点即为全局最小值点，因此只要能求得这类函数的一个最小值点，该点一定为全局最小值。（直接法：又称数值方法，它只需计算目标函数驻点的函数数值，而不是求其倒数，如坐标轮换法，单纯型法等。间接法：又称解析法，是应用数学极值理论的解析方法。首先计算出目标函数的一阶或一阶、二阶导数，然后根据梯度及海赛矩阵提供的信息，构造何种算法，从而间接地求出目标函数的最优解，如牛顿法、最速下降法共轭梯度法及变尺度法。）
在优化算法中保证整体收敛的重要方法就是线搜索法与信赖域法,这两种算法既相似又有所不同。根据不同的线搜索准则就延伸出不同的线搜索算法,譬如比较常见和经典的最速下降法,牛顿法,拟牛顿法以及共辄梯度法等。
一维搜索又称线性搜索(Line Search),就是指单变量函数的最优化,它是多变量函数最优化的基础,是求解无约束非线性规划问题的基本方法之一。
一维搜索技术既可独立的用于求解单变量最优化问题,同时又是求解多变量最优化问题常用的手段,虽然求解单变量最优化问题相对比较简单,但其中也贯穿了求解最优化问题的基本思想。由于一维搜索的使用频率较高,因此努力提高求解单变量问题算法的计算效率具有重要的实际意义。
在多变量函数的最优化中,迭代格式Xk+1=Xk+akdk其关键就是构造搜索方向dk和步长因子ak
设Φ(a)=f(xk+adk)
这样从凡出发,沿搜索方向dk,确定步长因子ak,使Φ(a)<Φ(0)的问题就是关于步长因子a的一维搜索问题。其主要结构可作如下概括:首先确定包含问题最优解的搜索区间，然后采用某种分割技术或插值方法缩小这个区间，进行搜索求解。
一维搜索通常分为精确的和不精确的两类。如果求得ak使目标函数沿方向dk达到极小,即使得f (xk+akdk)=min f (xk+ adk)
( a>0)则称这样的一维搜索为最优一维搜索,或精确一维搜索,ak叫最优步长因子;如果选取ak使目标函数f得到可接受的下降量,即使得下降量f (xk)一f (xk+akdk)>0是用户可接受的,则称这样的一维搜索为近似一维搜索,或不精确一维搜索,或可接受一维搜索。由于在实际计算中,一般做不到精确的一维搜索,实际上也没有必要做到这一点,因为精确的一维搜索需要付出较高的代价,而对加速收敛作用不大,因此花费计算量
较少的不精确一维搜索方法受到了广泛的重视和欢迎。
精确一维搜索,作为一种理想的状态,虽然在实际计算中被采用的概率较之不精确一维搜索要小,但有关精确一维搜索技术的研究历史悠久成果相当丰富,方法众多,其理论体系也相对比较完备,对其进行进一步的研究仍有着重要的理论意义和现实意义。通常我们根据算法中有无使用导数的情况,将精确一维搜索算法分为两大类:一类是不用函数导数的方法,这其中就包括二分法(又称作对分法或中点法)、0.618法(黄金分割脚、Fibonacci法(分数法)、割线法、成功一失败法等;另一类是使用函数导数的方法,包括经典的Newton法、抛物线法以及各种插值类方法等。
（1）在不用导数的方法中,二分法、0.618法(黄金分割法)以及Fibonacci法均是分割方法,其基本思想就是通过取试探点和进行函数值比较,使包含极小点的搜索区间不断缩短,当区间长度缩短到一定程度时,区间上各点的函数值均接近函数的极小值,从而各点均可看作极小点的近似。分割类方法仅需计算函数值,因此使用的范围较广,尤其适用于非光滑及导数表达式复杂或写不出等情形。
二分法是一种最简单的分割方法,每次迭代都将搜索区间缩短一半,故二分法的收敛速度是线性的,收敛比为0.5,收敛速度较慢。其优势就是每一步迭代的计算量都相对较小,程序简单,而且总能收敛到一个局部极小点。
黄金分割法是一种针对目标函数是单峰函数亦即目标函数为凸的情形的分割类方法,因其不要求函数可微,且每次迭代只需计算一个函数值,程序简单容易实现而被广泛采用。由于黄金分割法是以等比例τ=0.618分割缩小区间的,因此它是一种近似最优方法。针对在实际中遇到的目标函数往往不是单峰函数的情况,HPonfiger(1976)提出了.0618法的改进形式,即在缩小区间时,不只是比较两个内点处的函数值,而是对两内点及其两端点处的函数值进行综合比较,以避免搜索得到的函数值反而比初始区间端点处的函数值大的情况。经过这样的修改,算法比.0618法要更加可靠。
Fibonacci法是另一种与.0618法相类似的分割类方法,两者的主要区别在于Fibonacci法搜索区间的缩短比率不是采用黄金分割数τ,而是采用Fibonacci数列。在使用Fibonacci法时,通常是由用户给定最终区间长度的上限,从而确定探索点的个数,逐步进行搜索。通过对Fibonacci数列进行分析表明,在迭代次数n趋于无穷的情形。Fibonacci法与.0618法的区间缩短率相同,因而Fibonacci法的收敛速度也是线性的,收敛比也是黄金分割数τ。可以证明,Fibonacci法是分割方法求解一维极小化问题的最优策略,而0.618法只是近似最优的,但因0.618法不必预先知道探索点的个数,程序实现更加容易,因而应用也更加广泛。
抛物线法也可称作三点二次插值法,其基本思想与下面要叙述的牛顿法相同,也是用二次函数近似目标函数,并以其极小点去近似目标函数的极小点,不同之处是牛顿法是利用目标函数fx()在x0处的二阶Tyalor展式来逼近f(x),而抛物线法则是利用目标函数fx()在三个点x0,xl,xZ处的函数值构造一个二次函数作为其近似。一般地,抛物线法并不能保证算法一定收敛,在迭代过程中有可能会出现相邻迭代点xk，xk+1充分接近且xk+1并非函数近似极小点的退化情况。但在己知迭代点列收敛到目标函数极小点的情况,可以证明:在一定的条件下,抛物线法是超线性收敛的,收敛的阶约为1.3。
割线法与分割法类似,也是通过取试探点和进行函数值比较,使包含所求点的搜索区间缩小,但试探点的取法与分割法不同,它是选取连接两个端点的线段与横轴的交点作为试探点。割线法不能保证每次都使搜索区间缩小一定的比例,因而不具有全局线性收敛性,但是它却利用了函数的一些性质。在函数接近线性时,它是非常快的。如果函数本身是线性函数时,它可以一步找到解。
(ii)一般地,使用导数的方法通常包括牛顿法、插值法等,其中插值法又有一点二次插值法(牛顿法)、二点二次插值法)、三点二次插值法以及三次插值法、有理插植法等常用方法。
求一维无约束极小化问题的牛顿法是从计算方法中方程求根的牛顿法演化而来的,其基本思想是用目标函数f (x)在己知点x0处的二阶Tylor展式g (x)来近似代替目标函数,用g (x)的极小点作为f (x)的近似极小点,迭代公式是
牛顿法的优点是收敛速度快,具有局部二阶收敛速度;缺点是要在每个迭代点处计算函数的二阶导数值,增加了每次迭代的工作量,而且它要求迭代初始点要选的好,也就是说初始点不能离极小值太远,在极小点未知的情况下,做到这一点是很困难的,这就限制了算法的应用范围,导致算法不实用。事实上,牛顿法也是插值类方法的一种。插值法是一类重要的一维搜索方法,其基本思想是在搜索区间内不断用低次(通常不超过三次)多项式来逼近目标函数,并用插值多项式的极小点去近似目标函数的极小点。实践表明,在目标函数具有较好的解析性质时,插值方法比直接方法(如.0618或Fibonacci法)效果更好。
所谓不精确一维搜索方法是指应用各种可接受的步长选择律的线性搜索方法。常用的不精确一维搜索算法包括利用简单准则的后退方法、经典的Armijo-Goldstein方法、Wolfe-Powell方法和强Wolfe-Powell方法、以及其后发展起来的利用Curry-Altman步长律、改进的Curry-Altman步长律、Danilin-Pshenichuyi步长律、De Leone-Grippo步长律、Backtracking步
长律等的各种方法
坐标轮换法：可靠性较高，算法效率太低，操作方便，一般只用于低维问题，n<10 鲍威尔法：可靠性高，算法效率较高，操作较复杂，一般适用于n<10~20的问题 梯度法：可靠性较高，算法效率低，操作方便用于低维、低精度的问题。 牛顿法：可靠性低，算法效率高，操作不方便，很少用。
变尺度法：可靠性高(BFGS比DFP更高)，算法效率高,使用较复杂,适用于高维问题
如前面所提到的，最速下降法在最初几步迭代中函数值下降很快外，总的说来下降的并不快，且愈接近极值点下降的愈慢。因此，应寻找使目标函数下降更快的方法。牛顿法就是一种收敛很快的方法，其基本思路是利用二次曲线来逐点近似原目标函数，以二次曲线的极小值点来近似原目标函数的极小值点并逐渐逼近改点。
一维目标函数f(x) 在x(k)点逼近用的二次曲线（即泰勒二次多项式）为
?(x(k))?f(x(k))?f?(x(k))(x?x(k))?
此二次函数的极小点可由??(x
f??(x(k))(x?x(k))2 2
对于n维问题，n为目标函数f(X)在X
点逼近用的二次曲线为：
(k)(k)(k)T2(k)(k)
?(X(k))?f(x(k))????f(X)??.[X?X]?[X?X].?f(X).[X?X]
令式中的Hessian?f(X
)?H(X(k))，则上式可改写为：
(k)(k)(k)T(k)(k)
??(X(k))?f(x(k))???f(X).[X?X]?[X?X].H(X).[X?X]??
当??(X)?0时可求得二次曲线?(X)的极值点，且当且仅当改点处的Hessian矩阵为正定时有极小值点。
由上式得：
??(X)??f(X(k))?H(X(k))[X?X(k)]
令??(X)?0，则?f(X若H(X
)?H(X(k))[X?X(k)]?0
H(X)?)为可逆矩阵，将上式等号两边左乘???，则得
??H(X)?f(X)?I[X?X]?0 n??
???H(X)???f(X)
当目标函数f(X)是二次函数时，牛顿法变得极为简单、有效，这时H(X常数矩阵，式
(k)(k)(k)T(k)(k)
??(X(k))?f(x(k))???f(X).[X?X]?[X?X].H(X).[X?X]??
?确表达式，而利用式X?X(k)??H(X)?f(X)作一次迭代计算所得的X就是最优??
点X。在一般情况下f(X)不一定是二次函数，则不能一步就能求出极小值，即极小值点
?不在??H(X)?f(X)方向上，但由于在X??
点附近函数?(X)与f(X)是近似的，
?所以这个方向可以作为近似方向，可以用式X?X(k)??H(X)?f(X)求出点X作??
为一个逼近点X公式：
。这时式X?X
???H(X)???f(X)可改成牛顿法的一般迭代
?X(k?1)?X(k)??H(X)?f(X) ??
?式中??H(X)?f(X)称为牛顿方向，通过这种迭代，逐次向极小值点X逼近。 ??
牛顿法是基于多元函数的泰勒展开而来的，它将???H(X)???f(X)作为探索方
向，因此它的迭代公式可直接写出来：
?X(k?1)?X(k)??H(X)?f(X)??
3、牛顿法实例分析
例：试用牛顿法求目标函数f(X)?x1的极小值点 ?25x2
??x??2x??4?(k)
?f(X)??1???1????
??f??50x2??100???x??2?
H(X)??f(X)??2
?X(k?1)?X(k)??H(X)?f(X)??
?2f??x1?x2??20????050? 2??f??
?x2?X?X(k)
?2?1?500??4??0?
?????02??100???0?2100?????????0?
f(X(k?1))?0，故X(k?1)???为极小点
例：试用牛顿法求目标函数f(X)?x1?x2?x1x2?10x1?4x2?60的极小点。
??x??2x?x?10???10?(k)
?f(X)??1???12??????f??2x2?x1?4???4?
H(X(k))??2f(X(k))??2
?2f??x1?x2??2?1?????12? 2??f??
?x2?X?X(k)
(k))??f(X)??1
?0?1?21???10??8?
???????????
?0?3?12???4??6?
X(k?1)???即为最小点X*，只迭代一次就达到了X*。
（1） 给定初始点x(0)，及精度??0，令k?0；
（2） 若?f(X)??，停止，极小点为x(k)，否则转步骤（3）；
2(k)(k)(k)(k)
???（3） 计算?，令?f(X)s??H(X)?f(X)； ????
（4） 令x(k?1)?x(k)?s(k)，k?k?1，转步骤（2）。
牛顿法算法的MATLAB程序
调用格式：[x,minf]?minNT(f,x0,var,eps) 其中，f：目标函数
x0：初始点
var：自变量向量
x：目标函数取最小值时的自变量值
minf：目标函数的最小值 牛顿法的MATLAB程序代码如下： function [x,minf]=minNT(f,x0,var,eps) %目标函数:f; %初始点:x0;
%自变量向量:
%目标函数取最小值时的自变量值:x; %目标函数的最小值: if nargin==3
eps=1.0e-6; end tol=1;
x0=transpose(x0); while tol>eps
gradf=jacobian(f,var);
jacf=jacobian(gradf,var);
%雅克比矩阵
v=Funval(gradf,var,x0);
tol=norm(v);
pv=Funval(jacf,var,x0);
p=-inv(pv)*transpose(v);
x0=x1; end x=x1;
minf=Funval(f,var,x);
范文七：《最优化原理与方法》复习题
一．美佳公司计划制造 I、II 两种家电产品。已知各制造一件时分别占用设备 A、B 的台时、调试时间、调试工序每天可用于这种家电的能力、各售出一件时的获利情况，如下表所示。
（1）试写出上述问题的数学规划模型； （2）给出求解该模型的lingo代码。
二．将下列线性规划化为标准型，并列出初始单纯形表。
miny??3x1?4x2?2x3?5x4,
4 x1?x2?2x3?x4??2,
x1?x2?3x3?x4?14,
?2x1?3x2?x3?2x4?2,
x1,x2,x3?0,x4无约束;
三．已知线性规划问题
x1?2x2?3x3?4x4,
?x1? x2?x3?3x4
6x1?7x2?3x3?5x4?8,
12x1?9x2?9x3 ?9x4?20,
x1,x2?0,x3?0,x4无约束;
写出其对偶规划。
四．试选用一种方法求解下述线性规划问题
minz?2x1?3x2?x3,
x1?4x2?2x3?8,
x1, x2,x3?0;
五. 用表格单纯形法求解线性规划。
maxz?x1?x2?x3,
2x1?x2?2x3?2,
4x1?2x2?x3?2,
x1,x2,x3?0.
六. 已知线性规划问题
maxz?3x1?2x2,
?x1?2x2?4,
3x1?2x2?14,
（1） 写出对偶问题；
（2） 应用对偶理论证明原问题与对偶问题都存在最优解(不必求解)。
七.已知线性规划问题
2x1?x2?2x3,
?x1?x2?kx3?6
x1?0,x2?0,x3无约束.
其最优解为x1??5,x2?0,x3??1.试求 （1）k的值
（2）写出对偶问题并求其最优解
八．已知线性规划问题
maxz?x1?2x2?3x3?4x4,
x1?2x2?2x3?3x4?20,
2x1?x2?3x3?2x4?20
x1,x2,x3,x4?0.
其对偶问题的最优解为w1?1.2,w2?0.2. 试根据对偶理论求出原问题的最优解
九．已知线性规划问题
maxz?10x1?5x2,
3x1?4x2?9,
5x1?2x2?8,
用单纯形法求得最终表如下所示：
试用灵敏度分析的方法判断：
(1) 目标函数中价值系数c1或c2分别在什么范围内变动，上述最优解不变.
(2) 约束条件右端项b1,b2当保持一个不变时，另一个在什么范围内变化时原问题的最优基
保持不变。
(3) 问题的目标函数变为maxz?12x1?4x2时，最优解如何变。
(4) 约束条件右端项由??变为??时，最优解为多少。
十、某车间有甲、乙两台机床，
可用于加工三种工件。假定这两台车床的可用台时数分别为800和900，三种工件的数量分别为400、600和500，且已知用两种不同车床加工单位数量问怎样分配车床的加工任务，才能既满足加工工件的要求，又使加工费用最低？
(1)试建立数学模型；
(2)试选一数学软件计算上述模型，并给出程序源代码。
十一．求解下列运输问题：
已知3个发点4个收点的最小费用运输问题。产销量及单位运价如下表。
(1) 试建立求解上述问题的数学模型；
(2) 分别给出求解该模型的matlab、lingo原始代码； 十二．用分枝定界法求解下述整数规划问题
maxz?3x1?2x2?2x1?x2?9?s..t?2x1?3x2?14 ?x,x?0?12
十三．用割平面法求解下述整数规划问题
maxZ?x1?x2??x1?x2?1
s..t?3x1?x2?4???x1,x2?0是整数
十四．分别用最速下降方法和牛顿法求解无约束优化问题
。取初始点x?1???2,2?，??0.1. minf(x)?x1?4x2
范文八：第一章习题
1-1设计一体积为5m3，长度不小于4m的无盖铁皮箱。若铁皮的单位面积密度是常数，试确定其长、宽、高的尺寸使其质量最小。
1-2 一矩形截面悬臂梁如图，其体积质量密度为m。要求在自重条件下自由端挠度不超过?0的条件下，按最轻重量确定其最佳截面尺寸，试建立其优化数学模型。设材料的弹性模量已
知，长度l一定，梁的截面弯曲惯性矩I?。 12
图： 1-3以两杆对称桁架的极小重量设计为例，考虑下图所示的平面桁架，它由两根钢管构成，顶点为两杆的共同端点，两杆的另两个支点固定.已知桁架的跨度为2L,承受负荷为2P,钢管的厚度T,材料比重为ρ，纵向弹性模数为E，容许力为σ。要确定钢管的平均直径d和桁架高度h，使桁架重量最小。
1-4 设有400万元资金，要求4年内使用完，若在一年内使资金 x 万元，则可得到效益 x1/2 万元(效益不能再使用)，当年不用的资金可存入银行，年利率为10%。试制订出资金的使用规划，以使4年内效益之总和最大。
1-5 用长3m的某种型号角钢切割钢窗用料。每幅钢窗需长1.5m的料两件，1.2m的料3件，1m的料4件，0.6m的料6件。若需制作钢窗100副，问最少需要多少根这种3m长的角钢？
1-6 某建筑企业3年内有5项工程可以承担施工任务，每项选定的任务必须在3年内完成，每项工程的年建设费用，期望收入和各年可利用资金数如下表所列，试制定此企业的投标计划，以使3年的总收入最大。
范文九：最优化理论与方法综述
优化理论是以数量分析为基础，以寻找具有确定的资源、技术约束的系统最大限度地满足特定活动目标要求的方案为目的，帮助决策者或决策计算机构对其所控制的活动进行实现优化决策的应用性理论。
优化理论又称为数学规划，依据优化理论对具体活动进行数学规划的方法成为优化方法。在中国，优化理论通常被划为运筹学的范畴，所以在有些书籍中，线性规划理论被称为运筹学的一个分支。
优化理论的主要分支结构为：
整数规划 目标规划优化理论
非线性规划
最优化理论与算法是一个重要的数学分支，它所研究的问题是讨论在众多的方案中什么样的方案最优以及怎样找出最优方案。这类问题普遍存在。例如，工程设计中怎样选择设计参数，使得设计方案满足设计要求，又能降低成本；资源分配中，怎样分配有限资源，使得分配方案既能满足各方面的基本要求，又能获得好的经济效益；生产评价安排中，选择怎样的计划方案才能提高产值和利润；原料配比问题中，怎样确定各种成分的比例，才能提高质量，降低成本；城建规划中，怎样安排工厂、机关、学校、商店、医院、住户和其他单位的合理布局，才能方便群众，有利于城市各行各业的发展；农田规划中，怎样安排各种农作物的合理布局，才能保持高产稳产，发挥地区优势；军事指挥中，怎样确定最佳作战方案，才能有效地消灭敌人，保存自己，有利于战争的全局；在人类活动的各个领域中，诸如此类，不胜枚举。最优化这一数学分支，正是为这些问题的解决，提供理论基础和求解方法，它是一门应用广泛、实用性强的学科。
?最优化问题数学模型的一般形式为：?s.t.
ci?x??0,i?1,2,?,m,
c?x??0,i?m?1,m?2,?,p, i?
无约束优化问题的解法
? 解析解法
? 数值解法：最速下降法；Newton法；共轭梯度法；拟Newton法；信赖域法 约束优化问题的解法
? 解析方法：Lagrange法
? 数值解法：
? 外罚函数法
? 内障碍罚函数方法
? 广义Lagrange乘子法
? 序列二次规划方法
线性规划的解法：
? 单纯形法：小型
? 对偶单纯形法
? 内点算法：大型
整数规划的解法：
? 分支定界法
? 割平面法
求解非线性规划问题
?G(x)?0s.t.??vlb?x?vub
的MATLAB命令为
1)x=constr(‘fun’,x0)
2)x=constr(‘fun’,x0,options)
3)x=constr(‘fun’,x0,options,vlb,vub)
设有400万元资金, 要求4年内使用完, 若在一年内使用资金x万元, 则可得效益x万元(效益不能再使用),当年不用的资金可存入银行, 年利率为10%. 试制定出资金的使用计划, 以使4年效益之和为最大.
设变量xi表示第i年所使用的资金数,则有 maxz?x1?x2?x3?x4
s.t.x1?400
1.1x1?x2?440
1.21x1?1.1x2?x3?484
1.331x1?1.21x2?1.1x3?x4?532.4
xi?0,i?1,2,3,4
建立函数文件FUN44.M
function [f,g]=fun44(x)
f=-(sqrt(x(1))+sqrt(x(2))+sqrt(x(3))+sqrt(x(4)));
g(1)=x(1)-400;
g(2)=1.1*x(1)+x(2)-440;
g(3)=1.21*x(1)+1.1*x(2)+x(3)-484;
g(4)=1.331*x(1)+1.21*x(2)+1.1*x(3)+x(4)-532.4;
x0=[1;1;1;1];vlb=[0;0;0;0];vub=[];options=[];
x=constr('fun44',x0,options,vlb,vub)
x1?86.2,x2?104.2,x3?126.2,x4?152.8z?43.1
范文十：数学应用案例讲座
专业 会计学
姓名 可可托海
学号 0913XX
最优化问题处理的不同方法
专业年级：会计学09级
学号：0913XX
姓名：可可托海
1.1 从边际的角度研究最优化问题的意义
经济学中，一个拥有各种各样机会的人，总是以幸福作为其进行各种选择的原始动机与最终目的。美国诺贝尔经济学奖第一人世界著名经济学家保罗·萨缪尔森在其著作《经济学》也曾提及：幸福=效用/欲望。效用即是指对于消费者通过消费或者享受闲暇等使自己的需求、欲望等得到的满足的一个度量。那么，从这个公式可以得出，给定一个人的欲望，要追求最大的幸福，就需要最大的创造财富；同理，给定限制财富，就必须克制自己的欲望才能获得最大的幸福。
边际问题所研究的就是在限制条件下达到最优化解的问题研究过程。在西方经济学中，边际分析方法是边际效用学派的最基本的分析方法之一。边际分析法就是运用导数和微分方法研究经济运行中微增量的变化，用以分析各经济变量之间的相互关系及变化过程的一种方法。这种分析方法广泛运用于经济行为和经济变量的分析过程，如对效用、成本、收益、利润、消费、储蓄、投资、要素效率等的分析多有边际概念。
对于会计领域，边际分析法对管理会计的影响作用主要通过变动成本、差量成本、导数概念等具体形式表示出来，并运用于管理会计的规划、决策活动。而我认为会计的实质是一种管理活动，所以作为管理学的学生以及结合我正在学习的微观经济学，我希望通过对边际问题的思考，加深我对经济管理活动现象的认识。本文主要对消费者偏好下的商品的边际替代率从导数和微积分与图形相结合的角度说明最优化思想。
2 数学应用案例
最优化问题有多种处理途径,本文首先从老师留下的主要从动态规划的角度说明最优化问题思考题作引题,之后结合我现在正在学习的微观经济学知识,通过对“边际”问题理论分析，从另一个角度即导数和微积分的角度加深我对边际概念及相关问题的理解。
2.2 最优化路线问题
2.2.1具体题目如下：
最优化问题处理的不同方法
考察如图所示的线路网络，各点联线上标明的数字表示它们之间的距离。我们从A点出发，要走到目的地G点，问经过哪些点(即要走什么路线)才能使总的路线最短？又问最短路程为多少？
2.2.2 解答方法
这道题同线路网络例题的思想一致，以下分两步（分析和解答）来具体说明这道题。
希望在A点做出最优性决策，由于A点到B1、B2的距离均为2，故设ICi（i=1～3）表示从Ci到G的最短距离（即设ICi已知），则ICi加上A到Bj（j=1～2）的距离就是由A经过Bj、ICi到
G的最短的距离，通过比较三种路线可得出最优决策即A到G的最短距离。实际题目中ICi未知，
但重点计算Ci到G的最优路线是求得A点最优决策的关键。
2．具体解答：
⑴由A到G的最短路线应该是：
?2?5?IC1???2?4?I
IA?minC2? ?
说明：(A?B1?C2)?6显然小于路线(A?B2?C2)?9
⑵尽管ICi（i=1～3）起初并不知道，可若知道由Di（i=1～4）到G点的最短距离IDi（i=1～4），则同理可知ICi（i=1～3），即
数学应用案例讲座
专业 会计学
姓名 可可托海
学号 0913XX
?5?ID3??min?4?I?
⑶上述三个式子中的IDi（i=1～4）尽管未知，但只要知道IEi（i=1～3）即可得IDi（i=1～4），而IEi（i=1～3）需要由IFi（i=1～2），如此可以逐步反推回去，从而求得G到A点的最短距离。
⑷因IF1、IF2为距离G点最近且唯一可供决策的路线，则
IF1?2；IF2?1
从而反推步骤如下：
IE1?min5?IF1?7 则最短距离为E1?F1?G
?min?1?I??2 则最短距离为E2?F2?G
IE3?min4?IF2?5 则最短距离为E3?F2?G
ID1?min3?IE1?10 则最短距离为D1?E1?F1?G
??6 则最短距离为D2?E2?F2?G
?4 则最短距离为D3?E2?F2?G ?
ID4?min2?IE3?7 则最短距离为D4?E3?F2?G
故而进一步得到
?min?1?I??7 则最短距离为C1?D2?E2?F2?G
??6 则最短距离为C2?D3?E2?F2?G
最优化问题处理的不同方法
?5?ID3??min?4?I??9 则最短距离为C3?D3?E2?F2?G
故而更进一步得到
??10 则最短距离为B1?C2?D3?E2?F2?G
?12 则最短距离为B2?C3?D3?E2?F2?G ?
故而最终得到
A到G的最短路线应该是：A?B1?C2?D3?E2?F2?G
A到G的最短距离应该为12
最优化路程如图1示:
2.3 边际问题
2.3.1 相关概念
1．边际分析法理论：
边际分析法即边际分析，是把追加的支出和追加的收入相比较，二者相等时为临界点，也就是投入的资金所得到的利益与输出损失相等时的点。如果组织的目标是取得最大利润，那么当追加的收入和追加的支出相等时，这一目标就能达到。
数学应用案例讲座
专业 会计学
姓名 可可托海
学号 0913XX
2．无差异曲线（等效用线）：
无差异曲线是用来表示消费者偏好相同的两种商品的所有组合。即它是表示能够给消费者带来相同的效用水平或满足程度的两种商品的所有组合。
3．商品的边际替代率：
在维持效用水平不变的前提下，消费者增加一单位某种商品的消费数量时所需要放弃的另一种商品的消费数量。其公式如下：
其中?X1和?X2分别为商品1和商品2的变化量。当商品数量的变化趋于无穷小时，其公式为：
MPS12?lim?
??2 ?X1dX1
4．预算线：
表示在消费者的收入和商品的价格给定的条件下，消费者的全部收入所能够买到的两种商品的各种组合。其公式如下：
P1X1?P2X2?I
其中，P1、P2分别对应商品1、2的价格，X1、X2分别对应商品1、2的数量，I表示消费者的既定收入。
2.3.2 消费者效用最大化的推演
由消费者行为理论知，消费者行为最优化可由基数效用理论和序数效用理论分析得出，前者
下面主要从序数效用论来具体说明。 ????，
由已知的消费者偏好和预算线约束的条件等就可以分析消费者追求效用最大化的购买选择行为。结合下图分析此问题。
最优化问题处理的不同方法
由题意作图2，已知AB为预算线，U表示某消费者某些商品的偏好下的享受效用的无差异曲线簇，U1、U2、U3代表某特定商品下的无差异曲线。同时因为消费者收入和商品价格已经假定，故必有一条预算线与无差异曲线相切。
预算线方程AB：P1X1?P2X2?I 则有 X2?
?1?X1 P2P2
由无差异曲线的特性，无差异曲线上任意一点消费者所享受到的效用相等，而预算线又表示着商品价格和消费者收入既定的情况下，消费者全部收入所能够买到的商品的组合，因此只有预算线AB和无差异曲线U2的相切点E，即为消费者在给定的预算约束下能够获得的最大效用的均衡点，相应的最优购买组合为E（X1，X2）。
通过数学公式,即： a点： MRSxy?E点： MRSxy?B点： MRSxy?
通过文字具体来分析，就U1来讲，它虽与预算线相交于a,b两点，但这两点消费者购买商品的组合满意水平相等且都小于E点的满意水平，即延a点向右下方移动和延b点向左上方移动将会使消费者离最满意的效用点越来越近，因而理性的消费者不会用全部收入选择a或b处的商品组合，而选择趋向于E处，最后必然在E点达到满意最大化；对于曲线U3来说，消费者目前的
数学应用案例讲座
专业 会计学
姓名 可可托海
学号 0913XX
收入水平决定了他无法享受U3所带来的满意程度，因而曲线与无差异曲线无切点，也不可能存在满足此效用水平的商品最优组合。那么，结合商品的边际替代率，消费者效用最大化的均衡条件为：
也就是说消费者效用最大化时,消费者再也没有积极性改变这种状态，同时还可以得出无差异曲线必与约束线相切，以及两商品价格比等于其边际效用比。仔细观察，其实技术效用论与徐术效用论在实质上是异曲同工的，证明如下：
? 由基数效用论知：MRSxy?
（证明见注释①）
， 由序数效用论知：
PxMUxMUxMUy
从而由等式性质：??
?Y??? ?x?U
文主要从动态规划和微积分与图形结合的角度说明最优化决策的不同方法，两种方法侧重角度不同但都是对最优化问题的不同处理方式，同时经济学追求的就是稀缺性下资源的优化配置，如财政学中税收的收入与税率的关系（拉弗曲线）、利率对投资和储蓄的影响等等。本文所涉及的只是边际问题下的冰山一角，作为这方面专业的学生，我要学习的还有很多。
边际替代率与边际效用的关系：
?dx??dy?0 ?x?y
?U?U?dx???dy ?x?y
最优化问题处理的不同方法
参 考 文 献
[1] 高鸿业主编. 微观经济学. 北京：中国人民大学出版社，2007