在训练神经网路时,如何尽量降低粒子群算法 局部最优优解的影响

上传用户:fyhuhmjacc资料价格:5财富值&&『』文档下载 :『』&&『』所属分类:机构:华北电力大学控制与计算机工程学院,华北电力大学数理学院基金:国家自然科学基金资助项目()~~分类号:TM621文献出处:关 键 词 :&&&&&&权力声明:若本站收录的文献无意侵犯了您的著作版权,请点击。摘要:为了提高电站实时数据的准确性,提出了一种利用改进粒子群算法进化Elman神经网络的动态系统实时数据预测方法。改进粒子群算法中,根据群体早熟收敛程度和当前最优解的大小对部分不活跃粒子进行变异,增强了算法跳出局部最优解的能力。利用改进的粒子群算法训练Elman神经网络权值和自反馈增益因子,有效地解决了梯度下降法训练网络权值收敛速度慢、易陷入局部极值的缺点。以某300 MW机组的主蒸汽流量为具体对象,给出了该方法的算例,结果表明该方法能正确获取系统动态特性,具有较强的降噪能力,对异常数据具有鲁棒性。与标准Elman神经网络进行比较,该方法具有较好的预测精度和泛化能力。Abstract:In order to improve the accuracy of real time data of power station, a new method using improved particle swarm optimization algorithm to evolve Elman neural network is put forward. Improved particle swarm optimization algorithm, according to the degree of convergence of the population premature convergence and the size of the current optimal solution to some of the non active particles variation, enhanced the ability to jump out of the local optimal solution. The improved particle swarm algorithm is used to train the weights of Elman neural network and the self feedback gain factor, which can effectively solve the shortcoming that the gradient descent method is slow and easy to fall into the local extremum. Taking the main steam flow of a certain 300 MW unit as the object, a numerical example is given. The results show that the method can obtain the dynamic characteristics of the system and has a strong ability to reduce noise. Compared with the standard Elman neural network, the method has better prediction accuracy and generalization ability.正文快照:0引言电站性能在线监测、设备状态检测与故障诊断、机组运行优化等系统的实现依赖于现场数据的准确获取。由于传感器故障、漂移和各种干扰的存在,运行过程中不可避免地会出现热力参数失效,使基于数据开发的系统性能下降,甚至造成系统无法工作。因此,为了保证机组运行的安全性分享到:相关文献|BP神经网络的电路最优测试集的生成设计
BP神经网络的电路最优测试集的生成设计
发布: | 作者:-- | 来源: -- | 查看:139次 | 用户关注:
  人工神经网络是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。国际著名 的神经网络专家Hecht Nielsen 给神经网络的定义是:&神经网络是一个以有向图为拓扑结构的动态系统,它通过对连续或断续式的输入作状态响应而进行信息处理&。神经网络系统[1,2] 是由大量的、同时也是很简单的处理单元(或称神经元),通过广泛地互相连接而形成的复杂网络系统。神经网
  人工神经网络是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。国际著名 的神经网络专家Hecht Nielsen 给神经网络的定义是:&神经网络是一个以有向图为拓扑结构的动态系统,它通过对连续或断续式的输入作状态响应而进行信息处理&。神经网络系统[1,2] 是由大量的、同时也是很简单的处理单元(或称神经元),通过广泛地互相连接而形成的复杂网络系统。神经网络具有的超高维性、强非线性等动力学特性,使其具有原则上容错、结构拓扑鲁棒、联想、推测、记忆、自适应、自学习、并行和处理复杂模式等功能,带来了提 供更佳诊断性能的潜在可能性。
  目前神经网络应用在模拟电路上主要是神经网络故障字典法。把模拟电路的故障诊断看成是一个分类问题,利用神经网络的分类功能来诊断故障。在测前把神经网络训练成一部故障字典,字典的信息蕴含在网络的连接权值中,只要输入电路的测量特征,就可以从其输出 查出故障。目前用于模拟电路故障诊断的神经网络主要有BP 神经网络和SOM 神经网络两 种类型。BP 是一种多层网络误差反向传播网络,SOM 神经网络一种自组织特征映射神经网络(Self-organizing Feature Map)。本文采用标准BP 神经网络来实现对最优测试集的生成。
  2 基于神经网络的最优测试集的生成实现设计
  BP 神经网络对最优测试集的生成事先没有标准的样本,只有设定的约束条件,对目标 问题的求解是一个反复比较选择、自我建立并不断更新其样本库的过程。
  (1)神经元激活函数
  激活函数又称传递函数。对于模拟电路故障诊断,神经元激活函数可以采用对称的 sigmoid 函数y(x)=1/(1+e-x)-0.5,也可以采用非对称的sigmoid 函数y(x)=1/(1+e-x)。
  (2)输入层
  输入层从电路拓扑结构接受各种状态信息提取。神经网络的输入节点数应与输入特征的 维数相同,输入节点与电路的节点数一一对应。
  (3)输出层
  输出层输出诊断结果。输出结点数与预期节点选择数目相同,每个输出结点与目标一一对应。当神经网络用于选择时,若所有输出结点的输出值均非空,则认为本次生成最多数目 的节点;若有几个输出结点的输出值为0,则认为生成了较少的测试节点。
  (4)隐层数
  BP 网络的输入结点数和输出结点数是由实际问题本身决定的。隐层用于对信息进行处理和转化。网络结构设计的难点和重点在于隐层结构的设计,具体是指隐层数目和各隐层的神经元数目。确定隐层的结构很大程度上决定着网络质量。隐层用于对信息进行处理和转化。 隐层的层数取决于问题的特点。Funahashi 证明了对于任何在闭区间内的一个连续函数都可 以用单隐层BP 网络逼近,因而一个三层BP 网络可以完成任意的n 维到m 维的映射,说明了单隐层的可行性[4],但并不确定是最合理的。本文采用最常用的单隐层BP 网络构造神经 网络。
  (5)隐结点数
  隐层结点数的选择非常重要,隐节点数与问题的复杂程度有关,不存在一个理想的解析 式。隐结点的数目与问题的要求、输入、输出数目有关。隐结点数目太多会导致学习时间过 长,误差不一定最佳,数目太少则可能会使网络训练不出来,网络的学习和联想能力降低。
  除了一些参考选择公式外,还可以先放入足够多的隐结点,通过学习将作用甚微的隐结点逐 步剔除直到不可收缩为止;或者反向添加至合理数目为止。 神经网络故障诊断系统的训练方法如下:
  (1)权初值确定
  系统是非线性的,不合适的权初始值会使学习过程陷入局部最优,甚至不收敛。权一般取随机数,而且权值要小,这样可使初始权要在输入累加时使每个神经元的状态值尽可能接近于零,保证每个神经元都在它们的传输函数导数最大的地方进行,这样就不至于一开始就落在误差平坦区上。本文的神经网络故障诊断系统中,网络初始值均取在闭区间[-0.1,0.1] 内均匀分布的随机数。
  (2)样本输入方式
  批处理方式存在局部最优,在线输入方式容易引起权值调节的振荡现象。避免振荡往往 根据样本集的特点进行多次尝试,局部最优可以通过修改网络输出误差来缓解。本文样本输 入采用批处理方式。
  (3)误差函数的选择 神经网络训练容易出现局部最优,因此本文设计网络不要求输出误差很小,通过适当增 加训练时间来提高准确度。
  3 BP 网络在最优测试集上的应用
  (1)分析电路,构造网络结构 对电路中的各节点支路进行分析,建立改进的关联矩阵。取得用于选择的测试向量。根 据测试向量维数和目标要求数来选择网络各层的结点数。
(2)输入特征向量抽取 取电路节点对支路的关联信息作为神经网络的输入特征。由于各节点的关联信息相差可 能会比较大,神经网络输入特征的各分量量限也不同。
  其中xi 是输入特征的第i 个分量,vi 是同类关联信息的平均值,这样使输入特征的各分 量量限基本相同,而且仍然可以表征原输入特征。
  (3)输出特征值设定
  输出特征维数取决于输出的表示方法和要识别或分类的数目,当电路有M 个待监测节 点时,电路状态有M 类,本文把无节点输出做为输出节点坐标为0,输出特征维数选择为M, 输出特征分量与输出节点一一对应。
  (4)训练样本集的选择
  同故障字典的样本集选择不同,最优测试集的训练样本一开始时不存在的,是在制定的 约束条件下,不断反复运算的动态过程,是一个自我学习更新的过程。因此本网络将样本集 训练融合到网络的学习过程中。
  4 仿真结果
  本文所选择的目标电路模型为实际某设备的使用组件。电路板属于较为典型的模拟电路 板,电路板的原理图如图1。
  对电路板进行仿真试验,得到结果如表1,其指标衡量如表2。
  运用神经网络方法得到的种群中的个体元素仍比较分散,说明神经网络在自主学习训练 下要将当前的最优解解出的能力相对较弱一些,表1 中给出的结果是应用神经网络多次运算 得到的出现频率较高的解。
  在设定生成较少的测设点数量时,应用神经网络能够解出点集,但各项指标与使用进化 规划算法的解相比相对较差,整体效果类似于陷入&早熟&。在设定生成较多的测试点数量时,应用神经网络来对目标点集的查找解算较为困难,对目标求解的明晰性不强,目标集(样本集)内的元素不趋同,求解精度不高。
  应用传统的 BP 神经网络解决TSP 或集覆盖等问题时,可行解获得的效率低,网络较难 收敛到可行解。随着问题的复杂化,传统的BP 神经网络方法搜索到严格最优解或近似最优 解的困难加大,容易陷入局部最优。求解速度较慢,网络特性相对不够稳定。
  5 结论
  本文应用神经网络对模拟电路最优测试集生成上进行了初步实现。仿真结果说明当电路结构变得复杂以后,神经网络的训练和识别所需要的时间都比较长,运算时间大大增加,甚至在限定的最大时间内出现求不出参考解的情况。目前,应用进化规划算法进行最优测试集的生成对复杂电路结构求解问题上显示出其优越性,在设定的时间内求解精度高,在设定的 精度下运算时间短。
  本文作者创新点:在复杂电路结构的求解问题上,应用进化规划算法进行最优测试集的 生成,在设定的时间内求解精度高,在设定的精度下运算时间短。
本页面信息由华强电子网用户提供,如果涉嫌侵权,请与我们客服联系,我们核实后将及时处理。
应用与方案分类
&&& 目前,处理器性能的主要衡量指标是时钟基于改进萤火虫算法的小波神经网络短期负荷预测方法
2016年微型机与应用第23期
作者:刘丹,张腾飞
  刘丹,张腾飞  (南京邮电大学 自动化学院,江苏 南京210023)& & & & 摘要:传统的以梯度下降法训练网络,而梯度下降法易导致网络出现收敛早熟、陷入局部极小等问题,影响网络训练的精度。文章将用于训练小波神经网络,在全局内搜寻网络的最优参数。为了提高萤火虫算法参数寻优的能力,在训练过程中自适应调节γ值。同时利用高斯变异来提高萤火虫个体的活性,在保证收敛速度的同时避免算法陷入局部极小。将优化后的小波神经网络用于短期,实验证明改进后的预测模型非线性拟合能力较强、预测精度较高。  关键词:小波神经网络;萤火虫算法;负荷预测;全局寻优  中图分类号:TP391文献标识码:ADOI: 10.19358/j.issn.16.23.016  引用格式:刘丹,张腾飞. 基于改进萤火虫算法的小波神经网络短期负荷预测方法[J].微型机与应用,):56-58.0引言  短期负荷预测主要是预报未来24小时至几天内的系统负荷[1]。精确的负荷预测有助于合理安排机组的检修计划以及规划未来发电机组的安装,对社会生活和经济发展意义重大。从经典的单耗法、弹性系数法到当前的灰色预测法、神经网络法等,负荷预测技术在不断进步。其中,神经网络和小波分析法的优势较为突出,两者相结合得到的小波神经网络常用于负荷预测。但是小波神经网络训练常采用梯度下降法,造成网络易陷入局部极小,收敛速度慢[2-3]。  萤火虫算法(Firefly Algorithm,FA)是一种基于群体搜索的仿生智能优化算法,算法在寻优精度和收敛速度方面很有优势[4]。本文采用萤火虫算法训练小波神经网络,在训练过程中适时调节其参数γ值使得算法在全局内有较强的搜索能力。同时对最优萤火虫个体进行高斯变异,有利于萤火虫个体跳离局部极小,保证网络的收敛速度。最后用改进后的萤火虫算法优化小波网络的所有参数并进行短期负荷预测,实验结果表明所提出的预测模型具有更好的收敛速度和预测精度。1小波神经网络模型  小波神经网络通常使用小波或尺度函数作为网络的激活函数,其网络结构如图1所示。  图1小波神经网络结构图中X=(x1,x2,…,xn)为小波神经网络的输入向量,Y=(y1,y2,…,ym)为网络的输出向量。隐含层共h个神经元,其中Ψj为隐含层第j个神经元的小波函数,其伸缩、平移系数分别为aj和bj。Wij为输入层第i个神经元与隐含层第j个神经元之间的连接权值,Wjk为隐含层第j个神经元与输出层第k个神经元的连接权值。其中隐层小波神经元采用Mexican Hat小波函数,输出层节点采用Sigmoid函数。小波神经网络隐含层第j(j=1,2,…,h)个小波神经元输入为:    隐含层第j个神经元的输出为:    输出层第k(k=1,2,…,m)个神经元的输出为:  2基于改进萤火虫算法的小波神经网络预测模型  2.1萤火虫算法基本原理  萤火虫算法中所有萤火虫都具有一个由被优化问题决定的适应度值。适应度值越佳,萤火虫亮度越强。随着迭代过程的进行,所有萤火虫不断向比自己更亮的萤火虫靠近,最终大多数萤火虫会聚集在最亮萤火虫附近,最亮萤火虫的位置就是问题的最优解[5]。  从数学角度对萤火虫算法描述如下:  萤火虫的相对荧光亮度:    其中,I0为萤火虫所处位置的荧光亮度;γ为光强吸收系数;rij为萤火虫i与j之间的空间距离。  萤火虫的吸引度为:    其中,β0表示最大吸引度因子,即最大荧光亮度处位置的吸引度大小。  萤火虫i被萤火虫j吸引移动的位置更新公式:    其中,xi、xj分别为萤火虫i和j所处的空间位置;α为步长因子,取[0,1]上的常数;rand为[0,1]上服从均匀分布的随机因子。  2.2萤火虫改进算法  一般情况下,参数γ取1。当求解空间较大时,萤火虫之间的相对距离较大,式(5)中的rij会变大,β将趋向0。萤火虫i则不会向较优个体靠近,而是随机更新位置。文献[6]根据多次实验总结出:当γr2在区间[0.04,4]时,e-γr2有较好的调节效果。  因此,当群体距离较大时应减小γ使γ0为0.04。当萤火虫群体距离较小时应增大γ使得γ0为4。这样保证e-γr2始终在特定范围内,从而保证萤火虫群体间具有足够吸引力,算法在全局内有较强的搜索能力。  在传统萤火虫算法中,每一代最优个体没有作相应处理,导致最优个体进化停滞,不利于算法的进一步收敛。由文献[7]可知,高斯变异具有较强的局部开发能力,因此采用高斯算子对最优个体进行变异,给每次迭代得到的最优个体加上一个服从高斯分布的随机扰动项,如下:    其中,xbest为当前最优萤火虫,xGbest为变异后的最优萤火虫。N(0,1)为均值为0、方差为1的高斯分布随机变量。  最后比较变异前后萤火虫适应度值的大小,取两者中适应度值较佳的个体为本次迭代的萤火虫最优个体xbest。  2.3小波神经网络负荷预测模型  由于负荷工作日和休息日具有不同的周期性,需要分开建模。同时对短期负荷预测影响最大的就是温度状况[8]。因此预测某个工作日t时刻的负荷,小波网络的输入应为预测日前一周t时刻、预测日前一日t-1时刻、预测日前一日t时刻、预测日t-2时刻、预测日t-1时刻的负荷和预测日前一周、预测日的平均温度。输出为预测日t时刻实际的负荷。  模型确定后,利用改进的萤火虫算法训练小波神经网络,将网络的训练输出负荷与实际负荷的误差作为算法的适应度值。具体步骤如下:  (1)根据学习样本的输入和输出要求确定小波神经网络结构。  (2)初始化萤火虫种群,设定相应的群体大小。种群中每个个体都包含了神经网络需要优化的所有伸缩、平移系数以及连接权值。  (3)根据每个个体包含的网络参数值计算对应的适应度值,其值越小,萤火虫的亮度越大,其值越优。  (4)根据改进的萤火虫算法迭代更新种群,搜寻最优萤火虫个体。  (5)将最优个体中的参数值代入小波神经网络训练,并用测试数据进行验证。3实验结果与分析  本文的训练样本取自某地区5~7月份工作日24个时刻的实测数据,而测试数据为第二年6月份工作日24个时刻的实测数据。  为了验证改进神经网络在预测方面的优越性,将本文提出的预测模型(GFAWNN)与RBF神经网络、基于梯度下降法的小波神经网络(WNN)、基于萤火虫算法的小波神经网络(FAWNN)进行仿真结果对比。  观察4种神经网络对第二年6月份所有工作日12:00这个时刻的负荷预测情况,如图2所示。横坐标为30个测试样本序列,纵坐标为对应样本的负荷预测结果,黑色*线表示实际负荷值曲线。由图可明显看出,GFAWNN神经网络的拟合度最高,预测结果最佳,FAWNN网络的预测效果次之,RBF预测效果最差。  具体预测结果的数据对比如表1所示。其中emax、emin、eMean分别表示测试样本中最大的相对误差、最小相对误差和平均相对误差。通过数据对比可知,改进的GFAWNN网络预测结果最佳,平均预测误差和最大、最小预测误差均最小。4结论  本文利用小波神经网络建立短期负荷预测模型,为了避免梯度下降法训练小波神经网络导致网络陷入局部极小的问题,本文用改进的萤火虫算法训练小波神经网络,确保萤火虫个体始终保持活性并且萤火虫个体之间具备足够的吸引力以在全局范围内完成群体的迭代更新。迭代完成后的最优个体即最优解,是小波神经网络的最优参数,根据最优参数完成短期负荷预测。实验表明,在同等实验数据和实验条件下,优化后的小波神经网络的预测精度较高。  参考文献  [1] 牛东晓. 电力负荷预测技术及其应用[M]. 北京:中国电力出版社, 2009.  [2] 余凤, 徐晓钟. 基于优化小波BP神经网络的燃气短期负荷预测[J]. 计算机仿真, ):372-376.  [3] 程声烽, 程小华, 杨露. 基于改进粒子群算法的小波神经网络在变压器故障诊断中的应用[J]. 电力系统保护与控制, -42.  [4] 赵玉新. 新兴元启发式优化方法[M].北京:科学出版社, 2013.  [5] Yang Xinshe. Firefly algorithm[M].Engineering,2010.  [6] 陆克中, 章哲庆, 孙俊. 保持个体活性的改进FA算法[J]. 中国科学技术大学学报, 0-129.  [7] Liu Jiakun, Zhou Yongquan. Parallel glowworm optimization algorithm with master slave structure[J]. Computer Engineering and Applications, ):33-37.  [8] 贺蓉, 曾刚, 姚建刚,等. 天气敏感型神经网络在地区电网短期负荷预测中的应用[J]. 电力系统自动化, ):32-35.
继续阅读>>
热门关键词

我要回帖

更多关于 局部最优解 的文章

 

随机推荐