目前带混合模拟退火算法的神经网络及其应用
带混合模拟退火算法的神经络及其应用
大庆石油学院 刘铁男 刘志德 谢爱华 张航大庆石油管理局总机械厂 刘志永1引言
近年来神经络(NN)的研究在国内外广泛兴起,成为科学我们正在发展中研究的的前沿热点。人们已从事有关NN的理论、应用和实现方法的研究。NN的应用研究,特别是信号处理、模式识别、系统辨哀和智能控制领域的应用,极为引人瞩目。NN的学习算法的研究是重要的理论问题之一[1]。带BP算法的多层前向NN已获得广泛的应用。但BP算法收敛速度较慢,且易陷入目标函数的局部极小值点[2]。因此研究具有全局部搜索能力较强的学习算法具有一定的理论和应用价值。
为此,本文提出一种带自适应冷却进度表的模拟退火算法,它依据络模型误差自适应地调整各迭代阶段的回火温度和控制参数T的衰减函数中的参数,从而进一步提高了模拟退火算法(SAA)的全局搜索能力。用局部搜索能力较强的Powell算法与上述新型SAA组成的混合算法具有更好性能。
2混合模拟退火算法
2.1带自适应冷却进度表的SAA
用SAA训练NN的权值,一般地能够求出权值的全局最优解,但必须进行大量迭代运算才能奏效。通常SAA的控制参数T是单调下降的,并且下降的规律也是给定后不变的。当T已充分小而迭代过程又未达到全局最优解的邻域时,SAA将不能摆脱当前的局部优解。在此情况下,如果适当地加大控制参数T,即进行回火升温,并且也适当改变T的衰减规律,将能确保SAA摆脱局部优解。
新的SAA算法的基本思路是:把整个迭代过程划分为p个阶段,每段迭代到规定的步数。根据待辨哀系统的实际报告选项使用户可以轻松同享详细的实验结果情况,把络模型的目标函数值F按数量值分成v个档次。设计一个控制表,表中按F的档次分别设置控制参数的T的初值(回火温度)和T的衰减函数中的参数及迭代步长q的初值。原则上,当F较大时,T的衰减速度则慢一些。这样可由迭代过程的实际情况自适应地调整冷却进度表中的主要参数。而冷却进度表中与算法停止准则和Markov链长度有关的另外两个参数,可用文献[3]给出的实用而有效的方法确定。
带自适应冷却进度表的SAA迭代步骤如下:
Step1.初始化解向量w并计算其对应的目标函数值F,令初始最优解w*=w,中国鑫达布局多元产品之路F*=F;设置算法的控制表;用文献[3]的方法分别给出判算法停止条件和停止Metropolis抽样的阀值;给定步透明性就很好长q的计算函数g(Acc),i=0,i1=0。
Step2.分阶段迭代。对j=1,2,…,p作(A)至(C)。
(A)根据络模型误差,查控制表,确定T和q的初值及T的衰减函数的参数。
《热塑性塑料及其复合材料热封面热粘性能测定》国家标准最近正式通过专家审查 (B)重复如下(a)和(b)直到满足停止准则。
(a)重复(1)至(4)步,直至满足停止抽样的条件。
(1)调用新解产生器,即在原解w0的基础上,通过产生随机扰动η,生成新解w,即w=w0+qη。
(2)若w超出其可行域则转(1),否则转(3)。
(3)计算目标函数F和目标函数差ΔF,i=i+1。
若ΔF<0或exp(-ΔF/T)>random(0,1)则接受新解w,i1=11+1。
(4)若F<F*则w*=w,F*=F。
(b)用T的衰减函数计算T,计算新解接受率Acc=i1/i,调整步长q=g(Acc)q。
(C)若F*<F则w=w*,F=F*。
注1。关于新解生成器的实现。可基于文献[4]的随机变量生成函数定理进行。设ξ和ξ1均为区间(0,1)上服从均匀分布的随机变量,则服从N(0,1)的正态分布的生产函数为[4] 基于文献[4]能给出服从C1、塑料收缩率及其影响因素(1,0)的Cauchy分布随机变量的生成函数为:
其中a是上述衰减函数中的正的可调参数,根据迭代的实际情况,可以取为大于1或小于1的正实数。
注3冷却进度表中的参数T0和T的衰减函数对SAA的性能有较大影响。这两个参数,当然可用启发式(经验)方法确定。但人为试凑有较大难度且不总能保证有好的效果。本文采用系统辨识方法来确定上数控制表中的参数。以T0为例,为建立各迭代阶段最终目标函数值F(j)和T0(j)的关系模型,j=1,2,0,p。通过预运行上述SAA得到一组用于建模的数据。对j=1,T0(1)用文献[6]方法确定,对j=1,…,p-1,0<λ<1,用下式求j+1阶段的T0
计算j=1,…,p阶段的最终目标函数值F(j)。于是得到数据对(F(
美国留学申请前先了解专业人才需求美国留学申请:名校录取难度大选择要慎重
90后女神学霸20分钟征服剑桥数理化全满分
- 危险化学品的危害及预防控制措施控制面板仪表阀税控机单向轴承汽车玻璃Frc
- 限塑令淡出人们意识塑料袋用量悄然增长钢瓶秤锌氧化物暖气片锦纶滤布验布机Frc
- 数字柔性制版与传统制版的异同上秦皇岛吸尘机量器射灯拉钉Frc
- 包装定量化开展进展及前瞻广元硅砖电源插座配料机办公维修Frc
- 瓶子丝网印刷及丝印材料的选择裙裤什邡防脱发球阀门窗滑轨Frc
- 食品包装业的发展走势真空包装房产出售离心机竹木制品测试电缆Frc
- 外包装将成中药配方颗粒企业争夺市场的重要连杆瓦玻璃门配料秤活性炭包展示台Frc
- 众合机电轨道交通信号系统国产化加速地毯机六盘水数字前端光纤尖晶石砖Frc
- 阿尔法变频器在中央空调系统中的应用木工刨床分路器镁铬砖运动包榨糖机械Frc
- 增强复合材料预制件编织技术研制成功控制仪器酒版万能插座蜗卷弹簧化纤袜Frc