摘要 提出一种用于非线性函数逼近的小波神经网络的训练算法。分析了网络的拓扑结构,给出了网络的参数估计方法,即混合递阶遗传算法,该算法是递阶遗传算法和多元线性回归的结合,仿真研究表明该方法逼近精度高,为非线性系统建模提供了一种新方法。
关键词 小波神经网络,混合递阶遗传算法,函数逼近,优化 近年来,非线性系统的研究成为国内外科学研究的前沿和热点问题,其中非线性系统的黑箱识别问题尤其引人注目。近年来兴起的小波分析方法,为非线性系统黑箱识别提供了一种十分有效的工具
[1]。小波神经网络是小波分析和神经网络的结合,具有更优越的非线性函数逼近能力
[2]。本文用一种小波神经网络对非线性系统进行建模,采用混合递阶遗传算法优化小波神经网络。并与基于BP算法的小波神经网络进行了比较,仿真结果表明该方法是有效的。
1 小波神经网络与建模 根据以上理论我们得到以小波基函数为激励函数的前向小波神经网络,其信号表示是通过将所选取的小波基进行线性叠加实现的(即(4)式),包含一个隐含层,输出层为线性神经元。其结构如图1所示。
图 1 小波神经网络结构Fig. 1 The structure of proposed WNN其数学模型为:
上述小波网络可以实现复杂的非线性函数映射。1中以提到,问题是如何确定最优的隐含层结点以简化网络、提高逼近精度和速度。由于小波神经网络输出层为线性神经元,因此只要确定了 M、m 、n ,通过多元线性回归就可计算出参数 ,所以在小波神经网络的训练中,主要任务是寻找参数M 、m 、 n。基于以上特点,本文提出利用递阶遗传算法和多元线性回归相结合,即混合递阶遗传算法优化小波神经网络的新方法。
3小波神经网络优化3.1混合递阶遗传算法染色体编码 递阶遗传算法是根据生物染色体的层次结构提出的
[4],染色体由控制基因和参数基因两部分构成,控制基因是二进制数,每一位对应一个隐含层神经元,控制与此神经元相关的参数基因。当该位是1则该位对应的神经元激活,其参数起作用。反之,该位对应的神经元休眠,其参数不起作用。 从遗传算法的角度来看,遗传算法进行编码时,编码信息不应超出表示可行解所必需的信息。由于小波神经网络输出权值可用多元线性回归计算。所以编码时染色体只保留与隐含层神经元相关的参数,其结构如图2所示。
图2 染色体数据结构Fig 2 The structure of chromosome
3.2 遗传操作算子1)选择算子
其中 (即(6)式)为能量函数,由(7)可以看出能量函数越小的染色体的适应度越高,并且 的值在 之间,这样对最佳个体具有更好的鉴别力。本文采用轮盘赌法,这也是一种典型的选择算子。2)交叉算子 由于本文染色体由控制基因和参数基因两部分组成,所以采用两点交叉,交叉点分别位于控制基因和参数基因中。3)变异算子 根据染色体编码特点,本文采用两点变异。在控制基因采用二进制翻转变异。在参数基因部分采用实值变异,实值变异步长的选择比较困难,通常根据具体情况而定。本文采用如下的变异算子
[5]:
3.3 确定 、 的初始区间3.
4 优化过程 图3优化流程图Fig 3 The stages of optimaion
[8]电大学习网.免费论文网[EB/OL]. /d/file/p/2024/0424/fontbr />
4仿真实验本文通过解决两个非线性函数逼近问题,验证采用本文方法优化小波神经网络优点,并和文献
[6]BP算法训练小波网络作比较。本文算法的参数取值:种群大小100,染色体长度60(控制基因长度为 ,即隐含层最大神经元数目,参数基因长度为40),交叉概率为0.95,变异概率为0.01。本文采用小波函数为:
图4所示本文算法迭代50次,优化小波神经网络的函数逼近情况,图5所示适应度变化情况。图6所示BP算法训练的小波神经网络迭代3000次函数逼近情况。优化的小波神经网络只有9个神经元,BP算法训练的小波神经网络有32个神经元。在[0 1]区间内,取样步长0.01。
图4 优化小波神经网络函数逼近情况Fig 4 Approximation result of the optimized WNN
图5优化小波神经网络函数逼近适应度变化Fig 5 Fitness value of the function approximation
图 6 BP算法训练的小波神经网络函数逼近情况Fig6 Approximation result of the WNN trained by BP
图7所示本文算法迭代100次,优化小波神经网络的函数逼近情况,图8所示适应度变化情况,图9所示BP算法训练的小波神经网络迭代3000次函数逼近情况。优化的小波神经网络只有12个神经元,BP算法训练的小波神经网络有35个神经元。在[0 4]区间内,取样步长0.01。
图 7 优化小波神经网络函数逼近情况Fig7. Approximation result of the optimized WNN
图8优化小波神经网络函数逼近适应度变Fig 8. Fitness value of the function approximation
图 9 BP算法训练的小波神经网络函数逼近情况Fig9. Approximation result of the WNN trained by BP
通过比较图4、图6和图7、图9可知,小波神经网络对曲线的突变部分和光滑部分都具有较好的逼近能力,对于突变信号的逼近具有BP网络无法比拟的优越性,逼近精度很高。
5结论 本文提出的小波神经网络逼近非线性函数算法,为非线性系统建模提供了一种新方法,根据小波神经网络的拓扑结构和算法特点,提出利用混合递阶遗传算法优化小波神经网络,该方法能够同时优化小波神经网络的结构和参数,避免了凭经验选取隐层小波基个数,仿真结果表明具有逼近精度高的优点。
参考文献[1] 王美玲,张长江,付梦印等.一种用于非线性函数逼近的小波神经网络算法仿真.北京理工大学学报,2002,22(3):274-278[2] 刘志刚,王晓茹,何正友等.小波变换、神经网络和小波神经网络的函数逼近能力分析与比较[J].电力系统自动化. 2002,10(20):39-41[3] 李银国,张邦礼,曹长修.小波神经网络及其结构设计方法模式识别与人工智能[J]1997,10(3):197-205[4] Man.K F,Tang K S,Kwong S,etal.Genetic A-lgorithms for Control and Signal Processing[M].Lodon:Springer-Verlag,1997[5] 王小平,曹立明.遗传算法-理论、应用与软件实现[M].西安交通大学出版社.2001,1.[6] 王泰华,葛云萍,余发山. 小波神经网络用于非线性函数逼近的研究[J]. 西南民族学院学报自然科学版.[J].2003,29(1):38-40.
[8]电大学习网.免费论文网[EB/OL]. /d/file/p/2024/0424/fontbr />
相关文章:
图像检索中的元数据分析04-26
基于单片机监控系统的研究04-26
多路温度巡检系统的硬件设计04-26
我国国家信息化指标体系和国际核心指标体系的比较研究04-26
谈高职院校教务管理中信息技术的运用04-26
计算机数显辅助摆位技术在放疗中的应用04-26
信息类专业计算机网络教学方法探讨04-26
数字化校园统一身份认证04-26
高职院校《离散数学》课程教学现状分析与研究04-26
“计算机网络基础”教学实例设计及其应用04-26