基于改进woa算法的rbf神经网络参数优化方法
技术领域
1.本发明涉及机器学习技术领域，尤其涉及一种基于改进woa算法的rbf神经网络参数优化方法。
背景技术：2.随着传统人工神经网络层数和参数的不断增多,如何优化神经网络参数对机器学习预测任务有着重要作用。神经网络参数优化方法是以元启发式算法替代梯度下降法优化神经网络参数的有效方法之一。
3.元启发式算法是指研究者受仿生学启发，从自然界中的随机现象获取灵感，将随机算法与局部算法相结合来求解复杂优化问题的一类算法。此类算法相对于启发式算法的最大改进在于引入了随机因素的影响，从而使算法存在一定概率跳出局部最优，更有可能得到问题全局最优解，同时由于其对目标函数、初始值等无任何特殊要求，因此成为了研究的热点问题之一。
4.rbf(径向基函数)神经网络是一种三层前向神经网络，其具有网络结构简单、学习速度快、逼近能力强等特点，在系统辨识、函数逼近、模式识别等领域得到广泛应用。rbf神经网络在学习过程中，其性能主要取决于隐层神经元基函数中心、宽度和权值的确定。目前，rbf神经网络的参数整定方法主要有k均值聚类方法、梯度下降法、粒子群算法、进化算法等，其中，普通梯度下降法在训练过程中极易出现振荡、不稳定的情况，而且实时性和鲁棒性较差。其他方法如粒子群算法、进化算法等，虽然有一定的全局收敛能力，但收敛速度慢，网络计算代价大。
5.目前除遗传算法、进化算法等几种进化算法被有效利用于神经网络参数优化外，其余众多以模拟自然界进化行为的元启发式算法在神经网络参数优化中尚未得到有效利用。例如：模拟多元宇宙中黑洞、白洞及虫洞概念的多元宇宙优化算法(multi-verse optimizer,mvo)，模拟被囊群喷气推进和社会行为的被囊群算法(tunicate swarm algorithm,tsa)，模拟鲸鱼群狩猎行为的鲸鱼优化算法(whale optimization algorithm,woa)等多种元启发式算法在神经网络参数优化中都未得到有效应用。
技术实现要素：6.本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于改进woa算法的rbf神经网络参数优化方法，通过改进woa算法优化rbf神经网络初始宽度、中心和权值，并将rbf神经网络的训练误差作为个体的适应度值，最后选择最优初始宽度、中心和权值构建rbf神经网络模型。
7.为解决上述技术问题，本发明所采取的技术方案是：基于改进woa算法的rbf神经网络参数优化方法，包括以下步骤：
8.步骤1、初始化rbf神经网络参数，由rbf神经网络参数构成鲸鱼种群；
9.设定的rbf神经网络结构中，x＝[x1,x2,
…
,xn]
t
为网络的n维输入，y＝[y1,y2,
…
,
ym]
t
为网络的m维输出；rbf神经网络的隐藏层具有h个神经节点，径向基函数的中心为c1,c2,
…
,ch；网络宽度为d1,d2,
…
,dh；联结权值为w
ij
，i＝1,2,
…
,h；j＝1,2,
…
,m；则由rbf神经网络参数构成的鲸鱼种群为：
[0010]
w＝[c1,c2,
…
,ch,d1,d2,
…
,dh,w
11
,w
12
,
…w1m
,w
21
,
…
,w
hm
]
[0011]
步骤2、对rbf神经网络参数进行实值编码，得到初始鲸鱼种群；
[0012]
对rbf神经网络进行初始网络训练得到网络宽度、中心和权值，进行实值编码，将每个rbf神经网络作为鲸鱼种群个体，得到初始鲸鱼种群；
[0013]
步骤3、计算初始鲸鱼个体适应度；
[0014]
将rbf神经网络输出预测值和实际值的的最小均方误差作为鲸鱼个体适应度值，通过计算rbf神经网络输出预测值和实际值的最小均方误差来衡量每次网络结构优化结果的好坏程度；
[0015]
所述rbf神经网络输出预测值和实际值的最小均方误差z如下公式所示：
[0016][0017]
其中，y
ij
为rbf神经网络输出的预测值，为待测样本空间的理论实际值，k为训练样本总数，m为rbf神经网络输出层神经元个数；
[0018]
步骤4、对鲸鱼种群进行寻优更新；根据改进woa算法更新鲸鱼种群并采用适应度函数计算个体适应度值；
[0019]
步骤4.1、基于概率偏好选择机制确定鲸鱼种群选择包围猎物和捕食猎物的生成概率；
[0020]
设定鲸鱼种群在选择包围猎物和捕食猎物的生成概率，如下公式所示：
[0021][0022]
其中，rsn()为偏态分布随机数生成函数，t
max
表示最大迭代次数，t为当前迭代次数；如果生成概率不在[0,1]间，则对生成概率的边界进行约束，如下公式所示：
[0023][0024]
步骤4.2、对woa算法的系数向量和进行非线性修正；
[0025]
系数向量的值由收敛因子a决定，因此，首先对收敛因子a进行修正，修正后的收敛因子a如下公式所示：
[0026]
a＝2(e-αt-e-βt
)
[0027]
其中，a∈[2,0]，α为控制参数a衰减的参数，β为控制参数a上升的参数；
[0028]
进而修正后的参数如下公式所示：
[0029][0030]
是控制最优鲸鱼个体与其它鲸鱼距离的一个重要步长参数，将系数向量修正为如下公式所示：
[0031][0032]
其中，randn()表示生成一个正态分布随机数；
[0033]
步骤4.3、进行权值位置更新；
[0034]
为加快鲸鱼群向最优鲸鱼个体移动并快速包围猎物的过程，引入非线性扰动因子增强woa算法全局勘探和局部开发能力，提高算法收敛精度，如下公式所示：
[0035][0036]
其中，表示第t次迭代时鲸鱼群体中最优解位置向量，表示最优鲸鱼个体与其它个体间的距离，ω为非线性扰动因子，如下公式所示：
[0037][0038]
其中，ω∈[0.3,1.1]；
[0039]
将鲸鱼种群中鲸鱼位置更新公式修正为：
[0040][0041]
式中，表示当前鲸鱼与猎物间的距离，b是定义对数螺旋形的常数，l为[-1,1]间的随机数，和分别表示第t次和第t+1次迭代时鲸鱼所在位置；
[0042]
步骤5、判定是否满足终止条件，即达到给定的最大迭代次数；若满足则输出鲸鱼种群的最优个体及最优宽度、中心和权值；反之跳转到步骤4继续执行优化；
[0043]
步骤6、更新rbf神经网络的参数，并利用更新后的rbf神经网络对待测数据集进行测试。
[0044]
采用上述技术方案所产生的有益效果在于：本发明提供的一种基于改进woa算法的rbf神经网络参数优化方法，首先通过模拟鲸鱼狩猎的个体偏好及鲸鱼群位置移动的非线性权值更新机制对传统鲸鱼优化算法进行改进，以改进的鲸鱼优化算法对rbf神经网络参数进行优化，进而使rbf神经网络的识别精度更高。
附图说明
[0045]
图1为本发明实施例提供的基于改进woa算法的rbf神经网络参数优化方法的流程图。
具体实施方式
[0046]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0047]
本实施例中，基于改进woa算法的rbf神经网络参数优化方法，如图1所示，包括以下步骤：
[0048]
步骤1、初始化rbf神经网络参数，由rbf神经网络参数构成鲸鱼种群；
[0049]
设定的rbf神经网络结构中，x＝[x1,x2,
…
,xn]
t
为网络的n维输入，y＝[y1,y2,
…
,
ym]
t
为网络的m维输出；rbf神经网络的隐藏层具有h个神经节点，径向基函数的中心为c1,c2,
…
,ch；网络宽度为d1,d2,
…
,dh；联结权值为w
ij
，i＝1,2,
…
,h；j＝1,2,
…
,m；则由rbf神经网络参数构成的鲸鱼种群为：
[0050]
w＝[c1,c2,
…
,ch,d1,d2,
…
,dh,w
11
,w
12
,
…w1m
,w
21
,
…
,w
hm
]
[0051]
步骤2、对rbf神经网络参数进行编码，得到初始鲸鱼种群；
[0052]
对rbf神经网络进行初始网络训练得到网络宽度、中心和权值，进行实值编码，将每个rbf神经网络作为鲸鱼种群个体，得到初始鲸鱼种群；
[0053]
步骤3、计算初始鲸鱼个体适应度；
[0054]
将rbf神经网络输出预测值和实际值的的最小均方误差作为鲸鱼个体适应度值，通过计算rbf神经网络输出预测值和实际值的最小均方误差来衡量每次网络结构优化结果的好坏程度；
[0055]
所述rbf神经网络输出预测值和实际值的最小均方误差z如下公式所示：
[0056][0057]
其中，y
ij
为rbf神经网络输出的预测值，为待测样本空间的理论实际值，k为训练样本总数，m为rbf神经网络输出层神经元个数；
[0058]
步骤4、对鲸鱼种群进行寻优更新；根据改进woa算法更新鲸鱼种群并采用适应度函数计算个体适应度值；
[0059]
步骤4.1、基于概率偏好选择机制确定鲸鱼种群选择包围猎物和捕食猎物的生成概率；
[0060]
现有woa算法假定鲸鱼群在选择包围猎物和捕食猎物的概率均为50％,且算法每次迭代包围猎物和捕食猎物的生成概率p都服从[0,1]间的均匀分布随机数，这与实际自然界中的动物狩猎准则不符。在自然界中,当捕食者发现猎物后,捕食者对猎物抓捕有着偏好行为,包围猎物和捕食猎物的概率随时间变化呈现相应变化,故生成概率p并不服从均匀分布。
[0061]
设定鲸鱼种群在选择包围猎物和捕食猎物的生成概率，如下公式所示：
[0062][0063]
其中，rsn()为azzalinia提出的偏态分布随机数生成函数，t
max
表示最大迭代次数，t为当前迭代次数；
[0064]
如果生成概率不在[0,1]间，则对生成概率的边界进行约束，如下公式所示：
[0065][0066]
步骤4.2、对woa算法的系数向量和进行非线性修正；
[0067]
在woa算法中，和是控制鲸鱼群搜索，包围和捕食猎物的重要参数。因此,为提高并加快woa的寻优性能和收敛性能，对系数向量和进行修正；系数向量的值由收敛因子a决定，因此，首先对收敛因子a进行修正，修正后的收敛因子a如下公式所示：
[0068]
a＝2(e-αt-e-βt
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0069]
其中，a∈[2,0]，α为控制参数a衰减的参数，β为控制参数a上升的参数；
[0070]
进而修正后的参数如下公式所示：
[0071][0072]
是控制最优鲸鱼个体与其它鲸鱼距离的一个重要步长参数，将系数向量修正为如下公式所示：
[0073][0074]
其中，randn()表示生成一个正态分布随机数；
[0075]
步骤4.3、进行权值位置更新；
[0076]
在woa中,当时,鲸鱼群向最优鲸鱼个体靠拢并对猎物进行包围。为加快鲸鱼群向最优鲸鱼个体移动并快速包围猎物的过程，引入非线性扰动因子增强woa算法全局勘探和局部开发能力，提高算法收敛精度，如下公式所示：
[0077][0078]
其中，表示第t次迭代时鲸鱼群体中最优解位置向量，表示最优鲸鱼个体与其它个体间的距离，ω为非线性扰动因子；
[0079]
为对应提出的概率偏好选择机制的两个阶段，设置ω在迭代前期为非线性递增，在迭代后期为非线性递减，如下公式所示：
[0080][0081]
其中，ω∈[0.3,1.1]；
[0082]
在算法迭代搜索过程中，非线性扰动因子ω有两个功能：当ω∈[0.3,1]时,增大算法跳出局部最优的能力；当ω∈(1,1.1]时,算法搜索步长增大从而使算法收敛速度加快；
[0083]
将鲸鱼种群中鲸鱼位置更新公式修正为：
[0084][0085]
式中，表示当前鲸鱼与猎物间的距离，b是定义对数螺旋形的常数，l为[-1,1]间的随机数，和分别表示第t次和第t+1次迭代时鲸鱼所在位置；
[0086]
本实施例中，现有woa算法的数学模型可描述如下：
[0087]
(1)搜索猎物
[0088]
在尚未确定猎物大致位置之前,鲸鱼群通过随机游走和位置共享机制更新群体位置。该过程可表述为
[0089][0090]
[0091]
其中，t表示当前迭代次数，表示第t+1次时鲸鱼所在位置,表示鲸鱼群中随机个体所在位置(初始群体)，表示当前个体与随机鲸鱼个体间的距离，和为系数向量,可表示为
[0092][0093][0094]
其中,a为算法收敛因子,随着迭代的进行由2减小至0,表示为：
[0095][0096]
式中,t为当前迭代次数,t
max
为算法最大迭代次数。
[0097]
当时,算法模拟鲸鱼搜索猎物过程，探索解空间中最优解所在位置；随着算法的不断迭代,随a线性递减,直到时,算法进入包围猎物阶段。
[0098]
(2)靠近并包围猎物
[0099]
随着迭代次数的增加，猎物所在位置被鲸鱼群中最优鲸鱼个体确定，其它鲸鱼个体通过位置共享方式以收缩包围方式逐渐靠近猎物，该过程可表述为
[0100][0101]
其中,表示当前鲸鱼群体中最优解位置向量，表示最优鲸鱼个体与其它个体间的距离。
[0102]
(3)包围并捕获猎物
[0103]
当鲸鱼群靠近猎物后，座头鲸通过螺旋位置更新方式对猎物进行捕食。螺旋位置更新方式表述为
[0104][0105]
式中,表示当前鲸鱼与猎物间的距离,b是定义对数螺旋形状的常数，l为[-1,1]间的随机数。为同步模拟鲸鱼群包围和狩猎的围猎行为，假设鲸鱼执行其中任一行为的概率均为50％,则鲸鱼围猎行为可表述为：
[0106][0107]
式中，p为[0,1]间随机数。
[0108]
本实施例中，改进woa算法的执行伪码如表1所示：
[0109]
[0110][0111]
步骤5、判定是否满足终止条件，即达到给定的最大迭代次数；若满足则输出鲸鱼种群的最优个体及最优宽度、中心和权值；反之跳转到步骤4继续执行优化；
[0112]
步骤6、更新rbf神经网络的参数，并利用更新后的rbf神经网络对待测数据集进行测试。
[0113]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
技术特征：1.一种基于改进woa算法的rbf神经网络参数优化方法，其特征在于：包括以下步骤：步骤1、初始化rbf神经网络参数，由rbf神经网络参数构成鲸鱼种群；步骤2、对rbf神经网络参数进行实值编码，得到初始鲸鱼种群；对rbf神经网络进行初始网络训练得到网络宽度、中心和权值，进行实值编码，将每个rbf神经网络作为鲸鱼种群个体，得到初始鲸鱼种群；步骤3、计算初始鲸鱼个体适应度；将rbf神经网络输出预测值和实际值的的最小均方误差作为鲸鱼个体适应度值，通过计算rbf神经网络输出预测值和实际值的最小均方误差来衡量每次网络结构优化结果的好坏程度；步骤4、对鲸鱼种群进行寻优更新；根据改进woa算法更新鲸鱼种群并采用适应度函数计算个体适应度值；步骤4.1、基于概率偏好选择机制确定鲸鱼种群选择包围猎物和捕食猎物的生成概率；步骤4.2、对woa算法的系数向量和进行非线性修正；步骤4.3、进行权值位置更新；步骤5、判定是否满足终止条件，即达到给定的最大迭代次数；若满足则输出鲸鱼种群的最优个体及最优宽度、中心和权值；反之跳转到步骤4继续执行优化；步骤6、更新rbf神经网络的参数，并利用更新后的rbf神经网络对待测数据集进行测试。2.根据权利要求1所述的基于改进woa算法的rbf神经网络参数优化方法，其特征在于：所述步骤1包括以下步骤：设定的rbf神经网络结构中，x＝[x1,x2,
…
,x
n
]
t
为网络的n维输入，y＝[y1,y2,
…
,y
m
]
t
为网络的m维输出；rbf神经网络的隐藏层具有h个神经节点，径向基函数的中心为c1,c2,
…
,c
h
；网络宽度为d1,d2,
…
,d
h
；联结权值为w
ij
，i＝1,2,
…
,h；j＝1,2,
…
,m；则由rbf神经网络参数构成的鲸鱼种群为：w＝[c1,c2,
…
,c
h
,d1,d2,
…
,d
h
,w
11
,w
12
,
…
w
1m
,w
21
,
…
,w
hm
]。3.根据权利要求1所述的基于改进woa算法的rbf神经网络参数优化方法，其特征在于：步骤3所述rbf神经网络输出预测值和实际值的最小均方误差z如下公式所示：其中，y
ij
为rbf神经网络输出的预测值，为待测样本空间的理论实际值，k为训练样本总数，m为rbf神经网络输出层神经元个数。4.根据权利要求3所述的基于改进woa算法的rbf神经网络参数优化方法，其特征在于：所述步骤4.1的具体方法为：设定鲸鱼种群在选择包围猎物和捕食猎物的生成概率，如下公式所示：其中，rsn()为偏态分布随机数生成函数，t
max
表示最大迭代次数，t为当前迭代次数；
如果生成概率不在[0,1]间，则对生成概率的边界进行约束，如下公式所示：5.根据权利要求4所述的基于改进woa算法的rbf神经网络参数优化方法，其特征在于：所述步骤4.2的具体方法为：系数向量的值由收敛因子a决定，因此，首先对收敛因子a进行修正，修正后的收敛因子a如下公式所示：a＝2(e-αt-e-βt
)其中，a∈[2,0]，α为控制参数a衰减的参数，β为控制参数a上升的参数；进而修正后的参数如下公式所示：如下公式所示：是控制最优鲸鱼个体与其它鲸鱼距离的一个重要步长参数，将系数向量修正为如下公式所示：其中，randn()表示生成一个正态分布随机数。6.根据权利要求5所述的基于改进woa算法的rbf神经网络参数优化方法，其特征在于：所述步骤4.3的具体方法为：为加快鲸鱼群向最优鲸鱼个体移动并快速包围猎物的过程，引入非线性扰动因子增强woa算法全局勘探和局部开发能力，提高算法收敛精度，如下公式所示：其中，表示第t次迭代时鲸鱼群体中最优解位置向量，表示最优鲸鱼个体与其它个体间的距离，ω为非线性扰动因子，如下公式所示：其中，ω∈[0.3,1.1]；将鲸鱼种群中鲸鱼位置更新公式修正为：式中，表示当前鲸鱼与猎物间的距离，b是定义对数螺旋形的常数，l为[-1,1]间的随机数，和分别表示第t次和第t+1次迭代时鲸鱼所在位置。
技术总结本发明提供一种基于改进WOA算法的RBF神经网络参数优化方法，涉及机器学习技术领域。该方法首先初始化RBF神经网络参数，由RBF神经网络参数构成鲸鱼种群；并对RBF神经网络参数进行实值编码，得到初始鲸鱼种群；再计算初始鲸鱼个体适应度；并根据改进WOA算法更新鲸鱼种群并采用适应度函数计算个体适应度值；最终得到鲸鱼种群的最优个体及最优宽度、中心和权值；最好更新RBF神经网络的参数，并利用更新后的RBF神经网络对待测数据集进行测试。该方法通过改进的鲸鱼优化算法对RBF神经网络参数进行优化，进而使RBF神经网络的识别精度更高。进而使RBF神经网络的识别精度更高。进而使RBF神经网络的识别精度更高。
技术研发人员：刘威 高琪 郭旭颖
受保护的技术使用者：辽宁工程技术大学
技术研发日：2022.03.29
技术公布日：2022/7/5
