本发明属于仿生鱼，尤其涉及一种基于神经网络的视觉分类方法与仿生机器鱼避障方法。
背景技术：
1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
2、近年来，海洋资源的战略地位日益重要，人类也加快了探索海洋的步伐。各种类型的水下机器人已经出现。鱼类可以通过长期的遗传进化和自然选择来适应不断变化的水下环境。与传统的水下推进器相比，它在推进效率、机动性和隐身性方面具有显著的优势。此外，随着科学技术的发展，仿生机器鱼在水下探测、采样、救援、水质检测等方面发挥着巨大的作用。
3、发明人发现，目前仿生机器鱼在水下进行障碍识别与避障技术在实际应用中仍面临诸多问题。机器鱼在进行水下作业的过程中，需要用到视觉来满足进行复杂情况的任务需求。机器鱼再复杂水域工作时，由于受到水下光照、环境、水体质量与复杂多样的环境所影响，无法像鱼类一样对采集到的画面进行合理的分类，障碍物很可能会被误认为可穿越的空间，增加了识别与避障的难度，进而会导致机器鱼在任务过程中，出现碰撞到水下障碍，造成设备的损坏问题。其次，水下作业需要机器鱼能快速准确的进行响应，这对分类算法与设备的实时性、稳定性也是一大考验。以上问题导致仿生机器鱼在水下游动时不能很好的将摄像头获取到的障碍物进行分类，并进行障碍物躲避。
技术实现思路
1、本发明从机器鱼水下障碍物识别与避障策略方案原因入手：
2、为了解决上述问题，本发明的提供一种仿生机器鱼水下视觉分类与避障方法。本发明通过在构建的虚拟环境中，随机布置障碍物，通过使用图像采集插件获取障碍物数据，采用融合卷积神经网络和脉冲神经网络的算法对障碍物进行训练与学习，并针对障碍物是否可穿越再次分类。将训练好的网络嵌入仿真环境的机器鱼中，对障碍物进行识别后，能够通过构建人工势场进行避障，实现机器鱼的视觉识别障碍与避障游动，提升水下工作的效率。
3、为了实现上述目的，本发明采用如下技术方案：
4、一种仿生机器鱼水下视觉障碍识别方法，包括以下步骤：
5、使用虚幻引擎构建仿真虚拟环境，在虚拟环境中，障碍物种类不得低于五种，每种需有三个及以上不同的障碍；
6、通过蓝图功能，为每个障碍物编写随机生成属性，随机生成的内容需要包括大小、旋转角度、生成区域、翻转等属性；
7、通过仿真环境内的recording功能，获取环境内的障碍物数据信息，并对不同种类的障碍物进行初始权重的赋值，得到带权重的预测训练样本集；
8、构建神经网络算法，采用神经网络算法对采集到的数据进行分类，并使用优化算法对网络进行优化，以减少网络的复杂性，分类出障碍物类型是否为可穿越；
9、针对所处环境构建人工势场，设定起点与终点，在机器鱼游动过程中实现势场合力计算
10、计算完成后，根据神经网络算法分类的可否穿越性，进行动作规划，直到抵达终点。
11、作为可选择的实施方式，所构建的仿真虚拟环境以海洋为基础，大小为842×829×3635m3，在该区域内障碍物能够实现随机分布与生成。
12、作为可选择的实施方式，所述的数据集需从障碍物的各个方向分别采集，在采集时应将主要障碍物置于图像中，采集过程需分别从四个方向进行采集，随后绕障碍物进行圆周运动采集。
13、作为可选择的实施方式，在本发明中，所描述的数据集为q={a1,a2,…, b1,b2,…c1,c2}，对不同的障碍物增添权重λ={ai;bi;ci}，针对是否可穿越，再为分类结果添加是否为可穿越障碍。
14、作为可选择的实施方式，所述的神经网络算法为融合卷积神经网络与脉冲神经网络的优点，构成的深度卷积脉冲神经网络。该模型引入了脉冲编码机制，提升了对空间特征的处理能力，同时保持卷积层的特征提取能力。该模型主要包括脉冲编码层、卷积层、脉冲神经元层、池化层与全连接层。
15、作为可选择的实施方式，所述的避障算法为基于视觉的人工势场避障算法，通过神经网络训练后的模型应用于机器鱼中，通过airsim插件的实时图像捕获功能对障碍物进行分类，基于分类结果，更新势场模型以适应不同类型的障碍物。
16、作为进一步的限定，所述神经网络分类模型的实施流程为：
17、步骤101：选取适当的脉冲神经元模型，初始化分类样本集的权重以及初始化模型的超参数；
18、作为可选择的实施方式，所述的脉冲神经元模型可以选用lif（leaky integrate-and-fire）神经元模型构建网络，其数学模型为：
19、
20、式中，τm为时间常数，v为电流的膜电位，vrest为设定的静息膜电位，vth为设定的膜电位阈值。当突触前神经元的输入不超过阈值，获得的电位将回到静息状态；如果突触前神经元接收到的脉冲进行积分后到达阈值，则会发放一个脉冲信号，对突触后神经元进行刺激，激发脉冲之后进入不应期，即使给予刺激也不会给出相应的反应。工作原理如图1所示。
21、步骤102：对数据集进行脉冲编码，随后将数据输入神经网络中进行训练，并使用优化算法对网络进行优化，以减少网络的复杂性；
22、作为可选择的实施方式，所述的脉冲编码方式可以选用泊松编码。泊松编码其会以固定的速率生成随机的脉冲序列，并将其作为输入传递给网络。当输入信号达到一定强度时，神经元将产生脉冲放电，并将脉冲信号传递给后续神经元进行信息处理。
23、
24、其中k为激发脉冲的个数，时间步长t内平均发放脉冲数量为λ，也称为与像素值成正比的激发频率，t时间内未产生脉冲的概率为e-λ。
25、步骤103：分类训练结束后，针对当前的所有类别进行排序分类，选取分类准确率最低的几组，再次进行训练，并通过调节脉冲神经元
26、步骤104：分类训练结束后，再构建相同结构的二分类网络，针对分类结果是否可穿越再分类；
27、作为可选择的实施方式，所述脉冲神经网络优化算法的目标函数为最小的损失函数，可以使用突触时效依赖可塑性（stdp）确定，具体的数学模型为：
28、
29、其中，ωij是突触i到j的权重变化量，a+和a-是增益和减益的幅度常数，δtij是突触前神经元脉冲与突触后神经元脉冲之间的时间差，η是学习率。τ+和τ-分别是前向和后向时效的时间常数。
30、作为可选择的实施方式，所述优化算法具体为突触时效依赖可塑性、突触延迟可塑性、多巴胺调制优化、权重共享与稀疏化等算法中的其中一种。
31、作为可选择的网络模型与策略，包括脉冲编码策略、脉冲神经元模型、脉冲神经元间的突触模型等。
32、作为可选择的实施方式，所述的基于视觉的人工势场避障算法的具体流程为：
33、步骤201：针对分类结果，更新势场模型，针对不同类型的障碍物，设置不同的排斥势场函数：
34、
35、其中，kobs,i和ρi是针对第类障碍物的排斥势场系数和影响范围。
36、步骤202：通过airsim插件实时获取障碍物的图像，根据神经网络的分类结果来调整势场模型，并生成合势场。
37、
38、其中，ugoal(x)为目标点的引力，∑uoks,i(x)为所有障碍物的合斥力。
39、步骤203：在合势场中计算出机器鱼所受的力，以实现到达指定目标点同时躲避障碍物：
40、
41、步骤204：使用计算出的合力更新机器鱼的速度与运动方向：
42、
43、其中，v=f(x)为当前机器鱼的速度。实现在游动到目标点时的避障功能。
44、本发明使用深度卷积脉冲神经网络对复杂水域中的障碍物进行分类识别。该网络模型融合了卷积神经网络与脉冲神经网络的优点，通过卷积提取图像数据的特征，并转换为脉冲信号，随后利用脉冲编码的方式，将脉冲信号传递到后续的神经元层进行分类任务。由于深度卷积脉冲神经网络的稀疏性，使其能够有效地处理复杂的数据，增强了机器鱼在视觉上的仿生性。其次，提出了一种基于视觉的人工势场避障算法。在人工势场算法的基础上，增添视觉模块，能够提供实时的环境信息，能够使机器鱼及时感知障碍物的位置、形状与距离，更精细地调整机器鱼的避障路径，实时更新避障策略，实现利用视觉检测障碍，并实时更新与障碍物间的数据，进而实时计算引力与斥力，指导及其与的移动与避障行为。并且，通过使用虚幻引擎，构建一种水下的虚拟环境，其中有珊瑚、礁石、水草与鲨鱼等障碍物。为每种障碍物添加随机生成的属性，以构建复杂、随机的水域模型。
45、本发明的有益效果是：
46、本发明的提供一种仿生机器鱼水下障碍物识别与避障方法。该方法利用卷积神经网络与脉冲神经网络融合，通过使用卷积神经网络提取特征的能力与脉冲神经网络生物合理性、稀疏性与时间编码的特性，使网络保持生物真实性的同时保持更优的学习效果。所构建的网络能够精细准确地对机器鱼当前所获取地视觉信息进行识别，提高了机器鱼视觉系统的可靠性与适用性，以便机器鱼更好地观察水下环境。当识别出障碍物后，机器鱼能够通过视觉结合的人工势场算法，实现避障动作。
1.一种仿生机器鱼水下视觉障碍识别方法，其特征是：包括以下步骤：
2.如权利要求1所述的一种仿生机器鱼水下视觉障碍识别方法，其特征是：为了模拟复杂水域，使用虚幻引擎构建仿真海洋环境，设置多种不同类型的障碍物，为每种障碍物添加随机生成属性以模拟真实的复杂水域环境。
3.如权利要求1所述的一种仿生机器鱼水下视觉障碍识别方法，其特征是：所述神经网络算法为深度卷积脉冲神经网络，该模型融合了卷积神经网络和脉冲神经网络，包括脉冲编码层、卷积层、脉冲神经元层、池化层与全连接层。
4.如权利要求1所述的一种仿生机器鱼水下视觉障碍识别方法，其特征是：所述神经网络分类模型的实施流程为：
5.如权利要求1所述的一种仿生机器鱼水下视觉障碍识别方法，其特征是：神经网络对采集到的数据集进行分类，以快速准确识别每种类型障碍物为目标，并采用突触时效可塑性进行优化以确保损失函数最小；所述优化方法使用突触时效依赖可塑性（stdp）进行确定。网络输出后，计算损失函数，stdp根据神经元的发放时间差，更新突触之间的权重。
6.使用的突触时效可塑性数学模型如下所示：
7.如权利要求1所述的一种仿生机器鱼水下视觉障碍识别方法，其特征是：所述的避障算法为基于视觉的人工势场避障算法，通过神经网络训练后的模型应用于机器鱼中，通过airsim插件的实时图像捕获功能对障碍物进行分类，基于分类结果，更新势场模型以适应不同类型的障碍物。
8.如权利要求1所述的一种仿生机器鱼水下视觉障碍识别方法，其特征是：所述的基于视觉的人工势场避障算法的具体流程为：
