本发明实施例涉及数据处理，尤其涉及基于人工智能(artificialintelligence，ai)的图像处理、计算机视觉，尤其涉及一种图像处理方法及装置。
背景技术：
1、随着计算机技术、人工智能技术的发展，可以通过基于人工智能的图像处理方式对图像数据进行处理，从而达到具体的业务需求。
2、例如图像对齐、目标检测、目标追踪等图像处理任务一般针对rgb图像，虽然rgb图像可以提供纹理信息、语义信息，但是受限于rgb图像的帧率较低，因此在例如高动态范围、高速运动以及高图像质量的困难场景下，基于rgb图像进行图像对齐、目标检测、目标追踪等视觉任务的效果欠佳。事件相机作为一种具有微秒反应时间的仿生传感器，事件相机可以通过检测每个像素的亮度变化来生成一个事件，因此，事件相机更适合在高动态范围和高速运动等场景下使用。
3、由此，如何利用rgb图像帧与事件帧进行优势互补，以适应例如高动态范围、高速运动等困难场景下的图像对齐、目标检测、目标追踪等图像处理任务是一个亟需解决的技术问题。
技术实现思路
1、本技术提供一种图像处理方法和装置，能够适应例如高速度、高动态等场景下的图像处理任务，提高图像处理任务的准确性和鲁棒性。
2、第一方面，本技术涉及图像处理方法，包括：根据事件帧与图像帧，确定目标对齐图。
3、事件帧是根据事件帧序列确定的，图像帧是根据rgb图像帧序列确定的，rgb图像帧序列具有第一帧率，事件帧序列具有第二帧率，第一帧率低于第二帧率。目标对齐图为图像帧的内容对齐到对应事件帧的内容的图像，目标对齐图的帧率为第二帧率。
4、第一帧率表征rgb图像帧序列的输出频率，第一帧率可以由rgb相机确定。第二帧率表征事件帧序列的输出频率，第二帧率可以由事件帧累计的时间确定。
5、本技术实施例，由于事件帧的帧率较高，且事件帧体现光强信息，而图像帧虽然帧率较低但是具有语义、纹理等图像信息，因此，将图像帧的内容对齐到事件帧的内容可以理解为将图像帧的例如语义信息、纹理信息等图像信息作为补充信息，该补充信息可以作用于事件帧，以得到目标对齐图，使得目标对齐图可以体现语义、纹理等图像信息，还可以体现事件帧相比于图像帧的内容差异，可以实现跨模态的图像对齐，还可以提高图像处理任务的准确性和鲁棒性。
6、另外，本技术实施例，由于事件帧是根据事件帧序列得到的，事件帧序列相比于rgb图像序列具有更高的第二帧率，通过根据事件帧与图像帧，确定的目标对齐图也具有更高的第二帧率，可以实现向更高帧率的第二帧率对齐，即可以实现跨帧率的图像对齐，具体可以对齐至较高帧率，以适应例如高速度、高动态等场景下的图像处理任务。
7、在一种可能的实施例中，根据事件帧与图像帧，确定目标对齐图包括：利用事件帧指导图像帧进行跨模态对齐，得到模态对齐图。根据模态对齐图与事件帧进行帧率对齐，得到目标对齐图。
8、模态对齐图可以理解为图像帧的内容对齐到对应事件帧的内容的图像，这使得后续根据模态对齐图得到的目标对齐图也是图像帧的内容对齐到事件帧的内容的图像。
9、本技术实施例，通过利用事件帧指导图像帧进行跨模态对齐，得到的模态对齐图是图像模态转换的图像，与此同时，由于事件帧对应的帧率较高，因此，利用事件帧指导图像帧进行跨模态对齐得到的模态对齐图的数量是与第二帧率匹配的，通过根据模态对齐图与事件帧进行帧率对齐可以理解为将每一个模态对齐图对齐至相应的事件帧的时刻，由此得到的目标对齐图具有第二帧率且与事件帧的时刻是匹配的。
10、本技术实施例，通过根据模态对齐图与事件帧进行帧率对齐，可以使得目标对齐图对齐至较高的第二帧率，可以适应于高动态、高速度场景下的图像处理任务。在例如高速运动、高动态场景下，相邻的两帧图像中的目标对象的位姿可能不同，通过帧率对齐还可以使得相邻的两个目标对齐图基于图像内容的位置对齐，例如可以便于后续准确地进行下游的图像处理任务。
11、在一种可能的实施例中，利用事件帧指导图像帧进行跨模态对齐，得到模态对齐图，包括：根据差异特征与图像帧，确定目标图像帧。利用事件帧指导目标图像帧进行跨模态对齐，得到模态对齐图。
12、差异特征表征事件帧相对于图像帧的差异。
13、例如可以利用差异特征与图像帧的基于每一个像素点的像素值加和结果表征图像帧。
14、本技术实施例，事件帧相对于图像帧的差异可以理解为：在对应第二帧率的时间间隔内，事件帧的内容相比于图像帧的内容的变化。由于目标图像帧是根据差异特征与图像帧得到的，因此目标图像帧可以表征在事件帧对应的第二帧率的任意时刻，事件帧的内容相比于图像帧的内容变化后的图像。利用事件帧指导目标图像帧进行跨模态对齐，得到的模态对齐图是图像内容与事件帧匹配的更加准确的图像。
15、在一种可能的实施例中，利用事件帧指导目标图像帧进行跨模态对齐，得到模态对齐图，包括：根据事件帧与目标图像帧进行自适应实例归一化，得到模态对齐图。
16、自适应实例归一化即adaptive instance normalization，简称为adain。adain可以根据内容输入x和风格输入y进行风格转换，将y的风格迁移到x的内容上，从而完成两个内容输入与风格输入的整合。本技术实施例，内容输入x例如可以包括目标图像帧，风格输入y例如可以包括事件帧，通过自适应实例归一化可以完成图像风格转换，使得经过图像风格转换的模态对齐图具有与事件帧一致的图像风格，并且模态对齐图还可以具有纹理、语义信息，实现跨模态对齐。
17、在一种可能的实施例中，根据模态对齐图与事件帧进行帧率对齐，得到目标对齐图，包括：根据模态对齐图与事件帧，确定卷积核偏移量。根据卷积核偏移量进行可变形卷积处理，得到目标对齐图。
18、卷积核偏移量表征作用于模态对齐图的卷积核与作用于事件帧的卷积核两者之间的偏移量。
19、例如可以将模态对齐图与事件帧进行融合，对融合后的图像进行卷积处理，得到卷积核偏移量。
20、一般情况下，卷积核是一个标准矩阵的形式，在例如图像内容的形状不规则或者图像内容在短时间内产生变化的情况下，利用标准矩阵形式的卷积核进行采样的采样效率较低。
21、本技术实施例，通过根据模态对齐图与事件帧，确定的卷积核偏移量可以追踪事件帧的图像内容的变化，由此可以得到更加准确的目标对齐图，还可以适应高速度、高动态的短时间内的图像内容变化的具体场景。
22、在一种可能的实施例中，图像处理方法还包括：对目标对齐图进行分类和回归，得到目标对象的边界框。
23、事件帧的内容与图像帧的内容包括目标对象。
24、例如可以利用分类器对目标对齐图进行分类，得到目标对象的置信度。还可以利用回归器对目标对齐图进行回归，得到目标对象所在的边界框。边界框可以利用中心点坐标、宽度和高度三者表征。
25、本技术实施例，通过对目标对齐图进行分类和回归，得到目标对象的边界框，可以用于执行目标追踪这一具体的图像处理任务。例如可以应用于智能机器人、无人驾驶飞机以及自动驾驶的领域，并且由于目标对齐图实现了跨帧率对齐和跨模态对齐，因此，基于目标对齐图进行分类和回归可以适应于高速度、高动态以及准确性要求更高的场景下的目标追踪。
26、在一种可能的实施例中，对目标对齐图进行分类和回归，得到目标对象的边界框，包括：对目标对齐图与事件帧进行融合，得到第一融合图。对第一融合图进行分类和回归，得到目标对象的边界框。
27、本技术实施例，是基于事件帧的较高帧率进行图像对齐的，在根据事件帧进行操作确定目标对齐图的过程中，可能存在基于帧率的对齐误差，本技术实施例通过对目标对齐图与事件帧进行融合，可以将事件帧作为基于帧率进行图像对齐的基准，降低基于帧率的对齐误差，得到更加准确的第一融合图。后续对第一融合图进行分类和回归，得到的目标对象的边界框也更加准确。
28、在一种可能的实施例中，对目标对齐图进行分类和回归，得到目标对象的边界框，包括：对搜索分支的第一融合图与模板分支的第一融合图进行融合，得到第二融合图。对第二融合图进行分类和回归，得到目标对象的边界框。
29、执行目标追踪任务的神经网络模型可以包括搜索分支与模板分支。在执行目标追踪任务的情况下，例如可以先进行目标识别，已知目标对象的事件帧和图像帧作为模板分支的输入，其他的事件帧和图像帧，可以作为搜索分支的输入。
30、本技术实施例，在根据目标对齐图确定目标对象的边界框的过程中，可能存在边界框回归误差，本技术实施例，通过对搜索分支的第一融合图与模板分支的第一融合图进行融合，可以将模板分支的第一融合图作为边界框回归的基准，并将得到的第二融合图进行分类和回归，可以降低边界框回归误差，目标追踪更准确。
31、在一种可能的实施例中，图像处理方法还包括：对事件帧与图像帧进行特征提取，分别得到事件特征与图像特征。
32、事件特征与图像特征用于确定目标对齐图。
33、例如对事件帧与图像帧进行特征提取，分别得到事件特征与图像特征。特征提取的方式例如可以是卷积处理等。
34、本技术实施例，通过对事件帧与图像帧进行特征提取，得到的事件特征与图像特征具有更优的表征性，根据事件特征与图像特征可以高效确定目标对齐图，并且目标对齐图更准确。
35、在一种可能的实施例中，对事件帧进行特征提取，得到事件特征，包括：对事件帧进行特征提取，得到初始事件特征。对初始事件特征进行通道注意力增强和/或空间注意力增强，得到事件特征。
36、本技术实施例，通过对事件帧进行特征提取，得到初始事件特征以及对初始事件特征进行空间注意力增强和/或通道注意力增强，可以屏蔽对于图像处理任务相关性较低的特征，以减少数据运算量，通过关注对于图像处理任务更相关的事件特征，有效提高图像处理任务的效率。
37、第二方面，本技术涉及一种图像处理装置，包括：目标对齐图确定模块，用于根据事件帧与图像帧，确定目标对齐图。
38、事件帧是根据事件帧序列确定的，图像帧是根据rgb图像帧序列确定的，rgb图像帧序列具有第一帧率，事件帧序列具有第二帧率，第一帧率低于第二帧率。目标对齐图为图像帧的内容对齐到对应事件帧的内容的图像，目标对齐图的帧率为第二帧率。
39、在一种可能的实施例中，目标对齐图确定模块包括：跨模态对齐子模块和帧率对齐子模块。跨模态对齐子模块，用于利用事件帧指导图像帧进行跨模态对齐，得到模态对齐图。帧率对齐子模块，用于根据模态对齐图与事件帧进行帧率对齐，得到目标对齐图。
40、在一种可能的实施例中，跨模态对齐子模块包括：图像帧确定单元和跨模态对齐单。图像帧确定单元，用于根据差异特征与图像帧，确定目标图像帧。跨模态对齐单元，用于利用事件帧指导目标图像帧进行跨模态对齐，得到模态对齐图。
41、差异特征表征事件帧相对于图像帧的差异。
42、在一种可能的实施例中，跨模态对齐单元包括：自适应实例归一化子单元，用于根据事件帧与目标图像帧进行自适应实例归一化，得到模态对齐图。
43、在一种可能的实施例中，帧率对齐子模块包括：卷积核偏移量确定单元和可变形卷积处理单元。卷积核偏移量确定单元，用于根据模态对齐图与事件帧，确定卷积核偏移量。可变形卷积处理单元，用于根据卷积核偏移量进行可变形卷积处理，得到目标对齐图。
44、卷积核偏移量表征作用于模态对齐图的卷积核与作用于事件帧的卷积核两者之间的偏移量。
45、在一种可能的实施例中，图像处理装置还包括：边界框确定模块，用于对目标对齐图进行分类和回归，得到目标对象的边界框。
46、事件帧的内容与图像帧的内容包括目标对象。
47、在一种可能的实施例中，边界框确定模块包括：融合子模块和边界框确定子模块。融合子模块，用于对目标对齐图与事件帧进行融合，得到第一融合图。边界框确定子模块，用于对第一融合图进行分类和回归，得到目标对象的边界框。
48、在一种可能的实施例中，边界框确定子模块包括：融合单元和边界框确定单元。融合单元，用于对搜索分支的第一融合图与模板分支的第一融合图进行融合，得到第二融合图。边界框确定单元，用于对第二融合图进行分类和回归，得到目标对象的边界框。
49、在一种可能的实施例中，图像处理装置还包括：特征提取模块，用于对事件帧与图像帧进行特征提取，分别得到事件特征与图像特征。
50、事件特征与图像特征用于确定目标对齐图。
51、在一种可能的实施例中，特征提取模块包括：初始事件特征确定子模块和事件特征确定子模块。初始事件特征确定子模块，用于对事件帧进行特征提取，得到初始事件特征。事件特征确定子模块，用于对初始事件特征进行通道注意力增强和/或空间注意力增强，得到事件特征。
52、第三方面，本技术涉及电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的图像处理方法。
53、第四方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述的图像处理方法。
54、第五方面，本技术涉及一种计算机程序产品，包括计算机程序，计算机程序存储于可读存储介质和电子设备其中至少之一上，计算机程序在被处理器执行时实现上述的图像处理方法。
1.一种图像处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其中，所述根据事件帧与图像帧，确定目标对齐图，包括：
3.根据权利要求2所述的方法，其中，所述利用所述事件帧指导所述图像帧进行跨模态对齐，得到模态对齐图，包括：
4.根据权利要求3所述的方法，其中，所述利用所述事件帧指导所述目标图像帧进行跨模态对齐，得到所述模态对齐图，包括：
5.根据权利要求2所述的方法，其中，所述根据所述模态对齐图与所述事件帧进行帧率对齐，得到目标对齐图，包括：
6.根据权利要求1-4中任一项所述的方法，还包括：
7.根据权利要求6所述的方法，其中，所述对所述目标对齐图进行分类和回归，得到目标对象的边界框，包括：
8.根据权利要求7所述的方法，其中，所述对所述目标对齐图进行分类和回归，得到目标对象的边界框，包括：
9.根据权利要求1-4中任一项所述的方法，还包括：
10.根据权利要求9所述的方法，其中，所述对所述事件帧进行特征提取，得到事件特征，包括：
11.一种图像处理装置，包括：
12.根据权利要求11所述的装置，其中，所述目标对齐图确定模块包括：
13.根据权利要求12所述的装置，其中，所述跨模态对齐子模块包括：
14.根据权利要求13所述的装置，其中，所述跨模态对齐单元包括：
15.根据权利要求12所述的装置，其中，所述帧率对齐子模块包括：
16.根据权利要求11-14中任一项所述的装置，还包括：
17.根据权利要求16所述的装置，其中，所述边界框确定模块包括：
18.根据权利要求17所述的装置，其中，所述边界框确定子模块包括：
19.根据权利要求11-14中任一项所述的装置，还包括：
20.根据权利要求19所述的装置，其中，所述特征提取模块包括：
21.一种电子设备，包括：
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
23.一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。
