本技术涉及电子,尤其涉及一种图像处理方法及相关装置。
背景技术:
1、随着电子技术的进步,电子设备(比如说手机)的拍摄功能得到了快速发展。为了提高拍摄质量,部分手机已经集成了高动态范围(high-dynamic range,hdr)功能,使得手机输出的图像可以呈现更大的动态范围。
2、为了实现hdr功能,一般是对不同曝光时间的多帧图像进行融合,从而输出在较亮区域和较暗区域都有更多画面细节的hdr图像。但是,融合得到的hdr图像存在程度不一的偏色问题,影响用户的使用体验。如何对hdr图像进行颜色纠正是目前亟需解决的问题。
技术实现思路
1、本技术实施例提供的一种图像处理方法及相关装置,可纠正hdr图像的颜色,使得hdr图像的颜色接近于真实颜色。
2、第一方面,本技术提供一种图像处理方法,该方法可应用于具有拍摄功能的电子设备,在该方法中,电子设备响应于用户对拍摄界面的第一操作,获取至少一个第一图像(比如说第一图像的数量为4)和至少一个第二图像(比如说第二图像的数量为2),其中,所述第一操作用户触发电子设备拍摄高动态范围hdr图像,所述至少一个第一图像包括正常曝光图像,所述至少一个第二图像包括短曝光图像;对所述至少一个第一图像和所述至少一个第二图像进行融合处理得到所述hdr图像;对所述至少一个第一图像进行去噪处理得到非hdr图像;根据所述非hdr图像的色度和亮度来确定所述hdr图像的目标色度;保存具有所述目标色度的所述hdr图像。
3、在一种实现中,电子设备响应于用户对拍摄界面的第一操作,还可以获取至少一个第三图像(比如说第三图像的数量为1),至少一个第三图像包括长曝光图像。
4、其中,至少一个第一图像可以是在电子设备的拍摄界面上显示的预览帧,第一图像所呈现的颜色可以认为是拍摄对象的真实颜色,而至少一个第二图像或者至少一个第二图像和至少一个第三图像是为了得到hdr图像所采集的。
5、其中,本技术对至少一个第一图像进行单独去噪处理,可以最大程度减弱噪点干扰问题,使得确定的目标色度最大程度接近与真实颜色。
6、可以理解的是,为了可以展示从最暗到最亮的更大范围的亮度变化,提出了hdr技术,hdr技术通常通过连续采集不同曝光时间的两帧或多帧图像(比如说至少一个第一图像、至少一个第二图像、至少一个第三图像),并将这些图像融合得到hdr图像。在融合过程中,可将基于正常曝光时间下采集的图像(即第一图像)作为参考图像,将非正常曝光时间下采集的图像(比如说短帧图像和长帧图像)中的最佳曝光值融合到第一图像中,从而来修正第一图像中所缺失的细节最终可得到hdr图像。但是在融合修正过程中,由于神经网络模型的非线性映射,可能导致融合得到的hdr图像相较于第一图像来说,其中的非过曝光区域的像素值出现偏差(比如说红色分量r、绿色分量g和蓝色分量b之间的比例出现偏差),因此使得hdr图像的颜色出现偏差。可以理解的是,非过曝光区域可以认为是第一图像中亮度正常,没有出现过曝欠曝的区域,也即不需要进行修正的区域。因此,因为第一图像是显示在拍摄界面中的预览帧,所以可以将第一图像所呈现的颜色作为真实颜色,从而可由第一图像的颜色(比如说yuv颜色空间的色度)和纠正hdr图像的颜色(比如说yuv颜色空间的色度),使得hdr的颜色接近于真实颜色。
7、在第一方面的一种可能的实施方式中,所述根据所述非hdr图像的色度和亮度来确定所述hdr图像的目标色度,包括:
8、确定所述非hdr图像的第一亮度和第一色度,以及所述hdr图像的第二色度;
9、根据所述非hdr图像的第一亮度融合所述非hdr图像的第一色度和所述hdr图像的第二色度,确定所述hdr图像的目标色度。
10、其中,目标色度主要是为了纠正正常区域的颜色,而对于hdr图像和非hdr图像来说,正常区域的亮度是完全一致的。所以在本技术中,可在yuv空间内按照非hdr图像的亮度来对非hdr图像的色度和hdr图像的色度进行融合得到目标色度,从而达到纠正hdr图像偏色的目的。
11、在第一方面的一种可能的实施方式中,所述根据所述非hdr图像的第一亮度融合所述非hdr图像的第一色度和所述hdr图像的第二色度,确定所述hdr图像的目标色度,包括:
12、根据所述非hdr图像的第一亮度确定所述第一颜色权重;
13、根据所述第一颜色权重、所述第一色度和所述第二色度确定所述hdr图像对应的目标色度。
14、可以理解的是,对于图像内的不同亮度来说,对其所对应的色度融合处理是不同的。在本技术中,颜色权重是用于确定第一色度和第二色度在色度融合中所占的比例,所以不同的颜色权重可对应于不同的色度融合处理,基于不同的颜色权重可确定不同的目标色度,从而不同的目标色度可匹配不同的亮度,使得最终得到的颜色纠正后的图像可呈现较好的色彩。
15、在第一方面的一种可能的实施方式中,所述根据所述非hdr图像的第一亮度确定第一颜色权重,包括:
16、确定第一亮度权重关系,其中,所述第一亮度权重关系用于表示第一亮度范围内的亮度值与预设权重范围之间的关系,所述第一亮度范围用于表明所述非hdr图像亮度;
17、根据所述非hdr图像的第一亮度从所述第一亮度权重关系中确定所述第一颜色权重。
18、其中,第一亮度权重关系包括横坐标和纵坐标之间的对应关系,横坐标为非hdr图像转换到yuv颜色空间并归一化后的亮度值,亮度值包括非hdr图像中的最大亮度值和最小亮度值,纵坐标为色度融合所需要的权重值,权重值的范围为[0,1]。因此,可根据当前亮度从第一亮度权重关系中确定其对应的颜色权重。
19、在第一方面的一种可能的实施方式中,所述第一亮度范围包括第一亮度阈值和第二亮度阈值,所述第二亮度阈值大于所述第一亮度阈值,所述预设权重范围包括第一权重值和第二权重值,所述第二权重值大于所述第一权重值;
20、所述根据所述非hdr图像的第一亮度从所述第一亮度权重关系中确定所述第一颜色权重,包括:
21、在所述非hdr图像的第一亮度小于或等于所述第一亮度阈值的情况下,所述第一颜色权重为所述第二权重值;
22、在所述非hdr图像的第一亮度大于或等于所述第二亮度阈值的情况下,所述第一颜色权重为所述第一权重值;
23、在所述非hdr图像的第一亮度小于所述第二亮度阈值且大于所述第一亮度阈值的情况下,根据所述第一亮度、所述第二权重值、所述第一亮度阈值和所述第二亮度阈值确定所述第一颜色权重。
24、示例性地,在所述非hdr图像的第一亮度小于所述第二亮度阈值且大于所述第一亮度阈值的情况下,基于线性插值方式根据所述第一亮度、所述第二权重值、所述第一亮度阈值和所述第二亮度阈值确定所述第一颜色权重。
25、其中,等于第一亮度阈值的情况也可以放在本技术实施例的另一分支中,比如说非hdr图像的第一亮度小于所述第二亮度阈值且大于或等于所述第一亮度阈值;等于第二亮度阈值的情况也可放在本技术实施例的另一分支中,比如说非hdr图像的第一亮度小于或等于所述第二亮度阈值且大于所述第一亮度阈值。
26、在本技术实施例中,第一亮度阈值对应于非hdr图像中的最低亮度,当亮度值小于或等于第一亮度阈值时,说明该亮度值对应的区域色度偏差较大,其颜色权重对应于最大权重值,属于固定融合权重;第二亮度阈值对应于非hdr图像中的最高亮度,当亮度值大于或等于第二亮度阈值时,说明该亮度值对应的区域属于过曝光区域,因本技术主要是处理非过曝区域的偏色,所以其对应的颜色权重对应的最小权重值,基于最小权重值对该区域处理后可达到不对该区域进行颜色融合的目的。而位于第一亮度阈值和第二亮度阈值中间的亮度属于非hdr图像中常见的阈值,从而可以根据具体的亮度值来确定其所对应的权重,从而适应不同的亮度,达到分区域进行色度纠正的目的。
27、在第一方面的一种可能的实施方式中,所述根据所述第一颜色权重、所述第一色度和所述第二色度确定所述hdr图像对应的目标色度,包括:
28、以滑动窗为单位分别对所述非hdr图像中的每个像素对应的第一色度和所述hdr图像中的每个像素对应的第二色度进行平均处理,得到所述非hdr图像的第一平均色度和所述hdr图像的第二平均色度;
29、根据所述滑动窗在所述非hdr图像中的第一颜色权重、所述第一平均色度和所述第二平均色度确定所述hdr图像的目标色度。
30、在本技术中,为了降低个别异常像素或局部色块对整体结果的影响,可采用逐像素的滑动窗处理,以滑动窗为单位来确定平均色度和其对应颜色权重。另外,使用滑动窗处理可降低计算复杂度,减少存储空间的需求。
31、在第一方面的一种可能的实施方式中,所述以滑动窗为单位分别对所述非hdr图像中的每个像素对应的第一色度和所述hdr图像中的每个像素对应的第二色度进行平均处理,得到所述第一平均色度和所述第二平均色度,包括:
32、对所述非hdr图像进行边缘检测确定所述非hdr图像的边缘区域;
33、判断所述非hdr图像的所述滑动窗内的像素和所述hdr图像的所述滑动窗内的像素是否位于所述边缘区域,若判断得到均不位于所述边缘区域,则对所述非hdr图像的所述滑动窗内的像素所分别对应的第一色度和所述hdr图像的所述滑动窗内的像素所分别对应的第二色度进行平均处理,得到所述第一平均色度和所述第二平均色度。
34、在第一方面的一种可能的实施方式中,所述方法还包括:
35、若判断得到所述非hdr图像的所述滑动窗内的像素和/或所述hdr图像的所述滑动窗内的像素存在位于所述边缘区域内的像素,则对所述非hdr图像的所述滑动窗内的位于所述边缘区域内的像素所分别对应的第一色度和/或所述hdr图像的所述滑动窗内的位于所述边缘区域内的像素所分别对应的第二色度进行平均处理,得到所述第一平均色度和/或所述第二平均色度。
36、在本技术中,在滑动窗处理中,加入了边缘区域的信息,可避免颜色串扰,提高目标色度的精度,进而保证最终颜色接近于真实颜色。
37、第二方面,本技术实施例提供的一种电子设备,所述电子设备包括:一个或多个处理器;存储器;其中,所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或第一方面的任一种可能的实现方式中描述的图像处理方法。
38、第三方面,本技术提供一种芯片或者芯片系统,该芯片或者芯片系统包括至少一个处理器和通信接口,通信接口和至少一个处理器通过线路互联,至少一个处理器用于运行计算机程序或指令,以执行第一方面或第一方面的任意一种可能的实现方式中描述的图像处理方法。其中,芯片中的通信接口可以为输入/输出接口、管脚或电路等。
39、在一种可能的实现中,本技术实施例中上述描述的芯片或者芯片系统还包括至少一个存储器,该至少一个存储器中存储有指令。该存储器可以为芯片内部的存储单元,例如,寄存器、缓存等,也可以是该芯片的存储单元(例如,只读存储器、随机存取存储器等)。
40、第四方面,本技术实施例提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,该计算机程序被处理器执行时,使得计算机执行如第一方面或第一方面的任一种可能的实现方式中描述的图像处理方法。
41、第五方面,本技术实施例提供了一种计算机程序产品,当该计算机程序产品在通信装置上运行时,使得该通信装置执行如第一方面或第一方面的任一种可能的实现方式中描述的图像处理方法。
42、应当理解的是,本技术中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反,可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此,本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而,还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解,无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中,还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
1.一种图像处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述非hdr图像的色度和亮度来确定所述hdr图像的目标色度,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述非hdr图像的第一亮度融合所述非hdr图像的第一色度和所述hdr图像的第二色度,确定所述hdr图像的目标色度,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述非hdr图像的第一亮度确定第一颜色权重,包括:
5.根据权利要求4所述的方法,其特征在于,所述第一亮度范围包括第一亮度阈值和第二亮度阈值,所述第二亮度阈值大于所述第一亮度阈值,所述预设权重范围包括第一权重值和第二权重值,所述第二权重值大于所述第一权重值;
6.根据权利要求3至5任一项所述的方法,其特征在于,所述根据所述第一颜色权重、所述第一色度和所述第二色度确定所述hdr图像的目标色度,包括:
7.根据权利要求6所述的方法,其特征在于,所述以滑动窗为单位分别对所述非hdr图像中的每个像素对应的第一色度和所述hdr图像中的每个像素对应的第二色度进行平均处理,得到所述非hdr图像的第一平均色度和所述hdr图像的第二平均色度,包括:
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
9.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器;存储器;其中,所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至8中任一项所述的方法。
10.一种芯片系统,其特征在于,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至8中任一项所述的方法。
11.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如权利要求1至8中任一项所述的方法。
12.一种计算机可读存储介质,包括指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1至8中任一项所述的方法。