1.本发明涉及制冷装置领域，具体地涉及一种类球形物品堆叠情况判断方法、冰箱和计算机存储介质。
背景技术：2.随着家用电器智能化的发展，对内部物品进行识别已经是只能冰箱所必需的功能。通常为了实现对冰箱内部物品的识别跟踪，来检测食材的存放日期和存放时长等，冰箱的内部储存空间内都安装有一个或多个摄像头用于拍摄物品，并对拍摄的照片进行处理后生成识别结果。目前，已有较多将摄像头设在冰箱存储区上方的拍摄识别方法。
3.然而，对于俯视拍摄的情况，在图像检测识别过程中，食材是否堆叠放置，难以判断。
技术实现要素：4.本发明的目的在于提供一种类球形物品堆叠情况判断方法、冰箱和计算机存储介质。
5.本发明提供一种类球形物品堆叠情况判断方法，包括步骤：
6.获取类球形物品存放区域俯视图像；
7.对所述俯视图像进行二值化处理，得到二值化图像；
8.对所述二值化图像进行闭运算得到闭运算图像；
9.在所述闭运算图像中识别像素连通区域，计算所述像素连通区域面积，比较所述像素连通区域与标准物品投影面积，若所述像素连通区域面积大于标准物品投影面积，则判断物品存在堆叠，否则，判断不存在堆叠。
10.作为本发明的进一步改进，还包括步骤：
11.检测识别所述俯视图像中物品种类；
12.根据物品种类获得单个物品投影面积；
13.对所述单个物品投影面积乘以系数获得所述标准物品投影面积。
14.作为本发明的进一步改进，所述在所述闭运算图像中识别像素连通区域，计算所述像素连通区域面积，比较所述像素连通区域与标准物品投影面积，若所述像素连通区域面积大于标准物品投影面积，则判断物品存在堆叠，否则，判断不存在堆叠，具体包括步骤：
15.识别所述闭运算图像中的所有所述像素连通区域；
16.依次计算每个所述像素连通区域面积；
17.挑选面积最大的所述像素连通区域，比较面积最大的所述像素连通区域与标准物品投影面积；
18.若面积最大的所述像素连通区域面积大于标准物品投影面积，则判断物品存在堆叠，否则，判断不存在堆叠。
19.作为本发明的进一步改进，所述在所述闭运算图像中识别像素连通区域，计算所
述像素连通区域面积，比较所述像素连通区域与标准物品投影面积，若所述像素连通区域面积大于标准物品投影面积，则判断物品存在堆叠，否则，判断不存在堆叠，具体包括步骤：
20.识别图中的所有所述像素连通区域；
21.依次比较所述像素连通区域与所述标准物品投影面积；
22.若存在面积大于所述标准物品投影面积的所述像素连通区域，则停止比较，并判断物品存在堆叠，若不存在面积大于所述标准物品投影面积的所述像素连通区域，则判断不存在堆叠。
23.作为本发明的进一步改进，所述获取类球形物品存放区域俯视图像，具体包括：
24.获取于固定位置所拍摄的区域俯视图像；
25.分割所述区域俯视图像，选取所述俯视图像中的固定区域，获得俯视图像。
26.作为本发明的进一步改进，还包括步骤：
27.对所述二值化图像进行平滑滤波处理得到平滑后图像；
28.对所述平滑后图像进行闭运算得到闭运算图像。
29.本发明还提供一种冰箱，包括：摄像机以及存储器和处理器，其特征在于，
30.所述摄像机被配置用于拍摄冰箱内存储空间图像；
31.所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述类球形物品堆叠情况判断方法的步骤。
32.作为本发明的进一步改进，所述冰箱还包括多个设置于冰箱门体上从上至下依次排布的多个瓶座，其中至少有一个瓶座被限定用于放置类球形物品，构成类球形物品存放区。
33.作为本发明的进一步改进，所述类球形物品存放区上方瓶座底面设置有摄像头，所述摄像头镜头竖直向下设置，用于拍摄所述类球形物品存放区。
34.本发明还提供一种计算机存储介质，其中存储有计算机程序，并且所述计算机程序运行时导致所述计算机存储介质的所在设备执行上述类球形物品堆叠情况判断方法的步骤。
35.本发明的有益效果是：提供的类球形物品堆叠情况判断方法，能够较为准确地判断冰箱内类球形物品的摆放情况，从而为后续的诸如物品数量统计等程序步骤提供较为准确的判断基础。
附图说明
36.图1是本发明一实施方式中的类球形物品堆叠情况判断方法步骤示意图。
37.图2a至图5b是本发明一实施方式中的类球形物品堆叠情况判断方法各步骤中所涉及的图片示意图。
具体实施方式
38.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施方式及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施方式仅是本技术一部分实施方式，而不是全部的实施方式。基于本技术中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本技术保护的范围。
39.下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
40.为方便说明，本文使用表示空间相对位置的术语来进行描述，例如“上”、“下”、“后”、“前”等，用来描述附图中所示的一个单元或者特征相对于另一个单元或特征的关系。空间相对位置的术语可以包括设备在使用或工作中除了图中所示方位以外的不同方位。例如，如果将图中的装置翻转，则被描述为位于其他单元或特征“下方”或“上方”的单元将位于其他单元或特征“下方”或“上方”。因此，示例性术语“下方”可以囊括下方和上方这两种空间方位。
41.如图1所示，本发明提供一种冰箱类球形物品堆叠情况判断方法，包括步骤：
42.s1：获取类球形物品存放区域俯视图像。
43.其中，类球形物品为诸如鸡蛋、苹果、橘子等外形大致呈球体或椭球体的物品，类球形物品放在诸如冰箱瓶座的物品存放专区内，在本发明中，在一个物品存放专区内，通常只用于存放一类物品，或者一类大小近似的物品，如鸡蛋和鸭蛋等。
44.具体的，步骤s1包括：
45.s11：获取于固定位置所拍摄的区域俯视图像。
46.在本发明中，于固定位置拍摄可以通过设于物品存放专区上方竖直向下设置的摄像头拍摄实现。
47.示例性的，如图2a和图2b所示，为分别拍摄得到的在物品存放专区放置有多个鸡蛋的区域俯视图像，其中，在图2a中，鸡蛋无堆叠情况，在图2b中，鸡蛋存在堆叠情况。
48.s12：分割区域俯视图像，选取俯视图像中的固定区域，获得俯视图像。
49.由于摄像头相对于物品存放专区的位置固定，因此物品在区域俯视图像中的位置也相对固定，所以可通过对图像进行分割，截取图像中固定位置，来减小图像中需要识别分析的区域，减少图像背景中杂项对识别分析的干扰，加快后续分析运算速度和提高检测识别的准确率。
50.示例性的，如图3a和图3b所示，为切割后截取得到的鸡蛋俯视图像，由于物品存放专区在图像中的右侧位置，因此，仅截取该部分位置图像作为俯视图像。
51.进一步的，在本发明一些实施方式中，在步骤s1之后还包括步骤：
52.s13：检测识别俯视图像中物品种类。
53.由于在实际使用过程中，用户可能会在对应的物品存放专区中存放其他种类物品，因此通过识别物品种类来计算获得单个物品投影面积，以及调整后续的检测识别逻辑。
54.具体的，基于检测算法模型，获取俯视图像内物品，如可通过yolov4等常用目标检测算法对物品进行检测。目标检测框通常为将单个物品囊括于其内的矩形或四边形检测框。
55.基于分类网络模型，对目标检测框内的物品进行分类识别，获取其信息，如可通过训练resnet18深度卷积神经网络，基于训练后的resnet18网络模型对冰箱内可能存放的物品进行分类识别。
56.进一步的，步骤s13还包括：当检测到物品存放专区内存放有非对应种类物品或多种物品后，向终端发出提醒指令，提醒指令包含提醒用户调整食物存放区域或识别可能出
现误差等信息，供用户进行操作调整。
57.s14：根据物品种类获得单个物品投影面积。
58.这里，单个物品投影面积为单个物品在俯视情况下的外轮廓面积大小，其通常为预先计算得到的该类物品的平均面积大小，适用于大部分的检测识别条件。单个物品投影面积为预存在冰箱存储器中的信息，或者为通过联网调取的信息。
59.另外，用户也可根据实际情况手动输入相关信息，或对已经存储的相关信息作出手动调整，以提高检测识别的准确率。
60.s15：对单个物品投影面积乘以系数获得标准物品投影面积。
61.这里，所乘以的系数包括针对图像作出闭运算后，物品外轮廓变化所产生的补偿系数a，以及物品出现堆叠的情况下，物品外轮廓面积相对于单个物品外轮廓面积的最小倍数b。根据具体所采用的算法差异，补偿系数a的取值范围为0.8～1.2。在本实施方式中，最小倍数b对应于最小的物品堆叠情况，即一个类球形物品堆叠在二个类球形物品之上，此时堆叠物品外轮廓的面积至少大于两个物品的外轮廓的面积，因此，b值取2。在获得单个物品投影面积sa后，标准物品投影面积sb＝2
×a×
sa。
62.s2：对俯视图像进行二值化处理，得到二值化图像。
63.由于用以存放物品的瓶座材质通常为白色或透明，相较于物品的颜色，两者差别较大，因此可以采用目前常见的二值化处理函数对图像进行二值化处理，得到二值化图像，将物品和背景区域实现明显的分离。
64.如图4a和图4b所示，为分别对图3a和图3b进行二值化处理后得到的二值化图像。
65.进一步的，在本发明的一些实施方式中，在步骤s2之后还包括步骤：
66.s21：对二值化图像进行平滑滤波处理得到平滑后图像。
67.通过对图像进行平滑滤波处理，在尽量保留图像细节特征的条件下对图像的噪声进行抑制，提高后续对图象处理和分析的有效性和可靠性。
68.s3：对二值化图像进行闭运算得到闭运算图像。
69.通过先膨胀运算，再腐蚀运算得到闭运算后图像，从而闭合二值化图像中的小裂缝，使得二值化图像中的黑色像素区域尽可能连接，形成像素连通区域。
70.如图5a和图5b所示，为分别对图4a和图4b进行闭运算后得到的图像，在图5a中形成了五个较小的像素连通区域，在图5b中形成了一个较大的像素连通区域m和一个较小的像素连通区域n。
71.s4：在闭运算图像中识别像素连通区域，计算像素连通区域面积，比较像素连通区域与标准物品投影面积，若像素连通区域面积大于标准物品投影面积，则判断物品存在堆叠，否则，判断不存在堆叠。
72.具体的，在本发明一实施方中，步骤s4具体包括：
73.s41a：识别闭运算图像中的所有像素连通区域。
74.s42a：依次计算每个像素连通区域面积。
75.s43a：挑选面积最大的像素连通区域，比较面积最大的像素连通区域与标准物品投影面积。
76.s44a：若面积最大的像素连通区域面积大于标准物品投影面积，则判断物品存在堆叠，否则，判断不存在堆叠。
77.通过上述步骤，先找到面积最大像素连通区域，如果其判定不存在物品堆叠的情况，则其他像素连通区域也不会存在物品堆叠情况。
78.在图5a中，所有像素连通区域均小于标准物品投影面积，因此判定在图5a中物品不存在堆叠情况。在图5b中，像素连通区域m面积最大，其明显大于标准物品投影面积，因此判定在图5b中物品存在堆叠情况。
79.在本发明的另一实施方式中，步骤s4具体包括步骤：
80.s41b：识别图中的所有像素连通区域。
81.s42b：依次比较像素连通区域与标准物品投影面积。
82.s43b：若存在面积大于标准物品投影面积的像素连通区域，则停止比较，并判断物品存在堆叠，否则，判断不存在堆叠。
83.通过上述步骤，依次将像素连通区域与标准物品投影面积进行比较，当出现判定存在物品堆叠的情况后停止检测。
84.综上所述，本发明提供的类球形物品堆叠情况判断方法，能够较为准确地判断冰箱内类球形物品的摆放情况，从而为后续的诸如物品数量统计等程序步骤提供较为准确的判断基础。
85.本发明还提供一种冰箱，包括：摄像机以及存储器和处理器。
86.摄像机被配置用于拍摄冰箱内存储空间图像；
87.存储器存储有可在处理器上运行的计算机程序，处理器执行程序时实现上述类球形物品堆叠情况判断方法的步骤。
88.进一步的，冰箱还包括多个设置于冰箱门体上从上至下依次排布的多个瓶座，其中至少有一个瓶座被限定用于放置类球形物品，构成类球形物品存放区，类球形物品存放区上方瓶座底面设置有摄像头，摄像头镜头竖直向下设置，用于拍摄类球形物品存放区。
89.本发明还提供一种计算机存储介质，其中存储有计算机程序，并且计算机程序运行时导致计算机存储介质的所在设备执行上述类球形物品堆叠情况判断方法的步骤。
90.应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
91.上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
技术特征：1.一种类球形物品堆叠情况判断方法，其特征在于，包括步骤：获取类球形物品存放区域俯视图像；对所述俯视图像进行二值化处理，得到二值化图像；对所述二值化图像进行闭运算得到闭运算图像；在所述闭运算图像中识别像素连通区域，计算所述像素连通区域面积，比较所述像素连通区域与标准物品投影面积，若所述像素连通区域面积大于标准物品投影面积，则判断物品存在堆叠，否则，判断不存在堆叠。2.根据权利要求1所述的类球形物品堆叠情况判断方法，其特征在于，还包括步骤：检测识别所述俯视图像中物品种类；根据物品种类获得单个物品投影面积；对所述单个物品投影面积乘以系数获得所述标准物品投影面积。3.根据权利要求2所述的类球形物品堆叠情况判断方法，其特征在于，所述在所述闭运算图像中识别像素连通区域，计算所述像素连通区域面积，比较所述像素连通区域与标准物品投影面积，若所述像素连通区域面积大于标准物品投影面积，则判断物品存在堆叠，否则，判断不存在堆叠，具体包括步骤：识别所述闭运算图像中的所有所述像素连通区域；依次计算每个所述像素连通区域面积；挑选面积最大的所述像素连通区域，比较面积最大的所述像素连通区域与标准物品投影面积；若面积最大的所述像素连通区域面积大于标准物品投影面积，则判断物品存在堆叠，否则，判断不存在堆叠。4.根据权利要求2所述的类球形物品堆叠情况判断方法，其其特征在于，所述在所述闭运算图像中识别像素连通区域，计算所述像素连通区域面积，比较所述像素连通区域与标准物品投影面积，若所述像素连通区域面积大于标准物品投影面积，则判断物品存在堆叠，否则，判断不存在堆叠，具体包括步骤：识别图中的所有所述像素连通区域；依次比较所述像素连通区域与所述标准物品投影面积；若存在面积大于所述标准物品投影面积的所述像素连通区域，则停止比较，并判断物品存在堆叠，若不存在面积大于所述标准物品投影面积的所述像素连通区域，则判断不存在堆叠。5.根据权利要求1所述的类球形物品堆叠情况判断方法，其特征在于，所述获取类球形物品存放区域俯视图像，具体包括：获取于固定位置所拍摄的区域俯视图像；分割所述区域俯视图像，选取所述俯视图像中的固定区域，获得俯视图像。6.根据权利要求1所述的类球形物品堆叠情况判断方法，其特征在于，还包括步骤：对所述二值化图像进行平滑滤波处理得到平滑后图像；对所述平滑后图像进行闭运算得到闭运算图像。7.一种冰箱，其特征在于，包括：摄像机以及存储器和处理器，其特征在于，所述摄像机被配置用于拍摄冰箱内存储空间图像；
所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-6中任意一项所述类球形物品堆叠情况判断方法的步骤。8.根据权利要求7所述的冰箱，其特征在于：所述冰箱还包括多个设置于冰箱门体上从上至下依次排布的多个瓶座，其中至少有一个瓶座被限定用于放置类球形物品，构成类球形物品存放区。9.根据权利要求8所述的冰箱，其特征在于：所述类球形物品存放区上方瓶座底面设置有摄像头，所述摄像头镜头竖直向下设置，用于拍摄所述类球形物品存放区。10.一种计算机存储介质，其特征在于，其中存储有计算机程序，并且所述计算机程序运行时导致所述计算机存储介质的所在设备执行根据权利要求1-6中任意一项所述类球形物品堆叠情况判断方法的步骤。
技术总结本发明提供一种类球形物品堆叠情况判断方法、冰箱和计算机存储介质，方法包括步骤：获取类球形物品存放区域俯视图像；对所述俯视图像进行二值化处理，得到二值化图像；对所述二值化图像进行闭运算得到闭运算图像；在所述闭运算图像中识别像素连通区域，计算所述像素连通区域面积，比较所述像素连通区域与标准物品投影面积，若所述像素连通区域面积大于标准物品投影面积，则判断物品存在堆叠，否则，判断不存在堆叠。从而能够较为准确地判断冰箱内类球形物品的摆放情况，从而为后续的诸如物品数量统计等程序步骤提供较为准确的判断基础。统计等程序步骤提供较为准确的判断基础。统计等程序步骤提供较为准确的判断基础。
技术研发人员：解凡 孔令磊
受保护的技术使用者：海尔智家股份有限公司
技术研发日：2022.03.29
技术公布日：2022/7/5
