本发明涉及智能家居，尤其涉及一种食材识别方法、装置、制冷设备、服务器和可读存储介质。
背景技术：
1、目前，智能冰箱的食材管理技术主要有rfid(radio frequency identification，射频识别)、视觉、app(application，应用程序)、语音等方式。其中，rfid方式需要借助额外的食材夹/贴，app和语音方式需要用户的主动录入，比较费时间，并且经常会出现用户取出食材时忘记删除相关信息的情况。相比以上技术，基于视觉传感器(如摄像头)的方案可以实时获取冰箱内的图像，通过图像处理可以做到无感的食材录入和删除，并且用户无需主动操作，体验比较好。
2、在基于视觉传感器进行食材管理时，可以由冰箱本地进行图片采集，并由远程服务器进行图片识别。但是该方法对网络有一定要求，当冰箱本地离线时，无法实现食材的识别和管理；并且如果仅是识别图片，可能无法获得比较准确和全面的食材信息，从而导致用户的体验感较差。
技术实现思路
1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种食材识别方法，可以根据制冷设备的联网情况，启动本地或者远程对采集到的视频流数据进行食材识别，实现了任意网络环境下自动且用户无感知的食材识别，并且，基于视频流数据进行食材识别，可以得到比较准确和全面的食材信息，从而提高了用户的体验感。
2、本发明的第二个目的在于提出另一种食材识别方法。
3、本发明的第三个目的在于提出一种食材识别装置。
4、本发明的第四个目的在于提出另一种食材识别装置。
5、本发明的第五个目的在于提出一种制冷设备。
6、本发明的第六个目的在于提出一种服务器。
7、本发明的第七个目的在于提出一种计算机可读存储介质。
8、为达到上述目的，本发明第一方面实施例提出了一种食材识别方法，应用于制冷设备，方法包括：获取食材进出制冷设备过程的视频流数据和制冷设备的第一联网信息；根据第一联网信息，判断制冷设备是否联网；若未联网，则对视频流数据进行识别，得到食材的第一食材信息；若已联网，则将视频流数据发送至服务器，以便服务器识别视频流数据，得到食材的第二食材信息。
9、根据本发明实施例的食材识别方法，通过制冷设备获取食材进出制冷设备过程的视频流数据和制冷设备的第一联网信息；根据第一联网信息，判断制冷设备是否联网；若未联网，则对视频流数据进行识别，得到食材的第一食材信息；若已联网，则将视频流数据发送至服务器，以便服务器识别视频流数据，得到食材的第二食材信息。由此，可以根据制冷设备的联网情况，启动本地或者远程对采集到的视频流数据进行食材识别，实现了任意网络环境下自动且用户无感知的食材识别，并且，基于视频流数据进行食材识别，可以得到比较准确和全面的食材信息，从而提高了用户的体验感。
10、根据本发明的一个实施例，在得到食材的第一食材信息之后，方法还包括：获取预设时间后的制冷设备的第二联网信息；若根据第二联网信息确定制冷设备已联网，则将第一食材信息发送至服务器，以便服务器根据第一食材信息进行食材信息同步。
11、根据本发明的一个实施例，对视频流数据进行识别，得到食材的第一食材信息，包括：确定第一识别模型，其中，第一识别模型基于标注了多个样本图片所对应食材信息的训练样本得到；通过第一识别模型，对视频流数据进行识别，得到食材的第一食材信息。
12、为达到上述目的，本发明第二方面实施例提出了一种食材识别方法，应用于服务器，方法包括：在满足第一预设条件时，接收制冷设备发送的食材进出制冷设备过程的视频流数据，其中，第一预设条件为在根据制冷设备的第一联网信息确定制冷设备已联网；识别视频流数据，得到食材的第二食材信息。
13、根据本发明实施例的食材识别方法，通过服务器在满足第一预设条件时，接收制冷设备发送的食材进出制冷设备过程的视频流数据，其中，第一预设条件为在根据制冷设备的第一联网信息确定制冷设备已联网；识别视频流数据，得到食材的第二食材信息。由此，可以根据制冷设备的联网情况，启动本地或者远程对采集到的视频流数据进行食材识别，实现了任意网络环境下自动且用户无感知的食材识别，并且，基于视频流数据进行食材识别，可以得到比较准确和全面的食材信息，从而提高了用户的体验感。
14、根据本发明的一个实施例，识别视频流数据，得到食材的第二食材信息，包括：解析视频流数据，得到m个图像，其中，m为大于2的整数；对m个图像进行过滤，确定m个图像中n个变化最大的关键帧图像，其中，m大于n，n为整数；提取每个关键帧图像的特征数据，并根据每个关键帧图像的特征数据，得到食材的第二食材信息。
15、根据本发明的一个实施例，对m个图像进行过滤，确定m个图像中n个变化最大的关键帧图像，包括：对每相邻两个图像作差，并将差值最大的前n个图像，作为n个关键帧图像。
16、根据本发明的一个实施例，方法还包括：在满足第二预设条件时，接收制冷设备发送的第一食材信息，其中，第一食材信息由制冷设备在根据第一联网信息确定制冷设备未联网时对视频流数据进行识别得到，第二预设条件为在根据预设时间后的制冷设备的第二联网信息确定制冷设备已联网；根据第一食材信息，同步食材的食材信息。
17、根据本发明的一个实施例，识别视频流数据，得到食材的第二食材信息，包括：获取第二识别模型，其中，第二识别模型基于标注了多个样本图片所对应食材信息的训练样本得到；通过第二识别模型，对视频流数据进行识别，得到食材的第二食材信息。
18、为达到上述目的，本发明第三方面实施例提出了一种食材识别装置，装置包括：获取模块，用于获取食材进出制冷设备过程的视频流数据和制冷设备的第一联网信息；判断模块，用于根据第一联网信息，判断制冷设备是否联网；确定模块，用于若未联网，则对视频流数据进行识别，得到食材的第一食材信息；发送模块，用于若已联网，则将视频流数据发送至服务器，以便服务器识别视频流数据，得到食材的第二食材信息。
19、根据本发明实施例的食材识别装置，通过获取模块，获取食材进出制冷设备过程的视频流数据和制冷设备的第一联网信息；通过判断模块，根据第一联网信息，判断制冷设备是否联网；通过确定模块，若未联网，则对视频流数据进行识别，得到食材的第一食材信息；通过发送模块，若已联网，则将视频流数据发送至服务器，以便服务器识别视频流数据，得到食材的第二食材信息。由此，可以根据制冷设备的联网情况，启动本地或者远程对采集到的视频流数据进行食材识别，实现了任意网络环境下自动且用户无感知的食材识别，并且，基于视频流数据进行食材识别，可以得到比较准确和全面的食材信息，从而提高了用户的体验感。
20、为达到上述目的，本发明第四方面实施例提出了一种食材识别装置，装置包括：接收模块，用于在满足第一预设条件时，接收制冷设备发送的食材进出制冷设备过程的视频流数据，其中，第一预设条件为在根据制冷设备的第一联网信息确定制冷设备已联网；识别模块，用于识别视频流数据，得到食材的第二食材信息。
21、根据本发明实施例的食材识别装置，通过接收模块，在满足第一预设条件时，接收制冷设备发送的食材进出制冷设备过程的视频流数据，其中，第一预设条件为在根据制冷设备的第一联网信息确定制冷设备已联网；通过识别模块，识别视频流数据，得到食材的第二食材信息。由此，可以根据制冷设备的联网情况，启动本地或者远程对采集到的视频流数据进行食材识别，实现了任意网络环境下自动且用户无感知的食材识别，并且，基于视频流数据进行食材识别，可以得到比较准确和全面的食材信息，从而提高了用户的体验感。
22、为达到上述目的，本发明第五方面实施例提出一种制冷设备，包括：存储器，用于存储程序；处理器，用于通过执行存储器存储的程序以实现第一方面实施例的食材识别方法。
23、上述制冷设备中，通过获取食材进出制冷设备过程的视频流数据和制冷设备的第一联网信息；根据第一联网信息，判断制冷设备是否联网；若未联网，则对视频流数据进行识别，得到食材的第一食材信息；若已联网，则将视频流数据发送至服务器，以便服务器识别视频流数据，得到食材的第二食材信息。由此，可以根据制冷设备的联网情况，启动本地或者远程对采集到的视频流数据进行食材识别，实现了任意网络环境下自动且用户无感知的食材识别，并且，基于视频流数据进行食材识别，可以得到比较准确和全面的食材信息，从而提高了用户的体验感。
24、为达到上述目的，本发明第六方面实施例提出一种服务器，包括：存储器，用于存储程序；处理器，用于通过执行存储器存储的程序以实现第二方面实施例的食材识别方法。
25、上述服务器中，通过在满足第一预设条件时，接收制冷设备发送的食材进出制冷设备过程的视频流数据，其中，第一预设条件为在根据制冷设备的第一联网信息确定制冷设备已联网；识别视频流数据，得到食材的第二食材信息。由此，可以根据制冷设备的联网情况，启动本地或者远程对采集到的视频流数据进行食材识别，实现了任意网络环境下自动且用户无感知的食材识别，并且，基于视频流数据进行食材识别，可以得到比较准确和全面的食材信息，从而提高了用户的体验感。
26、为达到上述目的，本发明第七方面实施例提出一种计算机可读存储介质，介质上存储有程序，程序能够被处理器执行以实现第一方面和第二方面实施例的食材识别方法。
27、上述计算机可读存储介质中，通过获取食材进出制冷设备过程的视频流数据和制冷设备的第一联网信息；根据第一联网信息，判断制冷设备是否联网；若未联网，则对视频流数据进行识别，得到食材的第一食材信息；若已联网，则将视频流数据发送至服务器，以便服务器识别视频流数据，得到食材的第二食材信息。由此，可以根据制冷设备的联网情况，启动本地或者远程对采集到的视频流数据进行食材识别，实现了任意网络环境下自动且用户无感知的食材识别，并且，基于视频流数据进行食材识别，可以得到比较准确和全面的食材信息，从而提高了用户的体验感。
28、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
1.一种食材识别方法，其特征在于，应用于制冷设备，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述得到所述食材的第一食材信息之后，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述对所述视频流数据进行识别，得到所述食材的第一食材信息，包括：
4.一种食材识别方法，其特征在于，应用于服务器，所述方法包括：
5.根据权利要求4所述的方法，其特征在于，所述识别所述视频流数据，得到所述食材的第二食材信息，包括：
6.根据权利要求5所述的方法，其特征在于，所述对m个图像进行过滤，确定m个图像中n个变化最大的关键帧图像，包括：
7.根据权利要求4-6任一项所述的方法，其特征在于，所述方法还包括：
8.根据权利要求4所述的方法，其特征在于，所述识别所述视频流数据，得到所述食材的第二食材信息，包括：
9.一种食材识别装置，其特征在于，所述装置包括：
10.一种食材识别装置，其特征在于，所述装置包括：
11.一种制冷设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行所述程序时，实现根据权利要求1-3任一项所述的方法。
12.一种服务器，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行所述程序时，实现根据权利要求4-8任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时实现根据权利要求1-8任一项所述的方法。
