制冷设备内食材图像处理方法、制冷设备及可读存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种制冷设备内食材图像处理方法、制冷设备及可读存储介质。


背景技术：

2.随着智能家居的发展，为了方便用户对冰箱内存储物品的智能化管理，需要将食材的具体信息告知用户。例如在冰箱内存放鲜奶后，对用户而言，鲜奶的保质期到期时间尤为重要，一般鲜奶的保质期在7～15天，若无法准确判断其生产日期，后续的智能管理则无从谈起，且不方便用户对鲜奶消耗进度的掌控。现有的鲜奶大多生产日期写在瓶盖上，或者商家打印的标签、用户自制的标签贴在瓶盖上，但由于冰箱内的灯光容易被食物遮挡，拍摄的清晰程度无法控制，常常无法拍清楚这些瓶盖上的日期信息，不能满足现代地智能家居的需求，影响了用户的使用体验。


技术实现要素：

3.为解决现有技术中的问题，本发明的目的在于提供一种制冷设备内食材图像处理方法、制冷设备及可读存储介质。
4.为实现上述发明目的，本发明一实施方式提供一种制冷设备内部食材的图像处理方法，包括如下步骤：
5.获取同一区域不同曝光参数的多张初始图片；
6.根据所述曝光参数，在所述多张初始图片中选出符合预设低曝光参数范围的若干图片作为低曝光集合，在所述多张初始图片中选出符合预设高曝光参数范围的若干图片作为高曝光集合；
7.获取预设目标区域信息；
8.提取若干目标切割图片，所述目标切割图片为位于所述目标区域信息中所述低曝光集合中的每个初始图片的部分图片；
9.获取目标图片，所述目标图片为若干所述目标切割图片中筛选出的灰度梯度值最高的图片；
10.获取所述目标图片的目标区域权重值；
11.获取高曝光集合中每个图片的高曝光权重值；
12.融合图像，所述融合图像包括步骤加权计算所述高曝光集合中每个图片与高曝光权重值、以及所述目标图片和所述目标区域权重值。
13.作为本发明的进一步改进，所述步骤“获取预设目标区域信息”包括：
14.识别所述高曝光集合中的图片，获取识别信息；
15.根据所述识别信息获取预设目标所在的预设目标区域信息。
16.作为本发明的进一步改进，所述步骤“根据所述识别信息获取预设目标所在的预设目标区域信息”包括：
17.提取所述识别信息中的预设目标的所在位置，其中，所述预设目标设定为瓶盖；
18.所述预设目标区域信息包括瓶盖的上表面的所在位置的信息。
19.作为本发明的进一步改进，所述步骤“获取高曝光集合中每个图片的高曝光权重值”包括：
20.将所述高曝光集合中每个图片转换为灰度图；
21.将所述灰度图的灰度值归一化；
22.根据归一化的所述灰度值获取高曝光权重值。
23.作为本发明的进一步改进，所述步骤“根据归一化的所述灰度值获取高曝光权重值”包括：
24.权重提取公式为：w＝exp[
‑
(n
i
‑
0.5)2/2]；
[0025]
其中：n
i
为第i张图片相同位置上的归一化灰度值。
[0026]
作为本发明的进一步改进，所述步骤“获取所述目标图片的目标区域权重值”包括：
[0027]
获取灰度梯度与目标区域权重的对应关系，其中，当所述灰度梯度越大，所述目标区域权重越大；
[0028]
根据所述灰度梯度值与所述对应关系，确定所述目标区域权重值。
[0029]
作为本发明的进一步改进，所述步骤“融合图像”包括：
[0030]
对所述目标区域信息以外的其他区域，加权计算所述高曝光集合的所有图片与每张图片对应的高曝光权重值；
[0031]
对所述目标区域信息以内的区域，加权计算所述高曝光集合的所有图片与每张图片对应的重分配权重值、以及所述目标图片与所述目标区域权重值，其中，所述重分配权重值为根据所述高曝光权重值与所述目标区域权重值重新分配的新的权重值。
[0032]
作为本发明的进一步改进，每张图片的重分配权重值＝该图片的高曝光权重值*(1
‑
目标区域权重值)，其中，所有所述高曝光权重值的相加总和为1，所述高曝光权重值和所述目标区域权重值均大于0且小于1。
[0033]
为实现上述发明目的之一，本发明一实施例提供了一种制冷设备，包括：
[0034]
箱体，其内部形成制冷空间；
[0035]
摄像模块，其设置于所述制冷空间内，用于拍摄所述制冷空间内的图片；
[0036]
存储模块，存储计算机程序；
[0037]
处理模块，执行所述计算机程序时可实现上述的制冷设备内部食材的图像处理方法中的步骤。
[0038]
为实现上述发明目的之一，本发明一实施例提供了一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理模块执行时可实现上述的制冷设备内部食材的图像处理方法中的步骤。
[0039]
与现有技术相比，本发明具有以下有益效果：该制冷设备能够拍出更清晰的食材图片，尤其是该图片中能清晰地呈现出目标区域内的具体内容，以鲜奶瓶子举例来说，可以还原出瓶子的浅色瓶盖上的深色日期信息，从而可以进一步判断出鲜奶的保存期限，使用户在不用打开冰箱门的情况下，即可清楚地查看该具体信息，避免了拍摄不清晰无法识别的问题，满足了用户对智慧家电的需求。
附图说明
[0040]
图1是本发明一实施例的制冷设备内食材图像处理方法的流程图；
[0041]
图2是本发明一实施例的制冷空间内存储情况的示意图；
[0042]
图3是本发明一实施例的摄像模块拍摄图片的示意图；
[0043]
图4是本发明一实施例的融合图像的效果示意图；
[0044]
图5是本发明一实施例的制冷设备的控制模块示意图；
[0045]
其中，10、制冷设备；1、摄像模块；2、处理模块；3、存储模块；4、通信总线；5、瓶子；51、瓶盖；6、目标区域信息。
具体实施方式
[0046]
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
[0047]
应该理解，本文使用的例如“上”、“上方”、“下”、“下方”等表示空间相对位置的术语是出于便于说明的目的来描述如附图中所示的一个单元或特征相对于另一个单元或特征的关系。空间相对位置的术语可以旨在包括设备在使用或工作中除了图中所示方位以外的不同方位。
[0048]
本发明一实施例提供一种制冷设备内食材图像处理方法、制冷设备及可读存储介质，运用该方法，可以获取到清晰图片，该图片上的浅色瓶盖上深色的生产日期或保质期能清晰地辨认。
[0049]
本实施例的制冷设备10可以是冰箱，图片对应的区域可以是冰箱的搁架，对搁架上放置的食材进行拍摄。
[0050]
图1为本技术一个实施方式的一种制冷设备10内食材图像处理方法，虽然本技术提供了如下述实施方式或流程图所述的方法操作步骤，但是基于常规或者无需创造性的劳动，所述方法在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本技术实施方式中所提供的执行顺序。
[0051]
具体地，包括如下步骤：
[0052]
步骤101：获取同一区域不同曝光参数的多张初始图片，多张初始图片通过摄像模块1获取，通过调整摄像模块1的拍摄指令中曝光参数的要求，可以获取到不同曝光参数的图片，如图2所示，多张初始图片为摄像模块1对着同一区域的拍摄图片，该图片内包括食材，初始图片如图3所示；
[0053]
步骤102：根据所述曝光参数，在所述多张初始图片中选出符合预设低曝光参数范围的若干图片作为低曝光集合，在所述多张初始图片中选出符合预设高曝光参数范围的若干图片作为高曝光集合；预设低曝光参数范围和预设高曝光参数范围都可以根据实验数据进行调整设置，可以直接设置某一中间值，当曝光参数大于该值时图片归类为高曝光集合，当曝光参数小于该值时图片归类为低曝光集合。另外，对于过于欠曝光和过曝光的图片，也可以通过调整低曝光参数范围和预设高曝光参数范围进行舍弃。
[0054]
区分出高曝光集合和低曝光集合的目的在于，当曝光量增大时，图片显得更亮，但由于浅色的具有更强的光线反射能力，以及冰箱内一般都是白色为主，当曝光量增大时，浅
色的物品会显示正常，但深色的物品颜色会发灰，甚至变为灰白，而曝光量低时，能避免深色颜色发白的问题。
[0055]
瓶子5上的生产日期，根据市面在售饮品的调查，大多都是白底黑字，部分是浅色瓶子5深色字体，少有黑底白字的情况，另外商家或用户打印的标签，或者用户自制的标签，一般也是白底黑字，在这种现状下，曝光量增大时，白色的背景能拍摄清楚，但深色、或者黑色的字体会发白，甚至与白色背景合在一起而看不清内容。
[0056]
所以区分出高曝光集合和低曝光集合，对于高曝光集合，其浅色内容表现更清晰。对于低曝光集合，其深色内容能避免发白，以本文的实施例而言，低曝光集合中的照片大多避免了黑色的生产日期发白后与白色的背景融为一体的问题。
[0057]
步骤103：获取预设目标区域信息6；具体地，可以包括步骤：
[0058]
识别所述高曝光集合中的图片，获取识别信息；
[0059]
根据所述识别信息获取预设目标所在的预设目标区域信息6。
[0060]
具体地，对高曝光集合中的图片进行yolo物体检测，由于高曝光集合中的浅色内容表现更清晰，且冰箱内大面积的区域都是白色，也就是说图片显示更清晰，所以该图片能更好的进行物体检测，通过对高曝光图片的识别，能更准确的获取目标区域所在位置。
[0061]
所述步骤“根据所述识别信息获取预设目标所在的预设目标区域信息6”包括：
[0062]
提取所述识别信息中的预设目标的所在位置，其中，所述预设目标设定为瓶盖51；
[0063]
所述预设目标区域信息6包括瓶盖51的上表面的所在位置的信息。
[0064]
本实施例的目标区域设定为瓶盖51，瓶盖51上印有生产日期或者最佳饮用日期，该瓶盖51所在的区域，即为目标区域，该目标区域所在位置对应的坐标值，即为目标区域信息6。另外在其他实施例中，还可以是瓶身上某一会标示生产日期或最佳饮用日期的区域，或者是用户贴标签的区域。
[0065]
步骤104：提取若干目标切割图片，所述目标切割图片为位于所述目标区域信息6中所述低曝光集合中的每个初始图片的部分图片；
[0066]
结合步骤103，也就是说，将目标区域信息6从各个低曝光集合图片中分离出来，例如本实施例中，将瓶盖51所在区域从图片中单独分离出来，或者说抠出瓶盖51位置的图片，如图4所示，图4中的方块部分即为目标区域信息6 所包含的图片，提取出低曝光集合中所有图片的抠出的目标切割图片。图4中的瓶盖51有多个，每个抠出的图片对应的坐标是不同的，所以瓶盖51图片之间不会混淆。
[0067]
步骤105：获取目标图片，所述目标图片为若干所述目标切割图片中筛选出的灰度梯度值最高的图片；
[0068]
对步骤104中的若干目标切割图片，采用灰度值梯度的计算方法，计算这些图片的灰度梯度值，灰度梯度值越高，意味着该图片越清晰，找出其中灰度梯度值最高的图片，也就是找出清晰度最高的图片。
[0069]
步骤106：获取所述目标图片的目标区域权重值。
[0070]
这里，目标区域权重值可以设置为默认值，例如对于该挑选出的灰度梯度值最高的图片，总是配置同样的目标区域权重值；或者，根据该灰度梯度值最高的图片的具体灰度梯度值，匹配对应的目标区域权重值，例如灰度梯度值位于第一区间内，目标区域权重值为a，灰度梯度值位于第二区间内，目标区域权重值为b，两者存在对应关系；再或者，根据一套
函数，将灰度梯度值与目标区域权重值建立函数关系。其中，对于第二种和第三种方法，都满足这样的关系：当所述灰度梯度越大，所述目标区域权重越大，以体现越清晰的图片配置越高的权重值。
[0071]
另外，步骤106还包括：获取高曝光集合中每个图片的高曝光权重值。
[0072]
具体地，先将所述高曝光集合中每个图片转换为灰度图；
[0073]
将所述灰度图的灰度值归一化；
[0074]
根据归一化的所述灰度值获取高曝光权重值。
[0075]
归一化的公式为：
[0076]
其中，i(i,j)是图片中(i,j)位置上的灰度值，min是图片中的最小灰度值， max是图片中的最大灰度值。
[0077]
步骤“根据归一化的所述灰度值获取高曝光权重值”包括：
[0078]
权重提取公式为：w＝exp[
‑
(n
i
‑
0.5)2/2]；其中：n
i
为第i张图片相同位置上的归一化灰度值。
[0079]
步骤107：融合图像，所述融合图像包括步骤加权计算所述高曝光集合中每个图片与高曝光权重值、以及所述目标图片和所述目标区域权重值。
[0080]
对任一像素点的融合的公式为：
[0081]
i＝w1i1 w2i2
…
w
i
i
i

…
w
n
i
n
，其中，w
i
为第i张图片的权重值，i
i
为第i 张图片中的该像素点，采用rgb或hsv等形式都可；
[0082]
更具体地，步骤107还包括：
[0083]
对所述目标区域信息6以外的其他区域，加权计算所述高曝光集合的所有图片与每张图片对应的高曝光权重值；
[0084]
对所述目标区域信息6以内的区域，加权计算所述高曝光集合的所有图片与每张图片对应的重分配权重值、以及所述目标图片与所述目标区域权重值，其中，所述重分配权重值为根据所述高曝光权重值与所述目标区域权重值重新分配的新的权重值。
[0085]
该融合图像的步骤中，对目标区域信息6以外的其他区域，将高曝光集合中的图片融合，一方面，使得融合后的整体图案明亮，用户观察该图像的主要目的，也就是在于看清冰箱内存放物品的内容，相对于低曝光集合，高曝光集合更容易看清，且通过多种曝光参数图像的融合，撇除了高曝光集合中光线过亮或者过暗因素的影响，使其成像效果更好，可以最大化还原出物品的真实情况，从而提高图像的成像效果。
[0086]
对目标区域信息6以内的区域，将高曝光集合与目标图片融合，在目标区域内，存在用户需要额外关注的日期的信息，或者标签信息，用户需要额外关注其内容，且通过两者融合，使得目标区域与其他区域之间的过渡更加自然，边缘不会明显地突变，成像效果更好。
[0087]
进一步地，每张图片的重分配权重值＝该图片的高曝光权重值*(1
‑
目标区域权重值)，其中，所有所述高曝光权重值的相加总和为1，所述高曝光权重值和所述目标区域权重值均大于0且小于1。
[0088]
举例来说，若高曝光集合有3张图片，高曝光权重值分别为0.3、0.3和0.4，目标区域权重值为0.5，则重分配权重值＝0.3*(1
‑
0.5)＝0.15、0.15和0.2，最终目标区域内任一
像素点的i＝0.15*i1 0.15*i2 0.2*i3 0.5*i
t
，其中i1、i2、i3分别为三个重分配权重值对应的图片上的该像素点，i
t
为目标图片的该像素点。
[0089]
另外，本发明一实施例提供了一种制冷设备10，包括：
[0090]
箱体，其内部形成制冷空间；
[0091]
摄像模块1，其设置于所述制冷空间内，用于拍摄所述制冷空间内的图片；
[0092]
存储模块3，存储计算机程序；
[0093]
处理模块2，执行所述计算机程序时可实现上述的制冷设备10内部食材的图像处理方法中的任意一个步骤，也就是说，实现上述制冷设备10内部食材的图像处理方法中的任意一个技术方案中的步骤。
[0094]
另外冰箱还包括制冷系统、照明模块和通信总线4，制冷系统冷却制冷空间，照明模块至少照亮目标区域，通信总线4用于上述的照明模块、摄像模块 1、处理模块2与存储模块3之间建立连接，通信总线4可包括一通路，在上述的照明模块、摄像模块1、处理模块2和存储模块3之间传送信息。
[0095]
摄像模块1包括摄像头，其根据输入的拍摄指令进行拍摄，拍摄指令中包括对于曝光参数的要求，分别给摄像头不同的曝光参数的拍摄指令，对制冷间室内的同一位置进行多次拍摄，并将这些拍摄出的不同曝光参数的图片传输至存储模块3或处理模块2。
[0096]
存储模块3可以是独立存在，通过通信总线4与处理模块2相连接。存储模块3也可以和处理模块2集成在一起。处理模块2可以是一个通用中央处理模块2(cpu)，微处理模块2，特定应用集成电路(asic)，或一个或多个用于控制本技术方案程序执行的集成电路。
[0097]
进一步地，本发明一实施例提供了一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理模块2执行时可实现上述的制冷设备10内部食材的图像处理方法中的任意一个步骤，也就是说，实现上述制冷设备10内部食材的图像处理方法中的任意一个技术方案中的步骤。
[0098]
在上述的说明中，应该理解到，所揭露的系统，系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施方式仅仅是示意性的，例如，设备模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0099]
例如，在本技术的处理模块2可以集中在一个处理模块2中，也可以是各个模块单独物理存在，也可以2个或2个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0100]
同样地，存储模块3也可以是集成在一个存储模块3中，也可以是多个单独的物理存在。
[0101]
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机系统(可以是个人计算机，服务器，或者网络系统等)或处理模块2(processor)执行本技术各个实施方式所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储模块3(read
‑
only memory，rom)、随机存取存储模块3(random access memory，ram)、磁碟或者
光盘等各种可以存储程序代码的介质。
[0102]
与现有技术相比，本实施例具有以下有益效果：
[0103]
该制冷设备10能够拍出更清晰的食材图片，尤其是该图片中能清晰地呈现出目标区域内的具体内容，以鲜奶瓶子5举例来说，可以还原出瓶子5的浅色瓶盖51上的深色日期信息，从而可以进一步判断出鲜奶的保存期限，使用户在不用打开冰箱门的情况下，即可清楚地查看该具体信息，避免了拍摄不清晰无法识别的问题，满足了用户对智慧家电的需求。
[0104]
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
[0105]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。