云边协同自动点货方法、装置、系统及其存储介质与流程

专利2022-05-09  39


本发明涉及网络技术领域,具体涉及一种云边协同自动点货方法、一种云边协同自动点货装置、一种云边协同自动点货系统以及一种存储有上述方法的可读存储介质。



背景技术:

随着社会经济的迅速发展,商业活动也越来越频繁;在现有的大规模连锁门店及商场中,均需要定期对货架中的货物进行盘点;通过盘点,可以控制存货,以指导日常经营业务;同时也能够及时掌握损益情况,以便真实地把握经营绩效。

为了能快速高效地获取到盘点数据,在现今市面上的部分门店及商场均开始通过电子设备对货架中的货物进行自动点货;但在现有技术中,其需要用户携带电子设备到各个门店进行现场的货物图像数据采集,该电子设备将从所有门店中所采集到的货物图像数据进行统一的深度学习,得到检测模型算法,但由于线下门店数量较多,其很难完成对所有门店的货物图像数据进行采集,且每个门店及商场的现场环境差异很大,故其识别准确率不高,其不利于自动点货技术在市面上的推广。



技术实现要素:

为克服上述缺陷,本发明的目的即在于提供一种准确率高的云边协同自动点货方法、装置、系统以及存储有其方法的可读存储介质。

本发明的目的是通过以下技术方案来实现的:

本发明是一种云边协同自动点货方法,其包括:

获取包含有货物信息的训练图像;

获取与所述训练图像相对应的门店设备的标识,并将所述标识与其训练图像相关联;

将所述训练图像发送至云端的训练平台进行深度学习得到对应的检测模型,并根据与所述训练图像相关联的标识将该检测模型发送至对应的门店设备;

所述门店设备接收训练平台所发送的检测模型;

获取包含有货物信息的点货图像;

将所述点货图像导入所述检测模型中,并通过将所述点货图像的特征与该检测模型的比对,识别出所述货物信息。

在本发明中,所述将所述点货图像导入所述检测模型中之前包括:

获取货架在所述点货图像中的坐标,然后根据所述坐标对所述点货图像进行截取。

在本发明中,所述获取货架在所述点货图像中的坐标包括:

通过卷积神经网络提取货架的特征,再通过回归来确定货架在所述点货图像中的坐标。

在本发明中,所述货物信息包括:货物的类别、货物的坐标、货物的数量。

在本发明中,所述识别出所述货物信息之后包括:

当识别到任一类别的货物其相应的货物的数量少于预定值时,则发出警报信号。

基于同样的构思,本发明还提供一种云边协同自动点货装置,其包括:

图像获取模块,所述图像获取模块用于获取包含有货物信息的训练图像,或获取包含有货物信息的点货图像;

图像关联模块,所述图像关联模块与所述图像获取模块相连接,用于获取与所述训练图像相对应的门店设备的标识,并将所述标识与其训练图像相关联;

平台通讯模块,所述平台通讯模块与所述图像关联模块相连接,用于将所述训练图像发送至云端的训练平台进行深度学习得到对应的检测模型;

货物识别模块,所述货物识别模块分别与所述图像获取模块和所述平台通讯模块相连接,用于对训练平台根据门店设备的标识定向发送的检测模型进行存储;将所述点货图像导入所述检测模型中,并通过将所述点货图像的特征与该检测模型的比对,识别出所述货物信息。

在本发明中,所述货物识别模块中包括:

图像截取单元,所述图像截取单元用于获取货架在所述点货图像中的坐标,然后根据所述坐标对所述点货图像进行截取。

基于同样的构思,本发明还提供一种云边协同自动点货系统,其特征在于,包括:训练平台以及如上所述的自动点货装置,所述训练平台通过通讯网络与所述自动点货装置相连接,所述训练平台用于对所述自动点货装置所发送的训练图像进行深度学习,得到对应的检测模型;并根据与所述训练图像相关联的标识将该检测模型发送至对应的所述自动点货装置中。

在本发明中,所述系统还包括:

摄像头,所述摄像头的数量为一个以上,其均与所述自动点货装置中的图像获取模块相连接;

货物管理平台,所述货物管理平台与所述自动点货装置相连接,用于获取自动点货装置所产生的货物信息,并对该货物信息进行处理。

基于同样的构思,本发明还提供一种计算机可读程序存储介质,其存储有计算机程序指令,当所述计算机程序指令被计算机执行时,使计算机执行如上所述的方法。

在本发明的云边协同自动点货方法中,其在对门店的货物图像进行采集后,将该货物图像发送至云端的训练平台进行深度学习,并将所生成的检测模型发送回对应的门店,故其不需要用户携带电子设备到各个门店进行现场的货物图像数据采集;在本发明中由于各个门店均有与其相对应的检测模型,其便于门店在点货时,根据其相应的检测模型对其所采集到的货物图像中的货物信息进行准确的识别,有效提高了识别的准确率和速度,有利于自动点货技术在市面上的推广。

附图说明

为了易于说明,本发明由下述的较佳实施例及附图作详细描述。

图1为本发明云边协同自动点货方法一个实施例的工作流程示意图;

图2为本发明云边协同自动点货方法另一个实施例的工作流程示意图;

图3为本发明云边协同自动点货装置的逻辑结构示意图;

图4为本发明云边协同自动点货系统的逻辑结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。

在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接。可以是机械连接,也可以是电连接。可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。

下面以一个实施例对本发明的一种云边协同自动点货方法进行具体描述,请参阅图1,其包括:

s101.获取训练图像

获取包含有货物信息的训练图像;其中,该训练图像为包含有本地门店的货物信息的图像,该图像可以采用用户预先拍摄好的图像,或者通过摄像头等设备在门店的货架上对图像进行现场采集。

s102.将标识与其训练图像相关联

获取与所述训练图像相对应的门店设备的标识,并将所述标识与其训练图像相关联;其中,每间门店均设有其唯一的标识,通过该标识能定位到对应的门店。以便于在后续步骤训练平台完成深度学习得到检测模型后,能将该检测模型准确地发送至该门店设备中。

s103.将样本数据发送至训练平台

将所述训练图像发送至云端的训练平台进行深度学习得到对应的检测模型,并根据与所述训练图像相关联的标识将该检测模型发送至对应的门店设备;在本步骤中,本地门店所获取到训练图像通过通讯网络发送至云端的训练平台上,并在训练平台进行深度学习,得到与该门店相对应的检测模型,再根据门店设备的标识,将检测模型定向发送至对应的门店设备中。

s104.接收检测模型

门店设备接收训练平台所发送的检测模型;具体地,本地门店通过通讯网络接收训练平台所生成的检测模型,该检测模型与当前门店的货物信息相匹配。

s105.获取点货图像

当门店需要进行点货时,则获取包含有货物信息的点货图像;其中,该点货图像为包含有本地门店的货物信息的图像;优选地,其可以通过设置于门店的摄像头对门店的货架上对货物图像进行实时采集。

s106.识别出所述货物信息

将所述点货图像导入所述检测模型中,并通过将所述点货图像的特征与该检测模型的比对,识别出所述货物信息。其中,该货物信息包括:货物的类别、货物的坐标、货物的数量;例如其所获得的结果可以为:货物a,数量10;货物b,数量15;货物c,数量3。

下面以另一个实施例对本发明的一种云边协同自动点货方法进行具体描述,请参阅图2,其包括:

s201.获取训练图像

获取包含有货物信息的训练图像;其中,该训练图像为包含有本地门店的货物信息的图像,该图像可以采用用户预先拍摄好的图像,或者通过摄像头等设备在门店的货架上对图像进行现场采集。

s202.将标识与其训练图像相关联

获取与所述训练图像相对应的门店设备的标识,并将所述标识与其训练图像相关联;其中,每间门店均设有其唯一的标识,通过该标识能定位到对应的门店。以便于在后续步骤训练平台完成深度学习得到检测模型后,能将该检测模型准确地发送至该门店设备中。

s203.将样本数据发送至训练平台

将所述训练图像发送至云端的训练平台进行深度学习得到对应的检测模型,并根据与所述训练图像相关联的标识将该检测模型发送至对应的门店设备;在本步骤中,本地门店所获取到训练图像通过通讯网络发送至云端的训练平台上,并在训练平台进行深度学习,得到与该门店相对应的检测模型,再根据门店设备的标识,将检测模型定向发送至对应的门店设备中。

s204.接收检测模型

门店设备接收训练平台所发送的检测模型;具体地,本地门店通过通讯网络接收训练平台所生成的检测模型,该检测模型与当前门店的货物信息相匹配。

s205.获取点货图像

当门店需要进行点货时,则获取包含有货物信息的点货图像;其中,该点货图像为包含有本地门店的货物信息的图像;优选地,其可以通过设置于门店的摄像头对门店的货架上对货物图像进行实时采集。

s206.截取图像中的货架区域

获取货架在所述点货图像中的坐标,然后根据所述坐标对所述点货图像进行截取,从而可以把货架部分从点货图像中分离出来。在本实施例中,其使用了基于卷积神经网络的单级检测器,该方法采用端到端的训练方式,通过卷积神经网络提取货架的特征,再通过回归来确定货架在所述点货图像中的坐标。在本步骤中,由于先对点货图像中的货架部分进行截取,再在所截取图像的基础上进行货物信息的识别,其有效地提高识别的准确率。

s207.识别出所述货物信息

将所述点货图像导入所述检测模型中,并通过将所述点货图像的特征与该检测模型的比对,识别出所述货物信息。其中,该货物信息包括:货物的类别、货物的坐标、货物的数量;例如其所获得的结果可以为:货物a,数量10;货物b,数量15;货物c,数量3。

s208.发出警报信号

当识别到任一类别的货物其相应的货物的数量少于预定值时,则发出警报信号。其中,每个类别的货物的预定值可以单独进行设置,如:货物a的预定值为12;货物b的预定值为10;货物c的预定值为10;故上述步骤中所述检测到货物a数量为10小于预定值12,则会发出警报信号;而检测到货物b数量为15大于预定值10,则不会发出警报信号;而警报信号可以以文字的形式进行呈现,如:“货物a需要补货”。

本发明包括一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

以上可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、rf等等,或者上述的任意合适的组合。

下面以一个实施例对本发明的一种云边协同自动点货装置进行具体描述,其中,该装置可以为一个电子计算终端,请参阅图3,其包括:

图像获取模块101,所述图像获取模块101用于获取包含有货物信息的训练图像,或获取包含有货物信息的点货图像;其中,该训练图像和点货图像为包含有本地门店的货物信息的图像,该图像可以采用用户预先拍摄好的图像,或者通过摄像头等设备在门店的货架上对图像进行现场采集。

图像关联模块102,所述图像关联模块102与所述图像获取模块101相连接,用于获取与所述训练图像相对应的门店设备的标识,并将所述标识与其训练图像相关联;其中,每间门店均设有其唯一的标识,通过该标识能定位到对应的门店。在本步骤中,由于将训练图像与各自门店的标识相关联,故在训练平台完成深度学习得到检测模型后,能将该检测模型发送至该门店设备中。

平台通讯模块103,所述平台通讯模块103与所述图像关联模块102相连接,用于将所述训练图像发送至云端的训练平台进行深度学习得到对应的检测模型;在本实施例中,其根据每个门店的训练图像,得到一个独立的检测模型;

货物识别模块104,所述货物识别模块104分别与所述图像获取模块101和所述平台通讯模块103相连接,用于对训练平台根据门店设备的标识定向发送的检测模型进行存储;将所述点货图像导入所述检测模型中,并通过将所述点货图像的特征与该检测模型的比对,识别出所述货物信息。在本实施例中,由于每个门店设有一个独立的检测模型,其识别将不受其他门店数据的干扰,使得比对更为精确。

在本实施例中,其利用了云边协同的方式进行数据采集,并每个门店均设有一个独立的检测模型,以此来完成货物盘点,针对大规模门店部署具有很强的操作性;其识别准确率能够达到98%以上。

在本实施例中,所述货物识别模块104中包括:

图像截取单元(未图示),所述图像截取单元(未图示)用于获取货架在所述点货图像中的坐标,然后根据所述坐标对所述点货图像进行截取。为了减少外部环境对货物盘点的影响,在本实施例中先对点货图像进行截取以获取包含货架的主体图像,再在包含货架的主体图像中对货物信息进行识别,其有效地提高了识别的准确率。

下面以一个实施例对本发明的一种云边协同自动点货系统进行具体描述,请参阅图4,其包括:

训练平台200以及如上所述的自动点货装置100,所述训练平台200通过通讯网络与所述自动点货装置100相连接,所述训练平台200通过通讯网络与所述自动点货装置100相连接,所述训练平台200用于对所述自动点货装置100所发送的训练图像进行深度学习,得到对应的检测模型;并根据与所述训练图像相关联的标识将该检测模型发送至对应的所述自动点货装置100中。由于本实施例中采用云边协同方式将本地的样本信息上传至云端的训练平台200的方式,故一旦部署完成训练平台200很快可以获取所有门店的训练样本。

在本实施例中,所述系统还包括:

摄像头300,所述摄像头300的数量为一个以上,其均与所述自动点货装置100中的图像获取模块相连接;其中,该摄像头300被安装于门店内并且与货架相对准;

货物管理平台400,所述货物管理平台400与所述自动点货装置100相连接,用于获取自动点货装置100所产生的货物信息,并对该货物信息进行处理,其处理方式可以包括发出警报信号和将货物信息制作成报表和存储等;其中,该货物管理平台400可以为多个也可以为一个,当设置为多个时,可直接设置于该门店内,当设置为一个时,其可以为云端的对所有门店的货物信息进行统一管理的货物管理平台400。

在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。


技术特征:

1.一种云边协同自动点货方法,其特征在于,包括:

获取包含有货物信息的训练图像;

获取与所述训练图像相对应的门店设备的标识,并将所述标识与其训练图像相关联;

将所述训练图像发送至云端的训练平台进行深度学习得到对应的检测模型,并根据与所述训练图像相关联的标识将该检测模型发送至对应的门店设备;

所述门店设备接收训练平台所发送的检测模型;

获取包含有货物信息的点货图像;

将所述点货图像导入所述检测模型中,并通过将所述点货图像的特征与该检测模型的比对,识别出所述货物信息。

2.根据权利要求1所述的云边协同自动点货方法,其特征在于,所述将所述点货图像导入所述检测模型中之前包括:

获取货架在所述点货图像中的坐标,然后根据所述坐标对所述点货图像进行截取。

3.根据权利要求2所述的云边协同自动点货方法,其特征在于,所述获取货架在所述点货图像中的坐标包括:

通过卷积神经网络提取货架的特征,再通过回归来确定货架在所述点货图像中的坐标。

4.根据权利要求3所述的云边协同自动点货方法,其特征在于,所述货物信息包括:货物的类别、货物的坐标、货物的数量。

5.根据权利要求4所述的云边协同自动点货方法,其特征在于,所述识别出所述货物信息之后包括:

当识别到任一类别的货物其相应的货物的数量少于预定值时,则发出警报信号。

6.一种云边协同自动点货装置,其特征在于,包括:

图像获取模块,所述图像获取模块用于获取包含有货物信息的训练图像,或获取包含有货物信息的点货图像;

图像关联模块,所述图像关联模块与所述图像获取模块相连接,用于获取与所述训练图像相对应的门店设备的标识,并将所述标识与其训练图像相关联;

平台通讯模块,所述平台通讯模块与所述图像关联模块相连接,用于将所述训练图像发送至云端的训练平台进行深度学习得到对应的检测模型;

货物识别模块,所述货物识别模块分别与所述图像获取模块和所述平台通讯模块相连接,用于对训练平台根据门店设备的标识定向发送的检测模型进行存储;将所述点货图像导入所述检测模型中,并通过将所述点货图像的特征与该检测模型的比对,识别出所述货物信息。

7.根据权利要求6所述的云边协同自动点货装置,其特征在于,所述货物识别模块中包括:

图像截取单元,所述图像截取单元用于获取货架在所述点货图像中的坐标,然后根据所述坐标对所述点货图像进行截取。

8.一种云边协同自动点货系统,其特征在于,包括:训练平台以及如权利要求6至7任一项所述的自动点货装置,所述训练平台通过通讯网络与所述自动点货装置相连接,所述训练平台用于对所述自动点货装置所发送的训练图像进行深度学习,得到对应的检测模型;并根据与所述训练图像相关联的标识将该检测模型发送至对应的所述自动点货装置中。

9.根据权利要求8所述的云边协同自动点货系统,其特征在于,还包括:

摄像头,所述摄像头的数量为一个以上,其均与所述自动点货装置中的图像获取模块相连接;

货物管理平台,所述货物管理平台与所述自动点货装置相连接,用于获取自动点货装置所产生的货物信息,并对该货物信息进行处理。

10.一种计算机可读程序存储介质,其特征在于,其存储有计算机程序指令,当所述计算机程序指令被计算机执行时,使计算机执行根据权利要求1至5中任一项所述的方法。

技术总结
本发明涉及网络技术领域,具体涉及一种云边协同自动点货方法、装置、系统及其存储介质,其方法包括:获取包含有货物信息的训练图像;获取与所述训练图像相对应的门店设备的标识,并将所述标识与其训练图像相关联;将所述训练图像发送至云端的训练平台进行深度学习得到对应的检测模型,并根据与所述训练图像相关联的标识将该检测模型发送至对应的门店设备;所述门店设备接收训练平台所发送的检测模型;获取包含有货物信息的点货图像;将所述点货图像导入所述检测模型中,并通过将所述点货图像的特征与该检测模型的比对,识别出所述货物信息;本发明能实现对货物进行准确的识别,有效提高了识别的准确率和速度,利于自动点货技术在市面上的推广。

技术研发人员:刘青;叶建林
受保护的技术使用者:北京滴普科技有限公司
技术研发日:2021.04.12
技术公布日:2021.07.02

转载请注明原文地址:https://doc.8miu.com/read-350098.html

最新回复(0)