本发明涉及一种图像集中自动识别商品的方法和设备，属于计算机视觉技术领域。
背景技术：
sfa(销售能力自动化)是crm客户关系管理系统的一个重要业务组件。sfa通过拜访目标制定、路线规划、设置执行规范、任务执行、执行结果分析等一系列功能对业务人员在外行为进行规范和引导，帮助业务人员正确高效的完成拜访规定步骤。
随着人工智能的发展，图像中的商品检测已经成为sfa中一个重要的功能，用来自动识别货架、冰箱等照片中的商品，帮助企业做进一步的陈列检测、铺货率统计等等。当前做商品检测主要通过指定商品类型，收集对应图像，标注训练模型进行检测。但商品的商品类型繁多，新商品不断出现，已有商品也会更换包装上市，这样就需要及时收集商品类型和图像，维护一个商品库并不断更新训练模型，带来很大的工作量。
技术实现要素：
本发明的目的在于克服现有技术中的不足，提出一种图像集中自动识别商品的方法和设备，能够自动从图像集中识别商品，从而使商品的识别简化并降低工作量。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种图像集中自动识别商品的方法，包括以下步骤：
获取待识别商品的图像；
通过预先训练的目标检测模型在所述待识别商品的图像中截取待识别商品的商品单图；
通过预先训练的深度神经网络提取所述商品单图的特征向量；
将所提取的商品单图的特征向量与已识别商品特征向量库中的商品特征向量进行匹配，根据匹配结果确定待识别商品的商品类型；
其中，所述已识别商品特征向量库存储有商品特征向量与商品类型之间的映射关系。
进一步的，将所提取的商品单图的特征向量与已识别商品特征向量库中的商品征向量进行匹配，根据匹配结果确定待识别商品的商品类型的方法包括：计算已提取的商品单图的特征向量与已识别商品特征向量库中各商品特征向量之间的距离；若计算得到的距离小于阈值，则将待识别商品的商品类型确定为相应商品特征向量所映射的商品类型。
进一步的，根据匹配结果确定待识别商品的商品类型的方法还包括：
对于距离计算结果均大于或等于阈值的待识别商品单图的特征向量，将待识别商品单图的特征向量存入未识别特征向量库；
对未识别特征向量库中的多个商品单图的特征向量进行聚类；
获取聚类结果中新增商品类型的类型标注信息；
将新增商品类型及其对应的商品单图的特征向量存入已识别商品特征向量库。
进一步的，所述目标检测模型采用fasterrcnn目标检测算法，所述目标检测模型的训练过程包括：
获取各种场景下商品的图像作为图像集合；
将图像集合中出现的各种商品进行标注并为每种商品标注为唯一的一种标签，将标注好的图像集作为训练集，利用训练集训练目标检测模型，得到训练好的目标检测模型。
进一步的，所述已识别商品特征向量库的构建方法包括：
获取已识别商品的商品单图和商品类型标签，通过深度神经网络提取已识别商品的商品单图的特征向量，并为已识别商品的商品单图的特征向量标记对应的商品类型标签；将已识别商品的图像和商品类型标签存入已识别商品特征向量库。不断的重复此过程，则已知库包含的商品越来越多，达到自动从图片中检测商品的目的。
进一步的，所述已识别商品特征向量库的构建方法还包括：
获取未识别商品的图像，通过目标检测模型提取未识别商品的商品单图并利用深度神经网络提取对应商品单图的图像的特征向量；
将所述未识别商品的图像的特征向量存入未识别商品特征向量库；
对所述未识别商品特征向量库根据特征向量间距离进行聚类搜索，获取到未识别商品特征向量库中所有距离小于距离阈值的特征向量组合，将各特征向量组合中的特征向量定义为一类；
获取各类特征向量所对应的未识别商品图像的人工判定信息，其中，对应新增类型商品的人工判定信息包括新增类型商品的商品类型标注信息；
根据人工判定信息，对于新增类型的商品，将对应商品的特征向量以及对应的商品类型存至已识别商品特征向量库；
如果人工判定该类未识别商品是已识别商品则将该未识别商品的特征向量标记为对应的商品类型标签并转移到已识别商品特征向量库。转移未识别商品的特征向量能够增加向量库中的可参照向量，提高下次预测的准确度。
进一步的，对所述未识别商品特征向量库根据特征向量间距离进行聚类搜索的方法包括：任选一个特征向量，搜索跟此特征向量距离小于距离阈值的所有特征向量，并对搜索到的特征向量进行递归搜索，获取到所有距离小于距离阈值的特征向量。
进一步的，所述已识别商品特征向量库的构建方法还包括：在将所述未识别商品的图像的特征向量存入未识别商品特征向量库之前，将未识别商品的图像的特征向量在已识别商品特征向量库中进行搜索，如果距离小于预设值，则直接丢弃。这样能够节约运算资源，提高已识别商品特征向量库的构建速度，减少向量库中冗余向量的产生。
第二方面，本发明提供一种图像集中自动识别商品的设备，所述设备包括：
图像获取模块：用于获取待识别商品的图像；
检测模型模块：用于在所述待识别商品的图像中截取待识别商品的商品单图；
神经网络模块：用于提取所述商品单图的特征向量；
结果输出模块：用于在已识别商品特征向量库中对商品单图的特征向量进行聚类搜索，根据聚类结果输出待识别商品的商品类型。
第三方面，本发明提供一种图像集中自动识别商品的设备，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据上述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
1、本发明通过目标检测模型、神经网络和特征向量库能够根据待识别商品的图像准确快速地判断出待识别商品的商品类型，具有高的识别准确率。
2、本发明通过建立特征向量库，将所提取的商品单图的特征向量与已识别商品特征向量库中的商品征向量进行匹配，能够自动识别商品，从而使商品的识别简化并降低工作量。
3、本发明通过将待识别商品单图的特征向量存入未识别特征向量库，并进行聚类，在工作中不断更新和加入商品的特征向量，从而提高自动识别的准确性和实用性。
附图说明
图1为本发明流程示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
本实施例公开了一种图像集中自动识别商品的方法，如图1所示，方法包括：
获取待识别商品的图像；
通过预先训练的目标检测模型在所述待识别商品的图像中截取待识别商品的商品单图；
通过预先训练的深度神经网络提取所述商品单图的特征向量；
将所提取的商品单图的特征向量与已识别商品特征向量库中的商品特征向量进行匹配，根据匹配结果确定待识别商品的商品类型；
其中，所述已识别商品特征向量库存储有商品特征向量与商品类型之间的映射关系。
本实施例的方法通过目标检测模型、神经网络和特征向量库能够根据待识别商品的图像快速给出待识别商品的商品类型标签，从而准确快速地判断出待识别商品的商品类型，具有高的识别准确率。
特征向量库有两个，一个是已经识别过的认识的已识别商品特征向量库；一个是不认识的待识别商品特征向量库。经过目标检测模型提取出商品单图，然后使用深度神经网络对此商品单图进行特征向量提取，提取到的特征向量先在已识别商品特征向量库中匹配，计算已提取的商品单图的特征向量与已识别商品特征向量库中各商品特征向量之间的距离；
若计算得到的距离小于阈值，则将待识别商品的商品类型确定为相应商品特征向量所映射的商品类型。对于距离计算结果均大于或等于阈值的待识别商品单图的特征向量，将待识别商品单图的特征向量存入未识别特征向量库；对未识别特征向量库中的多个商品单图的特征向量进行聚类；获取聚类结果中新增商品类型的类型标注信息；将新增商品类型及其对应的商品单图的特征向量存入已识别商品特征向量库。
将所提取的商品单图的特征向量与已识别商品特征向量库中的商品征向量进行匹配，根据匹配结果确定待识别商品的商品类型的方法包括：计算已提取的商品单图的特征向量与已识别商品特征向量库中各商品特征向量之间的距离；若计算得到的距离小于阈值，则将待识别商品的商品类型确定为相应商品特征向量所映射的商品类型。
目标检测模型仅用于对图像进行目标检测并提取图像中商品的单图即小图。然后利用深度神经网络对商品小图提取特征向量。目标检测模型的训练是通过收集商品照片并将所出现的商品标注为唯一的一类后进行训练得到的，所述目标检测模型的训练过程包括：
获取各种场景的商品的图像并作为图像集合；
将图像集合中出现的所有商品进行标注并为每种商品标注为唯一的一种标签，将标注好的图像集作为训练集，利用训练集训练目标检测模型，得到训练好的目标检测模型。
已识别商品特征向量库的构建方法包括：
获取未识别商品的图像，通过目标检测模型提取未识别商品的商品单图并利用深度神经网络提取对应商品单图的图像的特征向量；
将所述未识别商品的图像的特征向量存入未识别商品特征向量库；
对所述未识别商品特征向量库根据特征向量间距离进行聚类搜索，获取到未识别商品特征向量库中所有距离小于距离阈值的特征向量组合，将各特征向量组合中的特征向量定义为一类；
获取各类特征向量所对应的未识别商品图像的人工判定信息，其中，对应新增类型商品的人工判定信息包括新增类型商品的商品类型标注信息；
根据人工判定信息，对于新增类型的商品，将对应商品的特征向量以及对应的商品类型存至已识别商品特征向量库；
如果人工判定该类未识别商品是已识别商品则将该未识别商品的特征向量标记为对应的商品类型标签并转移到已识别商品特征向量库。
目标检测模型可以通过fasterrcnn等目标检测算法训练得到，特征向量提取可以使用vgg，resnet等深度神经网络提取。
在将所述未识别商品的图像的特征向量存入未识别商品特征向量库之前，将未识别商品的图像的特征向量在已识别商品特征向量库中进行搜索，如果距离小于预设值，则直接丢弃，所述预设值取值为0.4到0.3，优选为0.4。
具体的，对所述未识别商品特征向量库根据特征向量间距离进行聚类搜索的方法包括：任选一个特征向量，搜索跟此特征向量距离小于距离阈值的所有特征向量，并对搜索到的特征向量进行递归搜索，获取到所有距离小于距离阈值的特征向量；所述距离阈值取值为0到0.5，优选为0.4。
本实施例能够自动从图片集中识别商品，从而使商品的识别简化并降低工作量，且能够快速高效的对图片中出现的商品进行特征提取并进行聚类，根据聚类结果来自动发现新商品从而能自动识别商品。
实施例二：
本实施例提供一种图像集中自动识别商品的方法，包括：采集商品图像并输入到预先训练好的目标检测模型，根据目标检测模型的检测结果截取对应的商品小图并使用神经网络提取图片特征得到特征向量，根据在特征向量库中进行比对获取了该产品的商品类型标签。
目前从货架或冰箱的图片做商品检测，都需要根据已知商品类别来标注训练目标检测模型进行识别，为了及时追踪新品或新包装，需要投入大量人力来维护商品列表并训练。本算法则可以自动检测新品或新包装。具体方法是训练一个检测所有商品边框的模型，这个目标检测模型仅仅检测商品的边框不检测类型，因此具有很强的适应性，可以对新品和新包装进行检测而无需重新训练。对检测出的商品图片进行特征提取，可以使用resnet等深度神经网络来提取，提取的特征向量存入未识别的特征向量库，把所有特征向量存入后，对此特征向量库进行清洗，即自动进行特征向量聚类，聚类距离可以使用欧式距离或马氏距离等。对生成的聚类则进行人工判别，如果是新品则增加新标签，并把相应的特征向量移到已知的商品向量库中，不断的重复此过程，则已知库包含的商品越来越多，达到自动从图片中检测商品的目的。
特征向量库的构建方法包括：根据目标检测模型的检测结果截图并提取特征向量存入到未识别的商品特征向量库中，根据距离距离阈值对已存的特征向量进行聚类，距离相近的特征向量的图像即为一类，并经过人工判定，如果是新的商品，则增加标签并把特征向量存入已识别的商品特征向量库中。
所述目标检测模型的训练过程包括：采集商品图像，并对采集到的图像进行标注；将标注好的图片作为训练集，利用训练集训练目标检测模型，得到训练好的目标检测模型。
提取到的特征向量存入未识别商品特征向量库，并对此向量库根据特征向量间距离进行聚类搜索。
未识别商品特征向量库的聚类过程包括：任选一个特征向量，搜索跟此特征向量距离小于阈值的所有特征向量，并对搜索到的特征向量进行递归搜索，获取到所有距离小于阈值的特征向量。
相互间距离小于距离阈值的特征向量对应的图片进行人工判定是否是新的商品，如果是新的商品则对这些图片打新商品标签，如果是已识别商品则打已知商品标签并将对应特征向量从未识别商品特征向量库中删除后将其加入到已识别商品特征向量库。距离阈值取值为0到0.5，优选为0.4。
当已识别商品特征向量库中已经存在大量已识别特征向量，则新提取的特征向量可以先在此特征向量库中进行搜索，如果距离小于阈值，则直接丢弃。距离阈值取值为0.4到0.3，优选为0.4。
实施例三：
本实施例提供一种图像集中自动识别商品的设备，所述设备包括：
图像获取模块：用于获取待识别商品的图像；
检测模型模块：用于在所述待识别商品的图像中截取待识别商品的商品单图；
神经网络模块：用于提取所述商品单图的特征向量；
结果输出模块：用于在已识别商品特征向量库中对商品单图的特征向量进行聚类搜索，根据聚类结果输出待识别商品的商品类型。
实施例四：
本实施例提供一种图像集中自动识别商品的设备，所述设备包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
获取待识别商品的图像；
通过所述目标检测模型在所述待识别商品的图像中截取待识别商品的商品单图；
通过深度神经网络提取所述商品单图的特征向量；
在已识别商品特征向量库中对商品单图的特征向量进行聚类搜索，根据聚类结果输出待识别商品的商品类型。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
1.一种图像集中自动识别商品的方法，其特征在于，包括以下步骤：
获取待识别商品的图像；
通过预先训练的目标检测模型在所述待识别商品的图像中截取待识别商品的商品单图；
通过预先训练的深度神经网络提取所述商品单图的特征向量；
将所提取的商品单图的特征向量与已识别商品特征向量库中的商品特征向量进行匹配，根据匹配结果确定待识别商品的商品类型；
其中，所述已识别商品特征向量库存储有商品特征向量与商品类型之间的映射关系。
2.根据权利要求1所述的图像集中自动识别商品的方法，其特征在于，将所提取的商品单图的特征向量与已识别商品特征向量库中的商品征向量进行匹配，根据匹配结果确定待识别商品的商品类型的方法包括：
计算已提取的商品单图的特征向量与已识别商品特征向量库中各商品特征向量之间的距离；
若计算得到的距离小于阈值，则将待识别商品的商品类型确定为相应商品特征向量所映射的商品类型。
3.根据权利要求2所述的图像集中自动识别商品的方法，其特征在于，根据匹配结果确定待识别商品的商品类型的方法还包括：
对于距离计算结果均大于或等于阈值的待识别商品单图的特征向量，将待识别商品单图的特征向量存入未识别特征向量库；
对未识别特征向量库中的多个商品单图的特征向量进行聚类；
获取聚类结果中新增商品类型的类型标注信息；
将新增商品类型及其对应的商品单图的特征向量存入已识别商品特征向量库。
4.根据权利要求1所述的图像集中自动识别商品的方法，其特征在于，所述目标检测模型采用fasterrcnn目标检测算法，所述目标检测模型的训练过程包括：
获取各种场景下商品的图像作为图像集合；
将图像集合中出现的各种商品进行标注并为每种商品标注为唯一的一种标签，将标注好的图像集作为训练集，利用训练集训练目标检测模型，得到训练好的目标检测模型。
5.根据权利要求1所述的图像集中自动识别商品的方法，其特征在于，所述已识别商品特征向量库的构建方法包括：
获取已识别商品的商品单图和商品类型标签，通过深度神经网络提取已识别商品的商品单图的特征向量，并为已识别商品的商品单图的特征向量标记对应的商品类型标签；
将已识别商品的图像和商品类型标签存入已识别商品特征向量库。
6.根据权利要求5所述的图像集中自动识别商品的方法，其特征在于，所述已识别商品特征向量库的构建方法还包括：
获取未识别商品的图像，通过目标检测模型提取未识别商品的商品单图并利用深度神经网络提取对应商品单图的图像的特征向量；
将所述未识别商品的图像的特征向量存入未识别商品特征向量库；
对所述未识别商品特征向量库根据特征向量间距离进行聚类搜索，获取到未识别商品特征向量库中所有距离小于距离阈值的特征向量组合，将各特征向量组合中的特征向量定义为一类；
获取各类特征向量所对应的未识别商品图像的人工判定信息，其中，对应新增类型商品的人工判定信息包括新增类型商品的商品类型标注信息；
根据人工判定信息，对于新增类型的商品，将对应商品的特征向量以及对应的商品类型存至已识别商品特征向量库；
如果人工判定该类未识别商品是已识别商品则将该未识别商品的特征向量标记为对应的商品类型标签并转移到已识别商品特征向量库。
7.根据权利要求6所述的图像集中自动识别商品的方法，其特征在于，对所述未识别商品特征向量库根据特征向量间距离进行聚类搜索的方法包括：任选一个特征向量，搜索跟此特征向量距离小于距离阈值的所有特征向量，并对搜索到的特征向量进行递归搜索，获取到所有距离小于距离阈值的特征向量。
8.根据权利要求6所述的图像集中自动识别商品的方法，其特征在于，所述已识别商品特征向量库的构建方法还包括：
在将所述未识别商品的图像的特征向量存入未识别商品特征向量库之前，将未识别商品的图像的特征向量在已识别商品特征向量库中进行搜索，如果距离小于预设值，则直接丢弃。
9.一种图像集中自动识别商品的设备，其特征在于，所述设备包括：
图像获取模块：用于获取待识别商品的图像；
检测模型模块：用于通过预先训练的目标检测模型在所述待识别商品的图像中截取待识别商品的商品单图；
神经网络模块：用于提取所述商品单图的特征向量；
结果输出模块：用于将所提取的商品单图的特征向量与已识别商品特征向量库中的商品特征向量进行匹配，根据匹配结果确定待识别商品的商品类型；其中，所述已识别商品特征向量库存储有商品特征向量与商品类型之间的映射关系。
10.一种图像集中自动识别商品的设备，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1~8任一项所述方法的步骤。
技术总结