本发明属于计算机视觉领域，具体涉及一种基于胶囊网络的服装分类方法及分类系统。
背景技术：
目前，人们的服装购物逐渐由线下转入电商平台，对服装图像的智能化处理便成了必不可少的重要环节。电商平台对服装的需求巨大，人工辨别服装种类无法满足电商平台的时效要求。而且如今的服饰总类花样繁多，部分服装种类之间的差别只是细微纹理或空间布局的微小差别，通过人眼也不易辨别。因此，使用人工辨别服装种类的方式已经不能够满足日常生活需要。
公开号为cn110210567a的中国专利“一种基于卷积神经网络的服装图像分类与检索方法及系统”、申请号为201510457010.2的中国专利“一种基于卷积神经网络的服装分类方法”均是通过采用卷积神经网络来提取图像特征并进行分类；这种方式不能很好的处理图像样本的多样性问题以及样本空间结构的变化问题，因此检测到的图像当出现很大的色差或者明暗变化，或者是遮挡以及空间结构异常改变，都会使图像的检测准确率垂直下跌，若是想弥补缺点也只能在训练的时候扩充大量的训练样本，但是图像样本的扩充会增加额外的计算成本和搜集成本，且二者所提出的模型较大，无法在轻量级设备上进行搭建，计算速度缓慢。
申请号为201810784023.4的中国专利“一种基于部件检测和视觉特征的时尚女装图像细粒度分类方法”采用改进的dpm模型来实现女装图像的分类，并采用了图像的hog、lbp、颜色直方图和边缘算子4种底层特征来进行特征表征，这种传统的图像处理算法结构相对比较复杂，且难以保证较高的准确率。
技术实现要素：
本发明的目的是针对上述问题，提供一种基于胶囊网络的服装分类方法及分类系统，对服装图像进行特征下采样、特征融合后，利用挤压和激励网络将服装图像特征的关键向量与权重进行放大，利用空间变换网络变换图像特征的感受域，再利用胶囊网络，提取图像特征的空间关联信息，最后根据图像特征得到服装的分类，提高服装分类系统的泛化能力。
本发明的技术方案是基于胶囊网络的服装分类方法，包括以下依次执行的步骤：
步骤1：对输入的服装图片进行图像增强和归一化处理；
步骤2：对服装图像进行特征下采样和特征融合；
步骤3：对服装图像进行特征加强；
步骤3.1：采用注意力机制将服装图像特征的关键向量与权重进行放大；
步骤3.2：对图像特征进行卷积与归一化处理；
步骤3.3：利用空间变换网络变换图像特征的感受域；
步骤4：将图像特征输入到胶囊网络，提取图像特征的空间关联信息，提高泛化能力；
步骤5：根据图像特征对服装进行判别分类，得到服装的分类结果。
进一步地，步骤1包括以下子步骤：
步骤1.1：对输入的服装图像进行旋转、翻转、裁剪、放缩、对比度增强以及明暗调整；
步骤1.2：将服装图像的rgb参数映射到统一的区间。
优选地，步骤2中，所述特征下采样将大尺度224x224的图像下采样到最适合特征加强的25x25的小尺度。
优选地，步骤3.1采用挤压和激励网络将服装图像特征的关键向量与权重进行放大，筛掉干扰的非目标特征。
上述的服装分类方法的服装分类系统，包括：图像预处理模块，对输入的服装图片进行图像增强和归一化处理；特征预处理模块，对服装图像进行特征下采样和特征融合；特征加强模块，采用注意力机制将服装图像特征的关键向量与权重进行放大，利用空间变换网络变换图像特征的感受域，使得得到的图像特征不局限于单一方位或姿态；胶囊网络单元，提取图像特征的空间关联信息，提高泛化能力；判别处理模块，根据图像特征对服装进行判别分类，得到服装的分类结果。
进一步地，特征加强模块包括挤压和激励网络、卷积与归一化模块、空间变换网络，挤压和激励网络利用注意力机制将关键向量与权重进行放大，筛掉干扰的非目标特征，空间变换网络将图像特征的感受域进行进一步变换处理，使得到的特征可表达多个方位或多种姿态。
相比现有技术，本发明的有益效果包括：
（1）本发明的服装分类方法通过对图像的增强和在计算过程中的加强变化，让网络模型能够在小样本数据集上达到很强的识别能力，可以在使用时应对各种形式的输入图像，而不会产生因图像方向，对比度等变化而发生的识别错误；通过注意力机制模块，能够在训练模型的过程中剔除和目标无关的图像信息，只关注有用的服装信息；这些方案可以在实际生产之中发挥比较展现比较好的识别和新能优势，可以在电商平台或者用户单独使用中起到准确率很高的分类作用。
（2）本发明提供的服装分类系统，采用胶囊网络结构，具备一般神经网络不具备的空间布局信息，在图像布局错乱或者扭曲时也能起到一个很好的分类效果，而且只用少部分参数就能表达多种样本的形态，具有很强的泛化能力。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明实施例的服装分类方法的示意图。
图2为本发明实施例的senet网络的示意图。
图3为本发明实施例的stn网络的示意图。
具体实施方式
基于胶囊网络的服装分类方法，包括以下依次执行的步骤：
步骤1：对输入的服装图片进行图像增强和归一化处理；
步骤1.1：对输入的服装图像进行旋转、翻转、裁剪、放缩、对比度增强以及明暗调整；
步骤1.2：将服装图像的rgb参数映射到[0,1]；
步骤2：对服装图像进行特征下采样和特征融合，将大尺度224x224的图像下采样到适合特征加强的25x25的小尺度；
步骤3：对服装图像进行特征加强；
步骤3.1：采用挤压和激励网络将服装图像特征的关键向量与权重进行放大，筛掉干扰的非目标特征；
步骤3.2：对图像特征进行卷积与归一化处理；
步骤3.3：利用空间变换网络变换图像特征的感受域；
步骤4：将图像特征输入到胶囊网络，提取图像特征的空间关联信息，提高泛化能力；
步骤5：根据图像特征对服装进行判别分类，得到服装的分类结果。
如图1所示，上述服装分类方法的服装分类系统，包括：
图像预处理模块，对输入的服装图片进行图像增强和归一化处理；
特征预处理模块，对服装图像进行特征下采样和特征融合；
特征加强模块，采用注意力机制将服装图像特征的关键向量与权重进行放大，利用空间变换网络变换图像特征的感受域，使得得到的图像特征不局限于单一方位或姿态；
胶囊网络单元，提取图像特征的空间关联信息，提高泛化能力，使神经网络中内部知识表示的分层关系加强；
判别处理模块，根据图像特征对服装进行判别分类，计算对应的分类的置信度，得到服装的分类结果。
特征加强模块包括挤压和激励网络（squeeze-and-excitationnetworks，se）、卷积与归一化模块、空间变换网络（spatialtransformernetworks，stn），se网络利用注意力机制将关键向量与权重进行放大，筛掉干扰的非目标特征；卷积与归一化模块用于服装图像的特征融合和规整处理；stn网络将图像特征的感受域进行进一步变换处理，使得到的特征可表达多个方位或多种姿态。
现实中会有各种各样的因素如光线明暗、遮挡，拍照方位距离等因素的影响导致用来测试的数据样本不能被网络模型很好的识别，因为在网络模型训练的时候，神经网络只学习了少量的样本与变化，但现实中，往往存在无限种变化。本发明的服装分类系统，将输入的图像进行预处理，来进行数据集样本多样性的扩充。本发明的特征预处理模块可很好地将数据的图像进行特征加工预处理，得到一个尺度缩小但关键信息都保留很好的特征图，方便下一步的细加工处理。本发明的特征加强模块可将得到的粗特征图进行细致的权重训练与加强，这样可以只训练和保留所需要的关键信息，而筛选出图像内与目标不相干的内容；其中的胶囊网络模块将全卷积模型进行进一步的空间信息提取，使图像在判断时能保持一个正确的结构，以此来加强模型的准确性和正确性。
本发明的服装分类系统，通过对图像的增强和在计算过程中的加强变化，让服装分类系统的网络模型能够在小样本数据集上达到很强的识别能力，可在使用时应对各种形式的输入图像，而不会产生因图像方向，对比度等变化而发生的识别错误；通过注意力机制，能在训练模型的过程中剔除和目标无关的图像信息，只关注有用的服装信息；采用结合胶囊网络结构，可让网络模型具备一般神经网络不具备的空间布局信息，在图像布局错乱或者扭曲时也能起到一个很好的分类效果，而且只需要少部分参数就能表达多种样本的形态，具有很强的泛化能力。
实施例的senet网络参照2020年第8期《ieeetransactionsonpatternanalysisandmachineintelligence》刊登的jiehu等的论文“squeeze-and-excitationnetworks”公开的senet网络。
实施例的stn网络参照maxjaderberg等2015年6月发表的论文“spatialtransformernetworks”公开的stn网络。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
1.基于胶囊网络的服装分类方法，其特征在于，包括以下依次执行的步骤：
步骤1：对输入的服装图片进行图像增强和归一化处理；
步骤2：对服装图像进行特征下采样和特征融合；
步骤3：对服装图像进行特征加强；
步骤3.1：采用注意力机制将服装图像特征的关键向量与权重进行放大；
步骤3.2：对图像特征进行卷积与归一化处理；
步骤3.3：利用空间变换网络变换图像特征的感受域；
步骤4：将图像特征输入到胶囊网络，提取图像特征的空间关联信息，提高泛化能力；
步骤5：根据图像特征对服装进行判别分类，得到服装的分类结果。
2.根据权利要求1所述的基于胶囊网络的服装分类方法，其特征在于，所述步骤1包括以下子步骤：
步骤1.1：对输入的服装图像进行旋转、翻转、裁剪、放缩、对比度增强以及明暗调整；
步骤1.2：将服装图像的rgb参数映射到统一的区间。
3.根据权利要求1所述的基于胶囊网络的服装分类方法，其特征在于，步骤2中，所述特征下采样将大尺度224x224的图像下采样到适合特征加强的25x25的小尺度。
4.根据权利要求1所述的基于胶囊网络的服装分类方法，其特征在于，步骤3.1采用挤压和激励网络将服装图像特征的关键向量与权重进行放大，筛掉干扰的非目标特征。
5.采用权利要求1-4任意一项所述的服装分类方法的服装分类系统，其特征在于，它包括：
图像预处理模块，对输入的服装图片进行图像增强和归一化处理；
特征预处理模块，对服装图像进行特征下采样和特征融合；
特征加强模块，采用注意力机制将服装图像特征的关键向量与权重进行放大，利用空间变换网络变换图像特征的感受域，使得得到的图像特征不局限于单一方位或姿态；
胶囊网络单元，提取图像特征的空间关联信息，提高泛化能力；
判别处理模块，根据图像特征对服装进行判别分类，得到服装的分类结果。
6.根据权利要求5所述的服装分类系统，其特征在于，所述特征加强模块包括挤压和激励网络、卷积与归一化模块、空间变换网络，挤压和激励网络利用注意力机制将关键向量与权重进行放大，筛掉干扰的非目标特征，空间变换网络将图像特征的感受域进行进一步变换处理，使得到的特征可表达多个方位或多种姿态。
技术总结