一种基于图像特征和深度学习技术的玉石分类方法与流程

1.本发明涉及图像识别技术领域，尤其涉及一种基于图像特征和深度学习技术的玉石分类方法。


背景技术：

2.近年来，随着人工智能技术的快速发展，尤其是基于机器学习、深度学习的人工智能等前沿科学技术在各行各业的落地，“ai 传统行业”的模式正在引领一场新的改革，过去只能由人工完成的事情，现在逐步由人工智能技术所替代，逐步实现了半自动化、自动化、智能化。
3.在玉石行业，玉石主要分为硬玉和软玉，而在硬玉和软玉中又有不同的玉石种类，其间硬玉是以翡翠为代表，软玉是以和田玉为代表。我国玉石类型多样，包括翡翠、和田玉、碧玉、黄龙玉、俄料、籽料、岫玉、独玉、水晶等等。在玉石行业市场交易中，对玉石的原料种类进行分类主要是依靠人工进行判断，针对某些不易辨识的玉石，还需要依靠专门的仪器设备进行鉴定。然而，现有技术的分类方法中，依靠肉眼判断不仅低效、准确度不高，而依靠专门仪器设备进行分类成本高昂、耗时巨大、处理能力大大受限，难以适应市场化需求。


技术实现要素：

4.鉴于背景技术存在的不足，本发明涉及一种基于图像特征和深度学习技术的玉石分类方法，根据上述问题，本发明采用深度学习方法解决现有技术方案中识别准确率低、识别效率低、分类成本高等突出问题。本发明为了弥补现有技术的缺陷，提供了一种基于图像特征和深度学习技术的简单高效的玉石分类方法。
5.本发明涉及一种基于图像特征和深度学习技术的玉石分类方法，包括图像采集模块、玉石检测模块、检测结果分析模块、结果输出模块，所述图像采集模块通过采集设备采集玉石图像，对输入的图像进行预处理，然后使用深度学习模型算法对图像进行特征提取，根据二者的特征进行玉石的检测和分类，确定当前图像中的玉石个数及各个玉石所在位置、玉石种类、置信度，从而实现玉石智能分类。
6.通过采用上述方案，借助于使用预先训练好的深度学习模型算法对图像进行特征进行智能识别分类，有效提高识别精准度及效率。
7.进一步的，所述采集模块采用采集设备进行图像采集，图像包括可见光图像、专业设备采集的非可见光图像；所述玉石检测模块包括图像预处理、模型检测、玉石个数检测、检测结果可靠性判断；所述检测结果分析模块包括玉石数量分析、位置分析、类别分析、置信度分析，所述结果输出模块包括检测结果完成判断、信息上传。
8.通过采用上述方案，使得待检测图像可通过多种途径获得，包含所有拍摄或者视频流解析出的图像。
9.进一步的，所述采集模块的采集模块包括但不限于客户端相机、专业相机、扫描仪、数码相机、显微镜、红外发射仪、探伤仪等。
10.进一步的，所述图像预处理及图像处理方式包括但不限于缩放、平移、转置、镜像、旋转、归一化、降维、去噪、均衡化、平滑等。
11.通过采用上述方案，使得处理图片更加方便，处理后同一管理识别速度快。
12.进一步的，所述模型检测的训练模型的方法可以使用目标检测算法、图像分割算法或分类算法。
13.通过采用上述方案，通过收集大量关于翡翠、和田玉、碧玉、黄龙玉、俄料、籽料、岫玉、独玉、水晶等玉石的图片素材，根据不同玉石类别进行分类、标定，再借助于计算机设备使用图像检测或分类或分割算法进行模型参数训练学习，训练结束后最终得到所需要的预训练模型。
14.进一步的，包括如下实施步骤：s1：图像采集，通过图像采集设备获取玉石的待检测图像；s2：图像预处理，通过对图像的格式处理以达到指定大小及格式；s3：模型检测，采用预先训练好的模型，计算出图像中包含的玉石个数、种类概率值；s4：是否有检测结果，是否有检测结果的判定依据可以检测到的玉石个数是否为非0进行判定，若有检测结果，也即检测到的玉石个数≥1，则执行s7；若无检测结果，也即检测到的玉石个数为0，则执行s5；s5：是否超过阈值，可根据场景需要、软硬件平台的算力性能、对玉石漏检的容错率等因素决定阈值，若无检测结果次数未超过阈值n0，则执行s6，调整图像分辨率、亮度、饱和度等，继续进行检测；若无检测结果次数超过阈值n0，则执行s1，该输入图像不含玉石，继续处理下一张图像；s6：图像处理，通过对图像进行去噪、归一化等操作，以及对图像的格式处理以达到指定大小及格式；s7：检测结果分析，对玉石逐个进行分析，包括玉石概率、玉石个数、玉石所在图像位置、宽高、玉石种类概率；s8：置信度是否超过阈值，若检测结果置信度未超过阈值n1，则执行s5，对图像进行处理后重新进行检测；若检测结果置信度超过阈值n1，说明检测结果可靠，则执行s9；s9：检测结果是否处理完成，若检测结果未处理完成，则执行s7，继续对下一个玉石图像进行处理；若检测结果处理完成，则执行s10，对结果进行上报。s10：上报结果，上报包含玉石个数、所在位置、置信度及玉石概率信息。
15.通过采用上述方案，使其方法具有玉石分类准确率高、识别效率高、场景适应性强、鲁棒性好、成本低等优点。
16.进一步的，s7、s10中所述玉石概率为属于翡翠、和田玉、碧玉、黄龙玉、俄料、籽料、岫玉、独玉、水晶、其它类别的概率值。
17.进一步的，s1、s2、s6中的图像格式、文件、分辨率无大小上下限限制，也不限制图像格式。
18.进一步的，s3中的模型包括但不限于yolo系列、mobilenet系列、ssd、pelee、rcnn、fastrcnn、fasterrcnn、mask r
‑
cnn、vggnet、resnet、googlenet、fcn、setnet、reseg、crf、mrf等以及其变体算法。
19.本发明的有益效果如下：1.实现了玉石分类方法上的创新；2.对于新型的玉石可以通过调整模型分类类别重新训练后适配；3.对玉石的个数不做限制，能够处理包括1个或任意多个的玉石的图像；4.对采集图像的数据源不作限制，比如手机相机、专业相机、扫描仪、数码相机拍
摄图像或者视频流解析出的图像，以及显微镜、红外发射仪、探伤仪等专业设备采集的图像等。对图像格式不做限制，能够支持jpg、png、tif、gif等各类图片、视频帧、截图、截屏、扫描件等，对采集图像文件大小无上下限限制。
附图说明
20.下面结合附图和实施例对本发明进一步说明。
21.图1是本发明实施例的模块结构示意图。
22.图2是本发明实施例的流程框图。
23.附图标记，1、图像采集模块；2、玉石检测模块；3、检测结果分析模块；4、结果输出模块。
具体实施方式
24.以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
25.为了便于对本发明实施例的理解，下面将结合附图以具体实施例为例作进一步的解释说明，且各个实施例不构成对本发明实施例的限定。
26.本发明的实施例1参照图1、图2，包括图像采集模块1、玉石检测模块2、检测结果分析模块3、结果输出模块4 。所述图像采集模块1通过图片采集设备对图片进行采集，采集设备采集的图像包括手机相机、专业相机、扫描仪、数码相机等拍摄或者视频流解析出的图像，以及显微镜、红外发射仪、探伤仪等专业设备采集的图像。且图像格式并无限制，包括但不限于jpg、png、tif、gif等各类图片、视频帧、截图、截屏、扫描件等，对采集图像文件大小无上下限限制。
27.所述玉石检测模块2主要是对输入图像进行预处理以及调用深度学习模型进行玉石检测，预处理是为下一步使用深度学习模型进行检测做准备，从而提升检测准确度。所述玉石检测模块2包括图像预处理、模型检测、检测结果判断、超出阈值判断、图像处理。所述图像预处理和图像处理是一种多图像的处理方式，其方式包括但不限于平移、转置、镜像、旋转、缩放等几何变换、标准化处理、归一化、降维、均衡化、平滑、去噪等图像处理领域常见的方法。所述模型检测是采用预先训练好的模型，其训练模型的方法可以是目标检测算法、图像分割算法或分类算法，如ssd、yolov5等，具体方法为：首先收集大量关于翡翠、和田玉、碧玉、黄龙玉、俄料、籽料、岫玉、独玉、水晶等玉石的图片素材，根据不同玉石类别进行分类、标定，再借助于计算机设备使用图像检测或分类或分割算法进行模型参数训练学习，训练结束后最终得到所需要的预训练模型。模型检测输出的结果包括图像中玉石的个数，每个玉石属于翡翠、和田玉、碧玉、黄龙玉、俄料、籽料、岫玉、独玉、水晶、其它等类别的概率值。检测结果判断用于判断是否有检测结果的判定依据可以检测到的玉石个数是否为非0进行判定。超出阈值判断用于判定无检测结果的次数是否超出阈值n0，若超出，调整图像分辨率、亮度、饱和度等，继续进行检测；若未超出，这判定该图像不含该玉石，执行下一张图像。 阈值n0确定方式：可根据场景需要、软硬件平台的算力性能、对玉石漏检的容错率等因
素决定，如阈值n0取3。
28.所述检测结果分析模块3是对检测到的玉石逐个进行分析，每个玉石的深度学习模型检测的结果主要包括以下信息：
①ꢀ
原图中检测出的玉石区域及该区域属于玉石的概率（即置信度）、玉石个数；
②ꢀ
每个玉石所在的位置和宽高（各类玉石均以其外接矩形的中心点坐标和宽高为标准）；
③ꢀ
每个玉石属于翡翠、和田玉、碧玉、黄龙玉、俄料、籽料、岫玉、独玉、水晶、其它类别的概率值；玉石检测最终的分类结果主要是根据玉石属于各个类别的概率来确定该玉石属于哪一类。一般可取最大概率的类别为本次检测结果该玉石的类别。例如，玉石a属于[翡翠，和田玉，碧玉，黄龙玉，俄料，籽料，岫玉，独玉，水晶，其它]的概率分别为[0.6，0.05，0.1，0.03，0.02，0.03，0.01，0.09，0.02，0.05]，则判定玉石a属于翡翠。所述检测结果分析模块3还判断置信度是否超出阈值。若检测结果置信度未超过阈值n1，则执行阈值检测，对图像进行处理后重新进行检测。若检测结果置信度超过阈值n1，说明检测结果可靠，则执行结果输出。置信度阈值n1根据场景需要、对玉石误检的容错率等因素决定，如阈值n1取0.6。
[0029]
所述结果输出模块4主要判断当前图片中玉石是否全部处理完成，并对结果进行输出。包括结果检测处理完成判断及上报结果。若检测结果未处理完成，则执行检测结果分析，继续对下一个玉石图像进行处理；若检测结果处理完成，对结果进行上报。上报结果包含以下信息：
①
原图中检测出的玉石个数、所在位置及置信度；
②
每个玉石属于翡翠、和田玉、碧玉、黄龙玉、俄料、籽料、岫玉、独玉、水晶、其它类别的概率值。
[0030]
本发明的玉石分类方法步骤如下：s1：图像采集，通过图像采集设备获取玉石的待检测图像；s2：图像预处理，通过对图像的格式处理以达到指定大小及格式；s3：模型检测，采用预先训练好的模型，计算出图像中包含的玉石个数、种类概率值；s4：是否有检测结果，是否有检测结果的判定依据可以检测到的玉石个数是否为非0进行判定，若有检测结果，也即检测到的玉石个数≥1，则执行s7；若无检测结果，也即检测到的玉石个数为0，则执行s5；s5：是否超过阈值，可根据场景需要、软硬件平台的算力性能、对玉石漏检的容错率等因素决定阈值，若无检测结果次数未超过阈值n0，则执行s6，调整图像分辨率、亮度、饱和度等，继续进行检测；若无检测结果次数超过阈值n0，则执行s1，该输入图像不含玉石，继续处理下一张图像；s6：图像处理，通过对图像的格式处理以达到指定大小及格式；s7：检测结果分析，对玉石逐个进行分析，包括玉石概率、玉石个数、玉石所在图像位置、宽高、玉石种类概率；s8：置信度是否超过阈值，若检测结果置信度未超过阈值n1，则执行s5，对图像进
行处理后重新进行检测；若检测结果置信度超过阈值n1，说明检测结果可靠，则执行s9；s9：检测结果是否处理完成，若检测结果未处理完成，则执行s7，继续对下一个玉石图像进行处理；若检测结果处理完成，则执行s10，对结果进行上报。
[0031]
s10：上报结果，上报包含玉石个数、所在位置、置信度及玉石概率信息。
[0032]
本发明技术方案中的玉石检测算法可以用下列目标检测算法、图像分割算法或分类算法替代，包括但不限于yolo系列、mobilenet系列、ssd、pelee、rcnn、fastrcnn、fasterrcnn、mask r
‑
cnn、vggnet、resnet、googlenet、fcn、setnet、reseg、crf、mrf等以及其变体算法。
[0033]
本发明通过使用相机等图像采集设备采集玉石图像，对输入图像进行缩放到固定尺寸等预处理，再借助于使用预先训练好的深度学习模型算法对图像进行特征提取（比如颜色信息、形状信息、边缘信息、纹理信息等等），根据提取到的图像特征，结合深度学习模型算法学习到的各种不同类型玉石的特征，进行玉石检测和分类，确定当前图像中玉石的个数以及各个玉石所在的位置、玉石的种类、置信度，从而实现了玉石智能分类。
[0034]
本发明能够智能、快速地判定输入图像中是否有玉石、以及玉石的类别等信息，大大提升了玉石分类的效率和准确率。
[0035]
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0036]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种基于图像特征和深度学习技术的玉石分类方法，其特征在于：包括图像采集模块、玉石检测模块、检测结果分析模块、结果输出模块，所述图像采集模块通过采集设备采集玉石图像，对输入的图像进行预处理，然后使用深度学习模型算法对图像进行特征提取，根据二者的特征进行玉石的检测和分类，确定当前图像中的玉石个数及各个玉石所在位置、玉石种类、置信度，从而实现玉石智能分类。2.根据权利要求1所述的一种基于图像特征和深度学习技术的玉石分类方法，其特征在于：所述采集模块采用采集设备进行图像采集，图像包括可见光图像、专业设备采集的非可见光图像；所述玉石检测模块包括图像预处理、模型检测、玉石个数检测、检测结果可靠性判断；所述检测结果分析模块包括玉石数量分析、位置分析、类别分析、置信度分析，所述结果输出模块包括检测结果完成判断、信息上传。3.根据权利要求2所述的一种基于图像特征和深度学习技术的玉石分类方法，其特征在于：所述采集模块的采集模块包括但不限于客户端相机、专业相机、扫描仪、数码相机、显微镜、红外发射仪、探伤仪等。4.根据权利要求2所述的一种基于图像特征和深度学习技术的玉石分类方法，其特征在于：所述图像预处理及图像处理方式包括但不限于缩放、平移、转置、镜像、旋转、归一化、降维、去噪、均衡化、平滑等。5.根据权利要求2所述的一种基于图像特征和深度学习技术的玉石分类方法，其特征在于：所述模型检测的训练模型的方法可以使用目标检测算法、图像分割算法或分类算法。6.根据权利要求2所述的一种基于图像特征和深度学习技术的玉石分类方法，其特征在于：包括如下实施步骤：s1：图像采集，通过图像采集设备获取玉石的待检测图像；s2：图像预处理，通过对图像的格式处理以达到指定大小；s3：模型检测，采用预先训练好的模型，计算出图像中包含的玉石个数、种类概率值；s4：是否有检测结果，是否有检测结果的判定依据可以检测到的玉石个数是否为非0进行判定，若有检测结果，也即检测到的玉石个数≥1，则执行s7；若无检测结果，也即检测到的玉石个数为0，则执行s5；s5：是否超过阈值，可根据场景需要、软硬件平台的算力性能、对玉石漏检的容错率等因素决定阈值，若无检测结果次数未超过阈值n0，则执行s6，调整图像分辨率、亮度、饱和度等，继续进行检测；若无检测结果次数超过阈值n0，则执行s1，该输入图像不含玉石，继续处理下一张图像；s6：图像处理，通过对图像的格式处理以达到指定大小及格式；s7：检测结果分析，对玉石逐个进行分析，包括玉石概率、玉石个数、玉石所在图像位置、宽高、玉石种类概率；s8：置信度是否超过阈值，若检测结果置信度未超过阈值n1，则执行s5，对图像进行处理后重新进行检测；若检测结果置信度超过阈值n1，说明检测结果可靠，则执行s9；s9：检测结果是否处理完成，若检测结果未处理完成，则执行s7，继续对下一个玉石图像进行处理；若检测结果处理完成，则执行s10，对结果进行上报；s10：上报结果，上报包含玉石个数、所在位置、置信度及玉石概率信息。
7.根据权利要求6所述的一种基于图像特征和深度学习技术的玉石分类方法，其特征在于：s7、s10中所述玉石概率为属于翡翠、和田玉、碧玉、黄龙玉、俄料、籽料、岫玉、独玉、水晶、其它类别的概率值。8.根据权利要求7所述的一种基于图像特征和深度学习技术的玉石分类方法，其特征在于：s1、s2、s6中的图像格式、文件、分辨率无大小上下限限制，也不限制图像格式。9.根据权利要求8所述的一种基于图像特征和深度学习技术的玉石分类方法，其特征在于：s3中的模型包括但不限于yolo系列、mobilenet系列、ssd、pelee、rcnn、fastrcnn、fasterrcnn、mask r
‑
cnn、vggnet、resnet、googlenet、fcn、setnet、reseg、crf、mrf等以及其变体算法。
技术总结
本发明涉及一种基于图像特征和深度学习技术的玉石分类方法，包括图像采集模块、玉石检测模块、检测结果分析模块、结果输出模块，所述图像采集模块通过采集设备采集玉石图像，对输入的图像进行预处理，然后使用深度学习模型算法对图像进行特征提取，根据二者的特征进行玉石的检测和分类，确定当前图像中的玉石个数及各个玉石所在位置、玉石种类、置信度，从而实现玉石智能分类。本发明采用深度学习方法解决现有技术方案中识别准确率低、识别效率低、分类成本高等突出问题。本发明为了弥补现有技术的缺陷，提供了一种基于图像特征和深度学习技术的简单高效的玉石分类方法。术的简单高效的玉石分类方法。


技术研发人员：郭双双 易长安 王旭伟 王旭辉 李洋 张玉龙
受保护的技术使用者：杭州麦趣网络科技有限公司
技术研发日：2021.03.25
技术公布日：2021/6/29