图像处理方法、装置、存储介质及计算机设备与流程

1.本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、存储介质及计算机设备。


背景技术：

2.随着互联网和终端技术的发展，除了传统的绘画方式，越来越多的人开始采用电子产品进行绘画，比如可以通过智能手机、平板电脑、笔记本电脑、个人计算机等终端设备进行绘画。但目前的绘画程序或应用，操作复杂，耗时长，且需要用户具备绘画基础，对于不具备绘画基础的用户，很难完成绘画作品，绘画难度较大。


技术实现要素：

3.本申请实施例提供一种图像处理方法、装置、存储介质及计算机设备，可以通过基于具备目标绘画风格的绘画数据集，对模型训练得到从轮廓图像到绘画图像的图像转换模型，通过该图像转换模型可以将用户输入的简单的目标轮廓图像转换为具备目标绘画风格的目标绘画图像，降低了绘画难度，以及缩短了绘画时间。
4.第一方面，提供一种图像处理方法，所述方法包括：获取包含多个原始绘画图像的绘画数据集，所述原始绘画图像为具备目标绘画风格的绘画图像；对所述绘画数据集进行图像处理，以得到包含多个原始轮廓图像的轮廓数据集；将所述轮廓数据集输入参考模型中训练并优化所述参考模型的参数，以根据训练后的所述参考模型的优化参数生成图像转换模型；基于所述图像转换模型对待转换的目标轮廓图像进行处理，以生成与所述目标轮廓图像对应的具备目标绘画风格的目标绘画图像。
5.第二方面，提供一种图像处理装置，所述装置包括：
6.获取单元，用于获取包含多个原始绘画图像的绘画数据集，所述原始绘画图像为具备目标绘画风格的绘画图像；
7.处理单元，用于对所述绘画数据集进行图像处理，以得到包含多个原始轮廓图像的轮廓数据集；
8.训练单元，用于将所述轮廓数据集输入参考模型中训练并优化所述参考模型的参数，以根据训练后的所述参考模型的优化参数生成图像转换模型；
9.转换单元，用于基于所述图像转换模型对待转换的目标轮廓图像进行图像转换处理，以生成与所述目标轮廓图像对应的具备目标绘画风格的目标绘画图像。
10.第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上第一方面所述的图像处理方法中的步骤。
11.第四方面，提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上第一方面所述的图像处理方法中的步骤。
12.本申请实施例通过获取包含多个原始绘画图像的绘画数据集，所述原始绘画图像为具备目标绘画风格的绘画图像；对所述绘画数据集进行图像处理，以得到包含多个原始轮廓图像的轮廓数据集；将所述轮廓数据集输入参考模型中训练并优化所述参考模型的参数，以根据训练后的所述参考模型的优化参数生成图像转换模型；基于所述图像转换模型对待转换的目标轮廓图像进行处理，以生成与所述目标轮廓图像对应的具备目标绘画风格的目标绘画图像。本申请实施例通过基于具备目标绘画风格的绘画数据集，对模型训练得到从轮廓图像到绘画图像的图像转换模型，通过该图像转换模型可以将用户输入的简单的目标轮廓图像转换为具备目标绘画风格的目标绘画图像，降低了绘画难度，以及缩短了绘画时间。
附图说明
13.为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1a为申请实施例提供的图像处理方法的应用场景示意图。
15.图1b为本申请实施例提供的图像处理方法的流程示意图。
16.图1c为本申请实施例提供的图像处理方法的另一流程示意图。
17.图1d为本申请实施例提供的sobel卷积因子的示意图。
18.图1e为本申请实施例提供的残差网络的结构示意图。
19.图1f为本申请实施例提供的残差块示意图。
20.图2a为本申请实施例提供的图像处理装置的结构示意图。
21.图2b为本申请实施例提供的图像处理装置的另一结构示意图。
22.图3为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
23.下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
24.本申请实施例提供一种图像处理方法、装置、计算机设备和存储介质。具体地，本申请实施例的图像处理方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。可以为智能手机、平板电脑、笔记本电脑、触控屏幕、智能电视、电子画板、个人计算机(personal computer，pc)、个人数字助理(personal digital assistant，pda)、智能可穿戴设备等，在此不作限定。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络服务、以及大数据和人工智能平台等基础云计算服务的云服务器。
25.云技术(cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列
资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
26.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
27.深度学习(deep learning,dl)是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。
28.本申请实施例采用机器学习的方式来训练图像转换模型，然后通过训练好的图像转换模型来将用户输入的简单的目标轮廓图像转换为具备目标绘画风格的目标绘画图像，降低了绘画难度，以及缩短了绘画时间。
29.请参阅图1a，图1a为本申请实施例提供的图像处理方法的应用场景示意图。以该图像处理方法由计算机设备执行为例，其中，该计算机设备可以为终端或者服务器等设备。该图像处理方法在由计算机设备执行的过程中，包含了通过训练参考模型15得到图像转换模型16的训练过程和利用图像转换模型16将用户输入的简单的目标轮廓图像e转换为具备目标绘画风格的目标绘画图像f的应用过程。在进行模型的训练时，计算机设备获取包含多个原始绘画图像a的绘画数据集，原始绘画图像a为具备目标绘画风格的绘画图像；然后通过对绘画数据集进行图像处理，以得到包含多个原始轮廓图像b的轮廓数据集，具体的图像处理过程包括依次将原始绘画图像a经过前景分割处理单元11、第一图像二值化处理单元12、边缘检测单元13、第二图像二值化处理单元14处理后得到原始轮廓图像b；然后，将轮廓数据集中的原始轮廓图像b输入参考模型15中训练参考模型15的优化参数，以根据训练后的参考模型15的优化参数生成图像转换模型16，具体为将轮廓数据集中的原始轮廓图像b输入残差网络151中进行处理后，得到输出图像c，然后通过判决器网络152将输出图像c和绘画数据集中与原始轮廓图像b对应的原始绘画图像a进行比较，以判决输出图像c是否真实，然后根据判决器网络152的判决结果d对残差网络151的损失函数进行训练，以得到训练后的参考模型15的优化参数。在应用图像转换模型进行图像转换时，用户可以通过计算机设备中安装的实现本申请实施例提供的方法的客户端、浏览器客户端或即时通信客户端上嵌入的小程序等软件端，输入简单的目标轮廓图像e，然后通过调用训练好的图像转换模型16将目标轮廓图像e换为具备目标绘画风格的目标绘画图像f。本申请实施例通过基于具备目标绘画风格的绘画数据集，对模型训练得到从轮廓图像到绘画图像的图像转换模型，通过该图像转换模型可以将用户输入的简单的目标轮廓图像转换为具备目标绘画风格的目标绘画图像，降低了绘画难度，可以使得不具备绘画基础的用户也可以通过简单的操作来
完成绘画作品，以及缩短了绘画时间。
30.需要说明的是，模型的训练过程、应用过程可以在服务器中完成，也可以在终端中完成。当模型的训练过程、实际应用过程都在服务器中端完成时，需要使用训练好的图像转换模型时，可以将用户通过终端输入的待转换的目标轮廓图像发送到服务器，服务器实际转换完成后，再将得到的目标绘画图像发送至终端进行显示。
31.当模型的训练过程、实际应用过程都在终端中完成时，需要使用训练好的图像转换模型和问答系统模型时，可以将待转换的目标轮廓图像输入到终端，终端实际转换完成后，终端将目标绘画图像进行显示。
32.当模型的训练过程在服务器中完成，模型的实际应用过程在终端中完成时，需要使用训练好的图像转换模型时，可以将待转换的目标轮廓图像输入到终端，终端实际转换完成后，终端将目标绘画图像进行显示。可选的，可以将服务器中训练好的模型文件(model文件)移植到终端上，若需要对输入待转换的目标轮廓图像进行预测，则将待转换的目标轮廓图像输入到训练好的模型文件(model文件)，通过转换处理即可得到目标绘画图像。
33.以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。
34.本申请各实施例提供了一种图像处理方法，该方法可以由终端或服务器执行，也可以由终端和服务器共同执行；本申请实施例以图像处理方法由终端执行为例来进行说明。
35.为了实现不具备绘画基础的用户也可以通过简单的操作来完成绘画作品，本申请实施例提出了一种图像处理方法、装置、存储介质及计算机设备。本申请实施例设计了一种深度学习网络，并采集相应绘画风格的绘画数据集，最终通过网络训练得到从线条到图像的图像转换模型。用户画出几笔线条或轮廓，然后将具有线条或轮廓的目标轮廓图像输入到图像转换模型中，就会生成一幅完整的目标绘画图像。本方法以山水画为例进行说明，本方法也可以进行其他绘画风格的目标绘画图像的生成。
36.请参阅图1b至图1f，图1b和图1c均为本申请实施例提供的图像处理方法的流程示意图，图1d为本申请实施例提供的sobel卷积因子的示意图，图1e为本申请实施例提供的残差网络的结构示意图，图1f为本申请实施例提供的残差块示意图。具体流程可以如下：
37.步骤101，获取包含多个原始绘画图像的绘画数据集，所述原始绘画图像为具备目标绘画风格的绘画图像。
38.例如，所采集的绘画数据集为具备相同绘画风格的绘画图像。该原始绘画图像可以为专业绘画者绘制的绘画图像。
39.例如，根据绘画题材的内容来分类，目标绘画风格可以包括人物画、山水画(风景画)、花鸟画(静物画)、动物画等。比如所采集的绘画数据集为具备山水画的绘画风格的绘画图像。比如所采集的绘画数据集为具备人物画的绘画风格的绘画图像。
40.上述列举的绘画风格，不作为对本申请实施例的限定。
41.步骤102，对所述绘画数据集进行图像处理，以得到包含多个原始轮廓图像的轮廓数据集。
42.其中，本申请实施例需要两个数据集，一个是输入数据集也即图像的轮廓数据集，另一个是绘画数据集，也即具有相应作画效果的绘画数据集。通过对包含有多个原始绘画
图像的绘画数据集进行图像处理，以得到包含多个原始轮廓图像的轮廓数据集。
43.例如，当该绘画数据集为具有山水画的绘画风格的原始绘画图像构成时，图像处理后得到的对应原始轮廓图像即为山水画的原始轮廓图像。
44.例如，当该绘画数据集为具有人物画的绘画风格的原始绘画图像构成时，图像处理后得到的对应原始轮廓图像即为人物画的原始轮廓图像。
45.例如，当该绘画数据集为具有花鸟画的绘画风格的原始绘画图像构成时，图像处理得到的对应原始轮廓图像即为花鸟画的原始轮廓图像。
46.在一些实施例中，步骤102可通过步骤1021或者步骤1024来实现，具体为：
47.步骤1021，对所述绘画数据集中的原始绘画图像进行前景分割，以得到所述原始绘画图像的前景分割图。
48.在一些实施例中，所述对所述绘画数据集中的原始绘画图像进行前景分割，以得到所述原始绘画图像的前景分割图，包括：
49.基于目标抠图模型和目标系数对所述绘画数据集中的原始绘画图像进行前景分割，以得到所述原始绘画图像的前景分割图。
50.例如，该目标抠图模型以alpha matting模型为例进行说明，该目标抠图模型还可以采用其他抠图模型。alpha matting模型的公式表示为以下公式(1)：
51.i＝α
×
f (1－α)
×
b
ꢀꢀ
(1)；
52.其中，i表示原始绘画图像，f表示原始绘画图像的前景，b表示原始绘画图像的背景，α为系数。
53.通过迭代获得最优解，即通过迭代将前景和背景很好的分割出来。α为一个0到1之间的值，每一个像素点都有一个估计得到的α，通过计算可以得到一个alpha matting图像，即为得到原始绘画图像的前景分割图。
54.步骤1022，对所述原始绘画图像的前景分割图进行二值化处理，以得到所述原始绘画图像的第一二值化图。
55.在一些实施例中，所述对所述原始绘画图像的前景分割图进行二值化处理，以得到所述原始绘画图像的第一二值化图，包括：
56.将所述原始绘画图像的前景分割图中目标系数大于预设系数值的像素点对应的灰度值设为第一灰度值；以及
57.将所述原始绘画图像的前景分割图中目标系数不大于预设系数值的像素点对应的灰度值设为第二灰度值；
58.遍历处理所述前景分割图中的所有像素点，以得到所述原始绘画图像的第一二值化图。
59.其中，第一灰度值大于第二灰度值。
60.其中，由前景分割图进行图像二值化。例如，目标系数为α，该预设系数值为0，第一灰度值为255，第二灰度值为0。将前景分割图(alpha matting图像)中所有α大于0的像素点对应的灰度值设为255；以及将前景分割图(alpha matting图像)中所有α不大于0的像素点对应的灰度值设为0；遍历处理前景分割图(alpha matting图像)中的所有像素点，以得到原始绘画图像的第一二值化图。
61.步骤1023，对所述原始绘画图像的第一二值化图进行边缘检测，以得到所述原始
绘画图像的边缘检测图。
62.在一些实施例中，所述对所述原始绘画图像的第一二值化图进行边缘检测，以得到所述原始绘画图像的边缘检测图，包括：
63.对所述原始绘画图像的第一二值化图进行索贝尔算子的边缘检测，以得到所述原始绘画图像的边缘检测图。
64.例如，索贝尔(sobel)算子具有sobel卷积因子g_x和g_y，具体如图1d所示。比如a表示该原始绘画图像的第一二值化图，gx表示经横向边缘检测的图像灰度值，gy表示经纵向边缘检测的图像灰度值，其中，gx可以表示为如下公式(2)，gy可以表示为如下公式(3)：
65.gx＝g_x*a
ꢀꢀ
(2)；
66.gy＝g_y*a
ꢀꢀ
(3)。
67.其中，该原始绘画图像的边缘检测图可以表示为如下公式(4)：
68.|g|＝|gx| |gy|
ꢀꢀ
(4)。
69.步骤1024，对所述原始绘画图像的边缘检测图进行二值化处理，以得到所述原始绘画图像的第二二值化图，并将所述原始绘画图像的第二二值化图确定为所述轮廓数据集中与所述原始绘画图像对应的原始轮廓图像。
70.在一些实施例中，所述对所述原始绘画图像的边缘检测图进行二值化处理，以得到所述原始绘画图像的第二二值化图，，并将所述原始绘画图像的第二二值化图确定为所述轮廓数据集中与所述原始绘画图像对应的原始轮廓图像，包括：
71.将所述原始绘画图像的边缘检测图中像素值大于或等于预设像素值的像素点确定为边缘点，将所述边缘检测图中的所有边缘点的灰度值设为第一灰度值；以及
72.将所述原始绘画图像的边缘检测图中像素值小于预设像素值的像素点确定为非边缘点，将所述边缘检测图中的所有非边缘点的灰度值设为第二灰度值；
73.遍历处理所述边缘检测图中的所有像素点，以得到所述原始绘画图像的第二二值化图；
74.将所述原始绘画图像的第二二值化图确定为所述轮廓数据集中与所述原始绘画图像对应的原始轮廓图像。
75.其中，第一灰度值大于第二灰度值。
76.其中，由边缘检测图进行图像二值化。例如，该预设像素值为220，第一灰度值为255，第二灰度值为0。将边缘检测图中像素值大于或等于220的像素点确定为边缘点，将边缘检测图中的所有边缘点的灰度值设为255；以及将边缘检测图中像素值小于220的像素点确定为非边缘点，将边缘检测图中的所有非边缘点的灰度值设为0；遍历处理边缘检测图中的所有像素点，以得到原始绘画图像的第二二值化图；将原始绘画图像的第二二值化图确定为轮廓数据集中与原始绘画图像对应的原始轮廓图像。
77.结合图1a进行说明，在对绘画数据集进行图像处理时，依次将原始绘画图像a经过前景分割处理单元11进行前景分割，然后经过第一图像二值化处理单元12进行图像二值化，再经过边缘检测单元13进行边缘检测，然后再经过第二图像二值化处理单元14进行图像二值化处理后，最终得到了背景为白色，边缘轮廓为黑色的原始轮廓图像b，将该原始轮廓图像b作为参考模型的输入图像。
78.步骤103，将所述轮廓数据集输入参考模型中训练并优化所述参考模型的参数，以
根据训练后的所述参考模型的优化参数生成图像转换模型。
79.在一些实施例中，所述参考模型包括残差网络和判决器网络，所述残差网络包括多个残差块；
80.所述将所述轮廓数据集输入参考模型中训练并优化所述参考模型的参数，以根据训练后的所述参考模型的优化参数生成图像转换模型，包括：
81.将所述轮廓数据集中的原始轮廓图像输入所述残差网络中进行处理后，得到输出图像；
82.通过所述判决器网络将所述输出图像和所述绘画数据集中与所述原始轮廓图像对应的原始绘画图像进行比较，以判决所述输出图像是否真实；
83.根据所述判决器网络的判决结果对所述残差网络的损失函数进行训练，以得到训练后的所述参考模型的优化参数；
84.根据所述训练后的所述参考模型的优化参数生成图像转换模型，所述图形转换模型包括所述损失函数已训练好的残差网络。
85.例如，如图1a所示，该参考模型15包括残差网络151和判决器网络152，将轮廓数据集中的原始轮廓图像b输入参考模型15中训练参考模型15的优化参数，以根据训练后的参考模型15的优化参数生成图像转换模型16，具体为将轮廓数据集中的原始轮廓图像b输入残差网络151中进行处理后，得到输出图像c，然后通过判决器网络152将输出图像c和绘画数据集中与原始轮廓图像b对应的原始绘画图像a进行比较，以判决输出图像c是否真实，然后根据判决器网络152的判决结果d对残差网络151的损失函数进行训练，以得到训练后的参考模型15的优化参数。
86.如图1e所示，该残差网络包括六个残差块1511，一张原始轮廓图像b输入到残差网络当中，经过六个残差块结构，生成输出图像c。其中，单个残差块的结构如图1f所示，其中，weight layer表示权重层，权重层的实现采用了卷积层的操作，残差块的输入表示为x，残差块的输出表示为f(x) x，f(x)表示要学习的残差映射，relu表示自适应参数化relu激活函数，identity表示恒等映射。在本申请实施例中，第一个残差块的x表示原始轮廓图像，最后一个残差块的输出f(x) x表示输出图像c。
87.其中，残差网络的损失函数l可以表示为如下公式(5)：
88.l＝l1*k1 l
gan
*k2ꢀꢀ
(5)；
89.其中，k1和k2为相应的系数。
90.其中，参数l1可以表示为如下公式(6)：
91.l1＝||i
t
‑
g(i
s
)||
ꢀꢀ
(6)；
92.其中，i
t
表示原始绘画图像，g()表示该残差网络，g(i
s
)表示残差网络输出的输出图像。l1的作用是让g(i
s
)越来越接近i
t
，即让输出图像越来越接近原始绘画图像。
93.l
gan
为生成对抗网络损失，可以表示为如下公式(7)：
94.l
gan
＝
‑
∑logd(i
t
,g(i
s
))
ꢀꢀ
(7)；
95.其中，d表示已经预训练得到的判决器网络，判决器网络用于判决输出图像是否真实。
96.例如，经过训练，k1＝1，k2＝2时，参考模型的效果最优。
97.步骤104，基于所述图像转换模型对待转换的目标轮廓图像进行处理，以生成与所
述目标轮廓图像对应的具备目标绘画风格的目标绘画图像。
98.在一些实施例中，当所述原始绘画图像为具备山水画的绘画风格的绘画图像时，所述基于所述图像转换模型对待转换的目标轮廓图像进行处理，以生成与所述目标轮廓图像对应的具备目标绘画风格的目标绘画图像，包括：
99.基于所述图像转换模型对待转换的目标轮廓图像进行处理，以生成与所述目标轮廓图像对应的山水画图像。
100.例如，当该图像处理方法运行于终端时，终端设备存储有集成该图像转换模型的绘画应用程序app并用于呈现图形用户界面。终端设备用于通过图形用户界面与用户进行交互，例如通过终端设备下载安装绘画应用程序并运行。该终端设备将图形用户界面提供给用户的方式可以包括多种，例如，可以渲染显示在终端设备的显示屏上，或者，通过全息投影呈现图形用户界面。例如，终端设备可以包括触控显示屏和处理器，该触控显示屏用于呈现图形用户界面以及接收用户作用于图形用户界面产生的操作指令，该图形用户界面包括绘画画面，该处理器用于运行该绘画应用、生成图形用户界面(比如生成目标绘画图像)、响应操作指令(比如接收用户输入的绘画操作指令)以及控制图形用户界面在触控显示屏上的显示。
101.例如，当该图像处理方法运行于服务器时，可以为云应用。云应用是指以云计算为基础的应用，终端与云端互动的应用，终端操作同步云端，而占用本地空间也通过云端备份保留终端数据。在云应用的运行模式下，绘画应用程序的运行主体和绘画画面呈现主体是分离的，该图像处理方法的储存与运行是在云应用服务器上完成的。而绘画画面呈现是在云应用的客户端完成的，云应用客户端主要用于绘画数据的接收、发送以及绘画画面的呈现，例如，云应用客户端可以是靠近用户侧的具有数据传输功能的显示设备，如，移动终端、电视机、电子画板、计算机、掌上电脑、个人数字助理等，但是进行绘画数据处理的终端设备为云端的云应用服务器。在进行绘画时，用户操作云应用客户端向云应用服务器发送操作指令，云应用服务器根据操作指令运行绘画应用程序，将绘画画面等数据进行编码压缩，通过网络返回云应用客户端，最后，通过云应用客户端进行解码并输出绘画画面。
102.例如，绘画应用程序app集成有多种绘画风格的图像转换模型时，用户在图形用户界面上绘制目标轮廓图像时，可以先选定目标绘画风格，然后在图形用户界面上绘制简单的线条或者轮廓，以形成目标轮廓图像，将目标轮廓图像提交后，终端或服务器后台会将目标轮廓图像转换成与该目标轮廓图像对应的具备目标绘画风格的目标绘画图像，然后将该目标绘画图像通过图形用户界面进行显示。
103.在一些实施例中，所述待转换的目标轮廓图像为包含有线条或者轮廓的图像。
104.例如，用户在图形用户界面上绘制简单的线条或者轮廓，以形成目标轮廓图像时，还可以对目标轮廓图像中的线条或轮廓标注语义信息，以生成包含有语义信息的目标轮廓图像，并根据被标注的语义信息，以及线条或轮廓来生成目标绘画图像。例如在绘制山水画时，某些线条可能会对应草地或水面，则用户可以自定义线条的语义信息，以使得生成的目标绘画图像可以具有特定的绘画内容。比如某个目标轮廓图像中的线条a被标注为草地，输入包含有线条a的目标轮廓图像后，生成的目标绘画图像在线条a对应位置的内容为草地。
105.例如，在生成与该目标轮廓图像对应的具备目标绘画风格的目标绘画图像后，还可以接收用户输入的明暗(亮度值)、色彩、空间(长、宽、高)、材质(比如水墨画、油画、版画)
等绘画参数特征，以更新该目标绘画图像。即该绘画应用程序中还集成有可以改变图像暗、色彩、空间、材质等特征的应用。例如，以色彩为例，当接收到色彩参数后，根据色彩参数重新调整该目标绘画图像的色彩。例如，材质绘画参数特征可以采用常见的滤镜技术来实现。
106.上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
107.本申请实施例通过获取包含多个原始绘画图像的绘画数据集，所述原始绘画图像为具备目标绘画风格的绘画图像；对所述绘画数据集进行图像处理，以得到包含多个原始轮廓图像的轮廓数据集；将所述轮廓数据集输入参考模型中训练并优化所述参考模型的参数，以根据训练后的所述参考模型的优化参数生成图像转换模型；基于所述图像转换模型对待转换的目标轮廓图像进行处理，以生成与所述目标轮廓图像对应的具备目标绘画风格的目标绘画图像。本申请实施例通过基于具备目标绘画风格的绘画数据集，对模型训练得到从轮廓图像到绘画图像的图像转换模型，通过该图像转换模型可以将用户输入的简单的目标轮廓图像转换为具备目标绘画风格的目标绘画图像，降低了绘画难度，使得不具备绘画基础的用户也可以通过简单的操作来完成绘画作品，以及缩短了绘画时间。
108.为便于更好的实施本申请实施例的图像处理方法，本申请实施例还提供一种图像处理装置。请参阅图2，图2为本申请实施例提供的图像处理装置的结构示意图。其中，该图像处理装置200可以包括：
109.获取单元201，用于获取包含多个原始绘画图像的绘画数据集，所述原始绘画图像为具备目标绘画风格的绘画图像；
110.处理单元202，用于对所述绘画数据集进行图像处理，以得到包含多个原始轮廓图像的轮廓数据集；
111.训练单元203，用于将所述轮廓数据集输入参考模型中训练并优化所述参考模型的参数，以根据训练后的所述参考模型的优化参数生成图像转换模型；
112.转换单元204，用于基于所述图像转换模型对待转换的目标轮廓图像进行图像转换处理，以生成与所述目标轮廓图像对应的具备目标绘画风格的目标绘画图像。
113.在一些实施例中，所述处理单元202包括：
114.图像分割单元2021，用于对所述绘画数据集中的原始绘画图像进行前景分割，以得到所述原始绘画图像的前景分割图；
115.第一图像二值化单元2022，用于对所述原始绘画图像的前景分割图进行二值化处理，以得到所述原始绘画图像的第一二值化图；
116.边缘检测单元2023，用于对所述原始绘画图像的第一二值化图进行边缘检测，以得到所述原始绘画图像的边缘检测图；
117.第二图像二值化单元2024，用于对所述原始绘画图像的边缘检测图进行二值化处理，以得到所述原始绘画图像的第二二值化图，并将所述原始绘画图像的第二二值化图确定为所述轮廓数据集中与所述原始绘画图像对应的原始轮廓图像。
118.在一些实施例中，所述图像分割单元2021，用于基于目标抠图模型和目标系数对所述绘画数据集中的原始绘画图像进行前景分割，以得到所述原始绘画图像的前景分割图。
119.在一些实施例中，所述第一图像二值化单元2022，用于：
120.将所述原始绘画图像的前景分割图中目标系数大于预设系数值的像素点对应的灰度值设为第一灰度值；以及
121.将所述原始绘画图像的前景分割图中目标系数不大于预设系数值的像素点对应的灰度值设为第二灰度值；
122.遍历处理所述前景分割图中的所有像素点，以得到所述原始绘画图像的第一二值化图。
123.在一些实施例中，所述边缘检测单元2023，用于对所述原始绘画图像的第一二值化图进行索贝尔算子的边缘检测，以得到所述原始绘画图像的边缘检测图。
124.在一些实施例中，所述第二图像二值化单元2024，用于：
125.将所述原始绘画图像的边缘检测图中像素值大于或等于预设像素值的像素点确定为边缘点，将所述边缘检测图中的所有边缘点的灰度值设为第一灰度值；以及
126.将所述原始绘画图像的边缘检测图中像素值小于预设像素值的像素点确定为非边缘点，将所述边缘检测图中的所有非边缘点的灰度值设为第二灰度值；
127.遍历处理所述边缘检测图中的所有像素点，以得到所述原始绘画图像的第二二值化图；
128.将所述原始绘画图像的第二二值化图确定为所述轮廓数据集中与所述原始绘画图像对应的原始轮廓图像。
129.在一些实施例中，所述参考模型包括残差网络和判决器网络，所述残差网络包括多个残差块；
130.所述训练单元203，用于：
131.将所述轮廓数据集中的原始轮廓图像输入所述残差网络中进行处理后，得到输出图像；
132.通过所述判决器网络将所述输出图像和所述绘画数据集中与所述原始轮廓图像对应的原始绘画图像进行比较，以判决所述输出图像是否真实；
133.根据所述判决器网络的判决结果对所述残差网络的损失函数进行训练，以得到训练后的所述参考模型的优化参数；
134.根据所述训练后的所述参考模型的优化参数生成图像转换模型，所述图形转换模型包括所述损失函数已训练好的残差网络。
135.在一些实施例中，当所述原始绘画图像为具备山水画的绘画风格的绘画图像时，所述转换单元204用于基于所述图像转换模型对待转换的目标轮廓图像进行处理，以生成与所述目标轮廓图像对应的山水画图像。
136.在一些实施例中，所述待转换的目标轮廓图像为包含有线条或者轮廓的图像。
137.上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
138.应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图2所示的装置可以执行上述图像处理方法实施例，并且装置中的各个模块的前述和其它操作和/或功能分别实现上述方法实施例的相应流程，为了简洁，在此不再赘述。
139.相应的，本申请实施例还提供一种计算机设备，该计算机设备可以为终端或者服
务器，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、智能电视、电子画板、pc机(personal computer，pc)、个人数字助理(personal digital assistant，pda)、智能可穿戴设备等设备。该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。如图3所示，该计算机设备可以包括射频(radio frequency，rf)电路301、包括有一个或一个以上计算机可读存储介质的存储器302、输入单元303、显示单元304、传感器305、音频电路306、无线保真(wireless fidelity，wifi)模块307、包括有一个或者一个以上处理核心的处理器308、以及电源309等部件。本领域技术人员可以理解，图3中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
140.rf电路301可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器308处理；另外，将涉及上行的数据发送给基站。此外，rf电路301还可以通过无线通信与网络和其他设备通信。
141.存储器302可用于存储软件程序以及模块，处理器308通过运行存储在存储器302的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据计算机设备的使用所创建的数据等。
142.输入单元303可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
143.显示单元304可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元304可包括显示面板。
144.计算机设备还可包括至少一种传感器305，比如光传感器、运动传感器以及其他传感器。
145.音频电路306、扬声器，传声器可提供用户与计算机设备之间的音频接口。音频电路306可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路306接收后转换为音频数据，再将音频数据输出处理器308处理后，经rf电路301以发送给比如另一计算机设备，或者将音频数据输出至存储器302以便进一步处理。音频电路306还可能包括耳塞插孔，以提供外设耳机与计算机设备的通信。
146.wifi属于短距离无线传输技术，计算机设备通过wifi模块307可帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽图3示出了wifi模块307，但可以理解的是，其并不属于计算机设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
147.处理器308是计算机设备的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器302内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。
148.计算机设备还包括给各个部件供电的电源309(比如电池)，优选的，电源可以通过
电源管理系统与处理器308逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
149.尽管未示出，计算机设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，计算机设备中的处理器308会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器302中，并由处理器308来运行存储在存储器302中的计算机程序，从而实现各种功能：
150.获取包含多个原始绘画图像的绘画数据集，所述原始绘画图像为具备目标绘画风格的绘画图像；对所述绘画数据集进行图像处理，以得到包含多个原始轮廓图像的轮廓数据集；将所述轮廓数据集输入参考模型中训练并优化所述参考模型的参数，以根据训练后的所述参考模型的优化参数生成图像转换模型；基于所述图像转换模型对待转换的目标轮廓图像进行处理，以生成与所述目标轮廓图像对应的具备目标绘画风格的目标绘画图像。
151.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
152.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
153.为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种图像处理方法中的步骤。
154.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
155.其中，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
156.由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种图像处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
157.以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及计算机设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

技术特征：
1.一种图像处理方法，其特征在于，所述方法包括：获取包含多个原始绘画图像的绘画数据集，所述原始绘画图像为具备目标绘画风格的绘画图像；对所述绘画数据集进行图像处理，以得到包含多个原始轮廓图像的轮廓数据集；将所述轮廓数据集输入参考模型中训练并优化所述参考模型的参数，以根据训练后的所述参考模型的优化参数生成图像转换模型；基于所述图像转换模型对待转换的目标轮廓图像进行处理，以生成与所述目标轮廓图像对应的具备目标绘画风格的目标绘画图像。2.如权利要求1所述的图像处理方法，其特征在于，所述对所述绘画数据集进行图像处理，以得到包含多个原始轮廓图像的轮廓数据集，包括：对所述绘画数据集中的原始绘画图像进行前景分割，以得到所述原始绘画图像的前景分割图；对所述原始绘画图像的前景分割图进行二值化处理，以得到所述原始绘画图像的第一二值化图；对所述原始绘画图像的第一二值化图进行边缘检测，以得到所述原始绘画图像的边缘检测图；对所述原始绘画图像的边缘检测图进行二值化处理，以得到所述原始绘画图像的第二二值化图，并将所述原始绘画图像的第二二值化图确定为所述轮廓数据集中与所述原始绘画图像对应的原始轮廓图像。3.如权利要求2所述的图像处理方法，其特征在于，所述对所述绘画数据集中的原始绘画图像进行前景分割，以得到所述原始绘画图像的前景分割图，包括：基于目标抠图模型和目标系数对所述绘画数据集中的原始绘画图像进行前景分割，以得到所述原始绘画图像的前景分割图。4.如权利要求3所述的图像处理方法，其特征在于，所述对所述原始绘画图像的前景分割图进行二值化处理，以得到所述原始绘画图像的第一二值化图，包括：将所述原始绘画图像的前景分割图中目标系数大于预设系数值的像素点对应的灰度值设为第一灰度值；以及将所述原始绘画图像的前景分割图中目标系数不大于预设系数值的像素点对应的灰度值设为第二灰度值；遍历处理所述前景分割图中的所有像素点，以得到所述原始绘画图像的第一二值化图。5.如权利要求2所述的图像处理方法，其特征在于，所述对所述原始绘画图像的第一二值化图进行边缘检测，以得到所述原始绘画图像的边缘检测图，包括：对所述原始绘画图像的第一二值化图进行索贝尔算子的边缘检测，以得到所述原始绘画图像的边缘检测图。6.如权利要求2所述的图像处理方法，其特征在于，所述对所述原始绘画图像的边缘检测图进行二值化处理，以得到所述原始绘画图像的第二二值化图，并将所述原始绘画图像的第二二值化图确定为所述轮廓数据集中与所述原始绘画图像对应的原始轮廓图像，包括：
将所述原始绘画图像的边缘检测图中像素值大于或等于预设像素值的像素点确定为边缘点，将所述边缘检测图中的所有边缘点的灰度值设为第一灰度值；以及将所述原始绘画图像的边缘检测图中像素值小于预设像素值的像素点确定为非边缘点，将所述边缘检测图中的所有非边缘点的灰度值设为第二灰度值；遍历处理所述边缘检测图中的所有像素点，以得到所述原始绘画图像的第二二值化图；将所述原始绘画图像的第二二值化图确定为所述轮廓数据集中与所述原始绘画图像对应的原始轮廓图像。7.如权利要求1所述的图像处理方法，其特征在于，所述参考模型包括残差网络和判决器网络，所述残差网络包括多个残差块；所述将所述轮廓数据集输入参考模型中训练并优化所述参考模型的参数，以根据训练后的所述参考模型的优化参数生成图像转换模型，包括：将所述轮廓数据集中的原始轮廓图像输入所述残差网络中进行处理后，得到输出图像；通过所述判决器网络将所述输出图像和所述绘画数据集中与所述原始轮廓图像对应的原始绘画图像进行比较，以判决所述输出图像是否真实；根据所述判决器网络的判决结果对所述残差网络的损失函数进行训练，以得到训练后的所述参考模型的优化参数；根据所述训练后的所述参考模型的优化参数生成图像转换模型，所述图形转换模型包括所述损失函数已训练好的残差网络。8.如权利要求1～7任一项所述的图像处理方法，其特征在于，当所述原始绘画图像为具备山水画的绘画风格的绘画图像时，所述基于所述图像转换模型对待转换的目标轮廓图像进行处理，以生成与所述目标轮廓图像对应的具备目标绘画风格的目标绘画图像，包括：基于所述图像转换模型对待转换的目标轮廓图像进行处理，以生成与所述目标轮廓图像对应的山水画图像。9.如权利要求1～7任一项所述的图像处理方法，其特征在于，所述待转换的目标轮廓图像为包含有线条或者轮廓的图像。10.一种图像处理装置，其特征在于，所述装置包括：获取单元，用于获取包含多个原始绘画图像的绘画数据集，所述原始绘画图像为具备目标绘画风格的绘画图像；处理单元，用于对所述绘画数据集进行图像处理，以得到包含多个原始轮廓图像的轮廓数据集；训练单元，用于将所述轮廓数据集输入参考模型中训练并优化所述参考模型的参数，以根据训练后的所述参考模型的优化参数生成图像转换模型；转换单元，用于基于所述图像转换模型对待转换的目标轮廓图像进行图像转换处理，以生成与所述目标轮廓图像对应的具备目标绘画风格的目标绘画图像。11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1
‑
9任一项所述的图像处理方法中的步骤。
12.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1
‑
9任一项所述的图像处理方法中的步骤。
技术总结
本申请实施例公开了一种图像处理方法、装置、存储介质及计算机设备，其中，该方法包括：获取包含多个原始绘画图像的绘画数据集，原始绘画图像为具备目标绘画风格的绘画图像；对绘画数据集进行图像处理，以得到包含多个原始轮廓图像的轮廓数据集；将轮廓数据集输入参考模型中训练并优化参考模型的参数，以根据训练后的参考模型的优化参数生成图像转换模型；基于图像转换模型对待转换的目标轮廓图像进行处理，以生成与目标轮廓图像对应的具备目标绘画风格的目标绘画图像，降低了绘画难度，以及缩短了绘画时间。短了绘画时间。短了绘画时间。


技术研发人员：刘恩雨 李松南
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2021.04.23
技术公布日：2021/6/25