本公开实施例涉及计算机技术,尤其涉及一种图像编辑方法、装置、设备及存储介质。
背景技术:
1、随着计算机技术的发展,根据文本描述对原始图像中的局部区域进行编辑的需求日益增加。
2、目前,在根据文本描述的图像编辑任务中,采用语义图像编辑会无差别的处理整个图像,无法精准地修改和编辑指定区域,导致生成的图像与文本描述存在差异,影响图像生成质量。
技术实现思路
1、本公开提供一种图像编辑方法、装置、设备及存储介质,可以精准地编辑指定区域,提升图文匹配度和图像生成质量。
2、第一方面,本公开实施例提供了一种图像编辑方法,包括:
3、获取原始图像中的待编辑区域和所述待编辑区域对应的目标提示词,其中,所述目标提示词为用于描述图像编辑的预期效果的文本信息;
4、根据所述待编辑区域确定目标掩膜图,通过图像编辑模型基于所述目标掩膜图向所述待编辑区域添加预设噪声,得到局部噪声图像;
5、通过所述图像编辑模型基于所述目标提示词,对所述局部噪声图像的待编辑区域进行噪声预测处理和图像生成处理,根据噪声预测结果和图像生成结果输出目标图像。
6、第二方面,本公开实施例还提供了一种图像编辑装置,该装置包括:
7、获取模块,用于获取原始图像中的待编辑区域和所述待编辑区域对应的目标提示词,其中,所述目标提示词为用于描述图像编辑的预期效果的文本信息;
8、噪声添加模块,用于根据所述待编辑区域确定目标掩膜图,通过图像编辑模型基于所述目标掩膜图向所述待编辑区域添加预设噪声,得到局部噪声图像;
9、图像生成模块,用于通过所述图像编辑模型基于所述目标提示词,对所述局部噪声图像的待编辑区域进行噪声预测处理和图像生成处理,根据噪声预测结果和图像生成结果输出目标图像。
10、第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:
11、一个或多个处理器;
12、存储装置,用于存储一个或多个程序,
13、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开任意实施例所述的图像编辑方法。
14、第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本公开任意实施例所述的图像编辑方法。
15、本公开实施例提供一种图像编辑方法、装置、设备及存储介质,通过针对待编辑区域的目标提示词准确描述出待编辑区域的预期编辑效果,基于待编辑区域确定目标掩膜图,通过图像编辑模型基于目标掩膜图向待编辑区域添加预设噪声,得到局部噪声图像,然后,通过图像编辑模型基于目标提示词对局部噪声图像的待编辑区域进行去噪处理和文生图处理,以在待编辑区域生成符合预期编辑效果的目标对象,实现精准地编辑指定区域,提升图文匹配度和图像生成质量。由于仅对待编辑区域进行加噪处理和去噪处理,降低了图像处理难度和目标对象与原始图像的色差。本公开实施例解决了相关技术中的图像编辑方法无法精准地修改和编辑局部区域的问题,提升了图文一致性和图像生成质量。
1.一种图像编辑方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述图像编辑模型的训练方式包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述样本图集对应的所述样本膨胀图像确定样本掩膜图集,包括:
4.根据权利要求3所述的方法,其特征在于,在对所述参考掩膜图进行高斯模糊处理,得到所述样本图像对应的至少两个样本掩膜图之后,还包括:
5.根据权利要求1所述的方法,其特征在于,所述获取原始图像中的待编辑区域和所述待编辑区域对应的目标提示词,包括:
6.根据权利要求1所述的方法,其特征在于,所述根据所述待编辑区域确定目标掩膜图,通过图像编辑模型基于所述目标掩膜图向所述待编辑区域添加预设噪声,得到局部噪声图像,包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述潜在特征图中的待编辑区域执行设定次数的噪声添加操作,得到局部噪声图像,包括:
8.根据权利要求1所述的方法,其特征在于,所述通过所述图像编辑模型基于所述目标提示词,对所述局部噪声图像的待编辑区域进行噪声预测处理和图像生成处理,根据噪声预测结果和图像生成结果输出目标图像,包括:
9.根据权利要求8所述的方法,其特征在于,还包括:
10.一种图像编辑装置,其特征在于,包括:
11.一种电子设备,其特征在于,所述电子设备包括:
12.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9中任一所述的图像编辑方法。