本发明涉及图像处理,尤其涉及一种ai图像的图像质量测算方法、系统、设备及存储介质。
背景技术:
1、随着人工智能技术的日新月异,ai模型已逐步渗透到人们的日常生活中,为我们的生活带来了诸多便利。在图像生成领域,ai技术展现出了巨大的潜力。如今,当人们需要符合特定要求的图像时,只需将对图像的具体要求输入到特定的ai图像生成模型中,便可基于ai图像生成模型迅速获得与要求相匹配的图像。
2、然而,传统的图像质量测算方法主要侧重于图像的清晰度、完整度等客观指标,但这些方法往往忽略了生成的图像与其输入要求之间的匹配程度。
3、因此,如何准确地测算ai生成图像的图像质量,是本领域技术人员尚待解决的问题。
技术实现思路
1、本发明提出一种ai图像的图像质量测算方法、系统、设备及存储介质,旨在解决如何准确地测算ai生成图像的图像质量的技术问题。
2、为解决上述问题,本发明提出一种ai图像的图像质量测算方法,所述ai图像的图像质量测算方法包括:
3、获取待测算ai图像和所述待测算ai图像的生成图像所用文本;
4、基于预设的图像编码器提取所述待测算ai图像的图像特征,并基于预设的文本编码器提取所述生成图像所用文本的文本特征;
5、将所述图像特征输入预设的注意力池化模型,得到全局图像特征,并将所述图像特征和所述文本特征输入预设的跨模态注意力池化模型,得到图文匹配特征;
6、根据所述全局图像特征和所述图文匹配特征,得到所述待测算ai图像的图像质量。
7、可选地,在所述基于预设的图像编码器提取所述待测算ai图像的图像特征的步骤之前,所述方法还包括:
8、获取各个训练图像和各所述训练图像各自对应的训练文本;
9、通过待训练图像编码器提取各所述训练图像各自对应的训练所得图像特征,并通过预设的文本编码器提取各所述训练文本各自对应的训练所得文本特征;
10、确定各所述训练图像各自对应的训练所得图像特征和训练所得文本特征之间的余弦相似度;
11、在检测到各所述余弦相似度中存在小于相似度阈值的余弦相似度时,对所述待训练图像编码器的参数进行调整,并返回执行通过待训练图像编码器提取各所述训练图像各自对应的训练所得图像特征的步骤;
12、在检测到各所述余弦相似度中不存在小于所述相似度阈值的余弦相似度时,将所述待训练图像编码器作为图像编码器。
13、可选地,所述根据所述全局图像特征和所述图文匹配特征,得到所述待测算ai图像的图像质量的步骤,包括:
14、对所述全局图像特征和所述图文匹配特征进行拼接,得到多模态特征;
15、对所述多模态特征加权求和,得到待测算ai图像的图像质量。
16、可选地,所述图像质量包括图像自身质量和图像文本匹配度,所述对所述多模态特征加权求和,得到待测算ai图像的图像质量的步骤,包括:
17、通过与所述图像自身质量对应预设的第一权重数据集对所述多模态特征加权求和,得到所述图像自身质量;
18、通过与所述图像文本匹配度对应预设的第二权重数据集对所述多模态特征加权求和,得到所述图像文本匹配度。
19、可选地,所述基于预设的文本编码器提取所述生成图像所用文本的文本特征的步骤,包括:
20、基于所述生成图像所用文本生成句式特征,并基于预设的文本编码器提取所述句式特征的文本特征。
21、可选地,所述将所述图像特征输入预设的注意力池化模型,得到全局图像特征的步骤,包括:
22、基于所述图像特征填充预设的第一键矩阵和预设的第一值矩阵;
23、提取所述图像特征中的视觉特征,并将所述视觉特征作为第一查询矩阵;
24、将所述第一键矩阵、第一值矩阵和所述第一查询矩阵输入预设的注意力池化模型,得到全局图像特征。
25、可选地,所述将所述图像特征和所述文本特征输入预设的跨模态注意力池化模型,得到图文匹配特征的步骤,包括:
26、基于所述图像特征填充预设的第二键矩阵和预设的第二值矩阵,并基于所述文本特征填充预设的第二查询矩阵;
27、将所述第二键矩阵、所述第二值矩阵和所述第二查询矩阵输入预设的跨模态注意力池化模型,得到图文匹配特征。
28、此外,本发明还提出一种ai图像的图像质量测算系统,所述ai图像的图像质量测算系统包括:
29、第一获取模块,用于获取待测算ai图像和所述待测算ai图像的生成图像所用文本;
30、特征提取模块,用于基于预设的图像编码器提取所述待测算ai图像的图像特征,并基于预设的文本编码器提取所述生成图像所用文本的文本特征;
31、模型处理模块,用于将所述图像特征输入预设的注意力池化模型,得到全局图像特征,并将所述图像特征和所述文本特征输入预设的跨模态注意力池化模型,得到图文匹配特征;
32、图像质量计算模块,用于根据所述全局图像特征和所述图文匹配特征,得到所述待测算ai图像的图像质量。
33、此外,为解决上述问题,本发明还提出一种ai图像的图像质量测算设备,所述ai图像的图像质量测算设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的ai图像的图像质量测算程序,所述ai图像的图像质量测算程序被所述处理器执行时实现如上所述的ai图像的图像质量测算方法的步骤。
34、此外,为解决上述问题,本发明还提出一种存储介质,所述存储介质上存储有ai图像的图像质量测算程序,所述ai图像的图像质量测算程序被处理器执行时实现如上所述的ai图像的图像质量测算方法的步骤。
35、在本实施例中,本发明通过获取待测算ai图像和待测算ai图像的生成图像所用文本,能够得到图像以及生成图像时用到的文本;然后基于预设的图像编码器提取待测算ai图像的图像特征,并基于预设的文本编码器提取生成图像所用文本的文本特征,能够提取图像和文本各自对应的特征;然后将图像特征输入预设的注意力池化模型,得到全局图像特征,并将图像特征和文本特征输入预设的跨模态注意力池化模型,得到图文匹配特征,能够通过注意力池化模型得到图像上的美学特征,并且能够通过跨模态注意力池化模型对图像特征和文本特征进行整合,得到图文匹配特征;然后根据全局图像特征和图文匹配特征,得到待测算ai图像的图像质量,从而能够基于表征图像美学特征的全局图像特征和表征图文匹配情况的图文匹配特征,确定待测算ai图像的图像质量。
36、与传统的图像质量测算方法相比,本发明通过将文本特征和图像特征进行整合的方式,能够初步判断文本特征和图像特征的匹配情况,并基于图像自身的全局图像特征和匹配情况对ai生成的图像的图像质量进行测算,从而达到了准确测算图像质量的目的。
1.一种ai图像的图像质量测算方法,其特征在于,所述ai图像的图像质量测算方法包括:
2.如权利要求1所述的ai图像的图像质量测算方法,其特征在于,在所述基于预设的图像编码器提取所述待测算ai图像的图像特征的步骤之前,所述方法还包括:
3.如权利要求1所述的ai图像的图像质量测算方法,其特征在于,所述根据所述全局图像特征和所述图文匹配特征,得到所述待测算ai图像的图像质量的步骤,包括:
4.如权利要求3所述的ai图像的图像质量测算方法,其特征在于,所述图像质量包括图像自身质量和图像文本匹配度,所述对所述多模态特征加权求和,得到待测算ai图像的图像质量的步骤,包括:
5.如权利要求1所述的ai图像的图像质量测算方法,其特征在于,所述基于预设的文本编码器提取所述生成图像所用文本的文本特征的步骤,包括:
6.如权利要求1所述的ai图像的图像质量测算方法,其特征在于,所述将所述图像特征输入预设的注意力池化模型,得到全局图像特征的步骤,包括:
7.如权利要求1所述的ai图像的图像质量测算方法,其特征在于,所述将所述图像特征和所述文本特征输入预设的跨模态注意力池化模型,得到图文匹配特征的步骤,包括:
8.一种ai图像的图像质量测算系统,其特征在于,所述ai图像的图像质量测算系统包括:
9.一种ai图像的图像质量测算设备,其特征在于,所述ai图像的图像质量测算设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的ai图像的图像质量测算程序,所述ai图像的图像质量测算程序被所述处理器执行时实现如权利要求1至7中任一项所述的ai图像的图像质量测算方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有ai图像的图像质量测算程序,所述ai图像的图像质量测算程序被处理器执行时实现如权利要求1至7中任一项所述的ai图像的图像质量测算方法的步骤。