本发明涉及扩散模型，特别是指一种利用文本到图像扩散模型实现短语级定位的方法。
背景技术：
1、近年来，大规模文本到图像扩散模型，尤其是稳定扩散模型的发展，已经在生成逼真而多变的图像方面展现出了非凡的能力。这些模型在大量文本-图像数据集（如laion-5b）上进行了训练，使它们能够理解文本描述与视觉元素之间的复杂关系，从而实现出色的视觉-语言对齐。
2、这一进步促使研究人员开始探索扩散模型的更多潜能，不仅仅是生成图像，并将其应用于视觉理解任务。早期的一篇研究尝试通过使用特定的提示将扩散模型用作零样本学习分类器，为其在无需微调的感知任务中的应用打开了大门；随后的研究将这些功能扩展到了检测和分割任务中，凸显了扩散模型在精确定位方面的强大潜力。在指向性检测/分割方面的进一步应用验证了扩散模型在语言驱动的视觉感知方面的能力。然而，这些任务主要展示了模型在句子层面理解视觉内容的能力，这取决于完整的句子或使用提示技术制作的句子，目前工作对其语境感知的短语级理解能力的探索仍相对欠缺。
技术实现思路
1、本发明的目的在于提供一种利用文本到图像扩散模型实现短语级定位的方法，解决现有技术中存在的问题，实现卓越的零样本学习性能，提高扩散模型在上下文感知、短语级理解方面的能力。
2、为了达成上述目的，本发明的解决方案是：
3、一种利用文本到图像扩散模型实现短语级定位的方法，基于png任务，引入diffpng框架，将png任务视为一个定位-分割-细化的解决范式，diffpng框架主要包括特征提取器、lsp模块、主语词聚焦的特征聚合器和smr模块；具体执行以下步骤：
4、步骤1、特征提取器：
5、由特征提取器通过“空文本反转”技术获取图像潜在噪声表示，通过文本分段策略获取文本特征编码，然后将图像潜在噪声表示和文本特征编码输入扩散模型；
6、步骤2、lsp模块：
7、由lsp模块实现将定位和分割解耦，在逆扩散过程中利用交叉注意来识别每个实例的位置并获得高置信度的像素点作为锚点，随后利用自注意力将这些锚点聚合起来并生成分割掩码；
8、步骤3、主语词聚焦的特征聚合器：
9、由主语词聚焦的特征聚合器基于相似性进行自适应特征聚合，使用点乘法计算png基准数据集的名词短语中每个词特征与最后一个词特征之间的成对相似度；
10、步骤4、smr模块：
11、由smr模块筛选出由sam生成的候选掩码与分割掩码进行合并，生成最终的输出结果。
12、所述特征提取器执行的步骤包括：
13、步骤1.1、视觉模态：
14、给定个采样步长，空文本反转的ddim反转模块输出噪声潜在变量，空文本反转输出，其中表示时间步；初始化时等于，将空文本反转损失最小化，其计算公式表示为：
15、；
16、其中表示将、和映射到的函数，表示第时间步的无条件输入的特征编码，表示控制条件；
17、在对时间的无条件特征编码进行次迭代优化后，用当前的噪声潜在变量更新倒置的噪声潜在变量，其计算公式表示为：
18、；
19、步骤1.2、语言模态：
20、利用文本分段策略通过clip文本编码器将文本的段落分成多个子段落，其中表示段落中子段落的数量，表示文本中的第个句子的序号；每个子段落的长度不超过clip文本编码器的最大长度；将子段落输入clip文本编码器生成文本特征编码的长篇叙事文本，其中表示第个句子中文本的特征编码。
21、优选地，所述lsp模块执行的步骤包括：
22、定义在视觉和文本输入之间建立联系的对于一个句子中第个名词短语的第层的自注意力图和交叉注意力图，两者的计算公式表示为：
23、；
24、；
25、其中表示隐变量的查询向量，表示隐变量的键向量，表示第层的特征维度，和分别表示特征图的高和宽，表示文本特征编码的键向量；
26、在每个名词短语的交叉注意力图上选择一些置信度高于一定阈值的像素点作为锚点，这些锚点被定义为：
27、；
28、其中和分别是第个名词短语的锚点集和每个交叉注意层的平均交叉注意力图，和分别表示像素点x、y轴索引坐标；
29、将每个锚点的自注意力掩码进行聚合，并应用最小-最大归一化，生成如下增强掩码：
30、；
31、其中是通过自注意力增强的增强掩码，是每个选定的自注意力层的平均自注意力，是最小-最大归一化操作；
32、对增强掩码进行二值化处理，得到分割结果为：
33、；
34、其中表示对于第个名词短语生成的二值掩码结果，表示二值化处理的阈值。
35、优选地，所述主语词聚焦的特征聚合器执行的步骤包括：
36、定义表示一个句子的第个名词短语的词总数，表示通过clip文本编码器获得的第个单词的词特征，其中；
37、使用点乘法计算第个名词短语中每个词特征与最后一个词特征之间的成对相似度，得到第个名词短语的相似度得分向量；
38、通过softmax运算将压缩到，并计算第个名词短语的聚合注意力掩码，其计算公式表示为：
39、；
40、其中是第个名词短语中第个单词的输入注意力掩码。
41、优选地，所述smr模块执行的步骤包括：
42、在不提供任何提示的情况下将图像输入到冻结的sam中，利用sam的“segmenteverything”功能获得多个候选掩码，并将其存储在候选池中；对于图像，本发明构建的候选掩码池如下：
43、；
44、其中表示由sam生成的第个掩码；
45、然后，本发明提出了两种匹配分数的计算方法和分别用于解决分割不足和分割过度的情况，其计算公式分别表示为：
46、；
47、；
48、其中和分别是第个名词短语的自注意力增强图的第个像素值和第个sam候选掩码中的第个像素值，是防止分母为零的平滑系数；
49、选择匹配得分高于匹配阈值的候选掩码放入匹配掩码池，其计算公式表示为：
50、；
51、其中是匹配掩码池的大小；
52、匹配完成后，如果匹配掩码池中有sam候选掩码，由smr模块计算这些sam候选掩码的联合，得到精炼掩码；如果由sam生成的候选掩码都无法与匹配掩码池进行匹配，那么通过自注意力增强的掩码将被视为最终掩码，为最终的输出结果，其计算公式表示为：
53、；
54、其中表示实数空间，表示空集合。
55、采用上述技术方案后，本发明具有以下技术效果：
56、本发明应用在png基准数据集上进行了大量实验，实验结果表明所提出的diffpng框架实现了卓越的零样本学习性能，能够提高扩散模型在上下文感知、短语级理解方面的能力；为了研究扩散模型在语境感知的短语级视觉理解能力，本发明将全景叙事定位任务重新定义为一个零样本学习的问题，即从初始定位开始、到分割、最后进行细化；本发明的lsp模块利用交叉注意力来精确定位锚点像素，并利用自注意力来聚合锚点像素得到分割掩码，并通过smr模块利用sam的功能改善了分割掩码的质量。
1.一种利用文本到图像扩散模型实现短语级定位的方法，其特征在于：基于png任务，引入diffpng框架，将png任务视为一个定位-分割-细化的解决范式，diffpng框架主要包括特征提取器、lsp模块、主语词聚焦的特征聚合器和smr模块；具体执行以下步骤：
2.如权利要求1所述的利用文本到图像扩散模型实现短语级定位的方法，其特征在于：
3.如权利要求2所述的利用文本到图像扩散模型实现短语级定位的方法，其特征在于：
4.如权利要求3所述的利用文本到图像扩散模型实现短语级定位的方法，其特征在于：
5.如权利要求4所述的利用文本到图像扩散模型实现短语级定位的方法，其特征在于：
