本技术属于自动驾驶,尤其涉及一种样本生成方法、装置、电子设备及可读存储介质。
背景技术:
1、现有的车牌识别通过车牌识别模型对含有车牌号码的图像进行分析处理,提取并识别文本字符,获得车牌号码。
2、构建训练车牌识别模型的数据集,都是人工采集车牌图像,然后人工标注车牌图像对应的车牌号码,造成大量的人力成本。
技术实现思路
1、本技术实施例提供了一种样本生成方法、装置、电子设备、可读存储介质及计算机程序产品,可以解决人工构建数据集导致人工成本高的问题。
2、第一方面,本技术实施例提供了一种样本生成方法,包括:
3、获取原始车牌图像和对应的第一标签,所述原始车牌图像的待处理字符所在位置设置有掩码;
4、将所述原始车牌图像、噪声图像、第一指令文本、第一目标字符文本和车牌样例图像输入至已训练的车牌生成模型,获得所述已训练的车牌生成模型基于所述掩码生成的第一车牌图像,所述第一车牌图像包括第一目标字符;
5、基于所述掩码,根据所述第一标签、所述第一目标字符文本和所述第一指令文本,确定所述第一车牌图像的第二标签;
6、其中,所述第一指令文本用于指示所述已训练的车牌生成模型生成所述第一车牌图像,所述第一目标字符文本用于表征所述第一目标字符,所述车牌样例图像用于表征所述第一车牌图像的样式。
7、在一个实施例中,所述已训练的车牌生成模型包括第一特征处理网络、第二特征处理网络和语义分割网络;
8、所述将所述原始车牌图像、噪声图像、第一指令文本、第一目标字符文本和车牌样例图像输入至已训练的车牌生成模型,获得所述已训练的车牌生成模型基于所述掩码生成的第一车牌图像,包括:
9、将所述第一指令文本和所述第一目标字符文本输入至所述第一特征处理网络,通过第一特征处理网络提取所述第一指令文本的指令特征和所述第一目标字符文本的文本特征;合并所述指令特征和文本特征,获得文本条件特征;以及基于注意力机制将所述文本条件特征输入至所述语义分割网络;
10、将所述车牌样例图像和所述原始车牌图像进行缝合,获得缝合图像后,将所述缝合图像和所述文本条件特征输入至所述第二特征处理网络,通过所述第二特征处理网络基于所述注意力机制将所述文本条件特征加入至所述缝合图像,获得特征细节图;以及将所述特征细节图输入至所述语义分割网络;
11、将所述原始车牌图像、所述噪声图像进行拼接,获得拼接图像后,将所述拼接图像输入至所述语义分割网络,通过所述语义分割网络基于所述掩码根据所述文本条件特征、所述特征细节图和所述拼接图像生成并输出所述第一车牌图像,以获得所述第一车牌图像。
12、在一个实施例中,所述将所述车牌样例图像和所述原始车牌图像进行缝合,获得缝合图像,包括:
13、将所述车牌样例图像和所述原始车牌图像在所述掩码对应的位置进行缝合,获得所述缝合图像。
14、在一个实施例中,所述确定所述第一车牌图像的第二标签之后,还包括:
15、针对每个所述第一车牌图像,确定所述第一车牌图像中各字符位置的字符概率平均值,所述字符位置为字符所在的位置;
16、筛选第二车牌图像,所述第二车牌图像的各所述字符概率平均值大于预设概率值。
17、在一个实施例中,所述筛选第二车牌图像之后,还包括:
18、利用车牌数据集,训练车牌识别模型,直至所述车牌识别模型的第一损失函数的损失值小于第一预设损失值,获得已训练的车牌识别模型;
19、其中,所述车牌数据集包括所述第二车牌图像、所述第二标签和所述原始车牌图像、所述第一标签。
20、在一个实施例中,所述获得已训练的车牌识别模型之后,还包括:
21、获取识别错误车牌图像,所述识别错误车牌图像为所述已训练的车牌识别模型识别错误的车牌图像;
22、利用所述识别错误车牌图像、所述噪声图像、第二指令文本、第二目标字符文本和所述车牌样例图像,对所述已训练的车牌生成模型进行微调,直至所述已训练的车牌生成模型的第二损失函数的损失值小于第二预设损失值,获得已优化的车牌生成模型,所述识别错误车牌图像的所述待处理字符设置有所述掩码,所述第二指令文本用于所述已训练的车牌生成模型生成微调车牌图像,所述第二目标字符文本表征第二目标字符,所述微调车牌图像包括所述第二目标字符,所述第二损失函数的损失值表征所述微调车牌图像的预测标签与真实标签之间的差异值;
23、将所述原始车牌图像、所述噪声图像、第三指令文本、第三目标字符文本和所述车牌样例图像输入至已优化的车牌生成模型,获得所述已优化的车牌生成模型基于所述掩码生成的第三车牌图像,所述第三车牌图像包括第三目标字符,所述第三指令文本用于指示所述已训练的车牌生成模型生成所述第三车牌图像,所述第三目标字符文本用于表征所述第三目标字符;
24、利用新车牌数据集,训练所述已训练的车牌识别模型,直至所述已训练的车牌识别模型的第三损失函数的损失值小于第三预设损失值,获得已优化的车牌识别模型,所述新车牌数据集包括第三车牌图像、第三标签和所述原始车牌图像、所述第一标签。
25、在一个实施例中,所述获取识别错误车牌,包括:
26、当所述已训练的车牌识别模型识别错误所述车牌数据集的样本时,获得所述识别错误车牌;
27、对所述识别错误车牌图像进行分类,获得至少两个优化数据集,所述优化数据集包括属于同一识别错误类别的车牌图像;
28、对应的,所述利用所述识别错误车牌图像,所述噪声图像、第二指令文本、第二目标字符文本和所述车牌样例图像,对所述已训练的车牌生成模型进行微调,包括:
29、针对每个所述优化数据集,利用所述优化数据集、所述噪声图像、第二指令文本、第二目标字符文本和所述车牌样例图像,对所述已训练的车牌生成模型进行微调。
30、第二方面,本技术实施例提供了一种样本生成装置,包括:
31、获取模块,用于获取原始车牌图像和对应的第一标签,所述原始车牌图像的待处理字符所在位置设置有掩码;
32、样本生成模块,用于将所述原始车牌图像、噪声图像、第一指令文本、第一目标字符文本和车牌样例图像输入至已训练的车牌生成模型,获得所述已训练的车牌生成模型基于所述掩码生成的第一车牌图像,所述第一车牌图像包括第一目标字符;
33、还用于基于所述掩码,根据所述第一标签、所述第一目标字符文本和所述第一指令文本,确定所述第一车牌图像的第二标签;
34、其中,所述第一指令文本用于指示所述已训练的车牌生成模型生成所述第一车牌图像,所述第一目标字符文本用于表征所述第一目标字符,所述车牌样例图像用于表征所述第一车牌图像的样式。
35、第三方面,本技术实施例提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的方法。
36、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的方法。
37、第五方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面中任一项所述的方法。
38、本技术实施例与现有技术相比存在的有益效果是:
39、本技术实施例通过获取原始车牌图像和对应的第一标签,原始车牌图像的待处理字符所在位置设置有掩码;将原始车牌图像、噪声图像、第一指令文本、第一目标字符文本和车牌样例图像输入至已训练的车牌生成模型,获得已训练的车牌生成模型基于掩码生成的第一车牌图像,第一车牌图像包括第一目标字符;第一指令文本用于指示已训练的车牌生成模型生成第一车牌图像,第一目标字符文本用于表征第一目标字符,车牌样例图像用于表征第一车牌图像的样式,实现自动生成真实的新车牌图像,无需人工采集大量车牌图像,降低人工成本;基于掩码,根据第一标签、第一目标字符文本和第一指令文本,确定第一车牌图像的第二标签,能够准确确定新车牌图像的车牌号码,获得高质量样本,实现新样本的自动标注,降低人本成本。
40、可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
1.一种样本生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述已训练的车牌生成模型包括第一特征处理网络、第二特征处理网络和语义分割网络;
3.根据权利要求2所述的方法,其特征在于,所述将所述车牌样例图像和所述原始车牌图像进行缝合,获得缝合图像,包括:
4.根据权利要求1或2所述的方法,其特征在于,所述确定所述第一车牌图像的第二标签之后,还包括:
5.根据权利要求4所述的方法,其特征在于,所述筛选第二车牌图像之后,还包括:
6.根据权利要求5所述的方法,其特征在于,所述获得已训练的车牌识别模型之后,还包括:
7.根据权利要求6所述的方法,其特征在于,所述获取识别错误车牌,包括:
8.一种样本生成装置,其特征在于,包括:
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
