一种文本标注方法与流程

1.本发明涉及文本信息抽取领域，具体而言，涉及一种文本标注方法。


背景技术：

2.在智能文档领域中，信息抽取任务是一个很常见的任务，它的主要目标是从文档中抽取一些实体信息比如，公司名，日期。这些实体信息散落在图片中的各个位置。
3.现有实现文档信息抽取的常见方法包括：
4.1、将图片送入到光学字符识别(optical character recognition，简称ocr)系统中，ocr系统输出文字区域坐标和该区域的文字(输出会有一定的错误)；
5.2、在ocr系统输出的文本上标注实体信息；
6.3、将标注好的文本，送入到神经网络中的训练模型，对实体信息进行抽取。
7.在经济贸易活动中，很多关键要素信息(比如：公司名，日期，金额)是存储在票据的影像中。目前，已经存在各种各样的ocr技术，将这些票据的影像字符转换为计算机能理解的文本编码。但是如何抽取这些票据中的要素信息，还需要借助自然语言处理(natural language processing，简称nlp)技术来实现关键要素的抽取，所以，如何对这些ocr系统输出的自然语言文本进行标注，标注格式是怎样的，就十分重要。
8.在现有文档信息抽取过程中，因为标注是在ocr系统的结果上进行的，而ocr系统则是不断更新迭代升级的，所以当ocr系统模型改变之后，ocr系统输出的文本错误分布和上一个模型的文本错误分布会有一些差别，导致之前标注数据训练出的模型在新的ocr系统上抽取效果下降，标注和ocr系统严重耦合。


技术实现要素：

9.针对现有技术存在的问题，本发明提供了一种文本标注方法，能够消减因ocr系统不断更新，对后续训练模型实体信息抽取效果的影响。
10.第一方面，本发明提供的一种文本标注方法，包括以下步骤：
11.s1：通过对图像进行人工标注与ocr系统自动识别分别得到实体文字框以及自动检测文字框；
12.s2：计算实体文字框与自动检测文字框的重叠度，根据重叠度链接两个文字框，得到自动检测文字框的文本；
13.s3：根据实体文字框从图像中将实体文字影像切出，得到文字条影像；
14.s4：将得到的文字条影像送入ocr系统进行识别；
15.s5：将步骤s4中识别出来的文本与步骤s2中自动检测文字框中识别到的文本进行匹配，生成文本标注数据。
16.进一步，步骤s1中，还包括得到实体文字框的坐标信息，以及通过pixelink算法得到自动检测文字框的坐标信息。
17.进一步，步骤s1及步骤s2之间还包括对自动检测文字框的坐标信息进行还原，以
使ocr系统自动识别后的文字框坐标还原为原始图像的坐标。
18.进一步，以图像的左上角为坐标原点，坐标还原包括：
19.当图像缩放m倍后：
20.x＝1/m*x021.y＝1/m*y0；
22.当图像平移(a，b)距离后：
23.x＝x0‑
a
24.y＝y0‑
b；
25.当图像逆时针旋转θ后：
26.x＝(x0*sinθ
‑
y0*cosθ)/(sin2θ
‑
cos2θ)
27.y＝(y0*sinθ
‑
x0*cosθ)/(sin2θ
‑
cos2θ)；
28.其中：x0，y0为自动检测文字框的坐标，x，y为还原为原始图像的坐标。
29.进一步，步骤s2中，通过实体文字框的坐标信息与自动检测文字框经过还原后的坐标信息计算重叠度。
30.进一步，步骤s2中，计算实体文字框与自动检测文字框的重叠度包括：
[0031][0032]
其中：iou为重叠度，i(x)为两个文字框的交集，u(x)为两个文字框的并集。
[0033]
进一步，步骤s2中，如果实体文字框与自动检测文字框的重叠度大于0.7，对实体文字框与自动检测文字框进行链接。
[0034]
进一步，步骤s5中，通过正则表达式，以及最长公共子序列算法对文本进行匹配。
[0035]
第二方面，本发明公开了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述方法的步骤。
[0036]
第三方面，本发明公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述方法的步骤。
[0037]
本发明中的文本标注方法，通过在图像上标注实体，能够做到标注和ocr系统解耦，使ocr系统的迭代升级不会对标注结果造成影响。
[0038]
同时也避免了因ocr系统升级前后文本错误分布之间的差别对训练模型抽取效果的影响，有效提高了实体信息抽取的准确性。
附图说明
[0039]
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0040]
图1为本发明实施例示出的文本标注方法的流程示意图。
具体实施方式
[0041]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及
附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0042]
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0043]
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0044]
如图1所示，本发明提供的文本标注方法，包括如下步骤：
[0045]
s1：通过对图像进行人工标注与ocr系统自动识别分别得到实体文字框以及自动检测文字框；
[0046]
s2：计算实体文字框与自动检测文字框的重叠度，根据重叠度链接两个文字框，得到自动检测文字框的文本；
[0047]
s3：根据实体文字框从图像中将实体文字影像切出，得到文字条影像；
[0048]
s4：将得到的文字条影像送入ocr系统进行识别；
[0049]
s5：将步骤s4中识别出来的文本与步骤s2中自动检测文字框中识别到的文本进行匹配，生成文本标注数据。
[0050]
现有的ocr系统都是不断更新迭代升级的，每隔一段时间更新一次，当ocr系统出现变化后，ocr系统输出得到文本都会产生一定的差别，例如：
[0051]
以前会hello识别成hell0，还完之后会把hello识别成hollo。
[0052]
因此在ocr系统输出结果中，标注数据对于系统的依赖非常大，ocr系统升级后会导致之前的标注数据不可用。
[0053]
根据第一版ocr系统输出结果得到的标注数据送入神经网络训练出来的模型，严重影响了在新版ocr系统上的抽取效果。
[0054]
通过在图像上进行人工标注，当ocr系统更新升级后，能够自动生成最新的标注集，并将标注集送入神经网络重新训练数据，能够有效保证抽取结果的准确性。
[0055]
在图像中尤其是在票据中，文字的内容信息和位置信息同样重要，所以在标注的过程中，不仅需要标注文字内容，同时还要保留文字的位置信息。
[0056]
通过在图像上人工标注得到实体文字框的坐标信息，并通过pixelink算法得到ocr系统自动检测文字框的坐标信息。在得到上述两种文字框的坐标信息后，计算两种文字框的重叠度。
[0057]
需要指出，得到人工标注实体文字框的坐标信息，与通过pixelink算法得到自动检测文字框的坐标信息两个步骤可以并行，也可以串行，在此进行说明。
[0058]
在计算两种文字框的重叠度之前，由于原始图像在经过ocr系统识别时，会进行缩放、旋转、平移等操作，所以，ocr系统得到的自动检测文字框的坐标信息和原始的影像中的
china进行匹配，最终把hello china中的china标注上国家实体的标签。
[0082]
在匹配过程中，通过正则表达式，以及最长公共子序列(longest common subsequence，lcs)算法对文本进行匹配。
[0083]
通过本发明中的文本标注方法，能够做到标注和ocr系统解耦，使实体信息抽取训练模型能够对最新版本ocr系统生成的标注集进行抽取训练，而使其抽取效果不受ocr系统不可避免的迭代更新的影响，提高了对实体信息抽取的准确性。
[0084]
本申请实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的一种文本标注方法，存储介质是任何的各种类型的存储器设备或存储设备，存储介质包括：安装介质，例如cd
‑
rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddr ram、sram、edo ram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等；存储介质可以还包括其它类型的存储器或其组合；另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统；第二计算机系统可以提供程序指令给第一计算机用于执行。存储介质包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
[0085]
本申请实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现文本标注方法的步骤。
[0086]
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上实施例所述的文本标注方法，还可以执行本申请任意实施例所提供的文本标注方法中的相关操作。
[0087]
最后应说明的是：虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
[0088]
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
[0089]
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
[0090]
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

技术特征：
1.一种文本标注方法，其特征在于，包括如下步骤：s1：通过对图像进行人工标注与ocr系统自动识别分别得到实体文字框以及自动检测文字框；s2：计算实体文字框与自动检测文字框的重叠度，根据重叠度链接两个文字框，得到自动检测文字框的文本；s3：根据实体文字框从图像中将实体文字影像切出，得到文字条影像；s4：将得到的文字条影像送入ocr系统进行识别；s5：将步骤s4中识别出来的文本与步骤s2中自动检测文字框中识别到的文本进行匹配，生成文本标注数据。2.根据权利要求1所述的文本标注方法，其特征在于，步骤s1中，还包括得到实体文字框的坐标信息，以及通过pixelink算法得到自动检测文字框的坐标信息。3.根据权利要求2所述的文本标注方法，其特征在于，步骤s1及步骤s2之间还包括对自动检测文字框的坐标信息进行还原，以使ocr系统自动识别后的文字框坐标还原为原始图像的坐标。4.根据权利要求3所述的文本标注方法，其特征在于，以图像的左上角为坐标原点，坐标还原包括：当图像缩放m倍后：x＝1/m*x0y＝1/m*y0；当图像平移(a，b)距离后：x＝x0‑
ay＝y0‑
b；当图像逆时针旋转θ后：x＝(x0*sinθ
‑
y0*cosθ)/(sin2θ
‑
cos2θ)y＝(y0*sinθ
‑
x0*cosθ)/(sin2θ
‑
cos2θ)；其中：x0，y0为自动检测文字框的坐标，x，y为还原为原始图像的坐标。5.根据权利要求2所述的文本标注方法，其特征在于，步骤s2中，通过实体文字框的坐标信息与自动检测文字框经过还原后的坐标信息计算重叠度。6.根据权利要求5所述的文本标注方法，其特征在于，步骤s2中，计算实体文字框与自动检测文字框的重叠度包括：其中：iou为重叠度，i(x)为两个文字框的交集，u(x)为两个文字框的并集。7.根据权利要求6所述的文本标注方法，其特征在于，步骤s2中，如果实体文字框与自动检测文字框的重叠度大于0.7，对实体文字框与自动检测文字框进行链接。8.根据权利要求1所述的文本标注方法，其特征在于，步骤s5中，通过正则表达式，以及最长公共子序列算法对文本进行匹配。
技术总结
本发明提供了一种文本标注方法，包括以下步骤：S1：通过对图像进行人工标注与OCR系统自动识别分别得到实体文字框以及自动检测文字框；S2：计算实体文字框与自动检测文字框的重叠度，根据重叠度链接两个文字框，得到自动检测文字框的文字信息；S3：根据实体文字框从图像中将实体文字影像切出，得到文字条影像；S4：将得到的文字条影像送入OCR系统进行识别；S5：将步骤S4中识别出来的文本与步骤S2中自动检测文字框中识别到的文本进行匹配，生成文本标注数据。本发明中的文本标注方法，通过在图像上标注实体，能够做到标注和OCR系统解耦，使OCR系统的迭代升级不会对标注结果造成影响。OCR系统的迭代升级不会对标注结果造成影响。OCR系统的迭代升级不会对标注结果造成影响。


技术研发人员：张书源
受保护的技术使用者：建信览智科技（北京）有限公司
技术研发日：2021.03.23
技术公布日：2021/6/24