一种光声测量信号特征的识别模型建立方法及提取方法与流程

1.本发明属于信号处理领域，更具体地，涉及一种光声测量信号特征的识别模型建立方法及提取方法。


背景技术：

2.光声效应(photoacoustic effect)是指当媒质受到周期性强度调制的光源照射时，内部温度改变引起区域结构和体积变化从而产生声信号的现象。基于光声效应的测量技术结合了光学测量的高分辨率和声学测量的高穿透性优势，已被广泛应用于生物医学、军工航天、半导体产业等多个领域，而该技术实现良好应用的关键在于对测量信号进行准确的特征识别与提取。
3.面向非透明固体材料的光声测量技术是实现快速无损缺陷探测、膜厚测量、物性表征的有效途径，然而目前关于固体光声测量中一维时序信号处理方法的研究较少，而在生物医学领域中的二维光声图像的处理算法相对成熟，主要包括光声图像的重构和反演、光声图像的分类分割算法等，如发明专利cn201911341072.1中公开的一种采用resnet对光声图像进行超分辨率重构的技术，以此来提高图像所能提供的生物生理信息。在论文u
‑
net:convolutional networks for biomedical image segmentation中，long等人提出一种专门针对小数据集医学图像的语义分割模型，能够提供对图像像素级别的分类分割，从而对图像中的关键特征成分进行标注和区分。
4.基于固体光声效应的无损探伤、膜厚测量等技术通常是利用脉冲激光在样品内部近表面处激发出声脉冲，并通过超声换能器、光学探测等方法对此声脉冲在样品中的传播过程进行监测，获得一维时序光声测量信号。声脉冲产生的瞬间会形成零点信号，其传播过程中会在样品界面处发生部分反射从而回到样品表面，形成回声信号，通过对时序测量信号中的零点信号和回声信号进行特征识别与提取，能够反演计算出样品的膜厚等信息。
5.现有的方法往往利用求导或极值函数抓取时序测量信号中的零点信号和回声信号，但对信号的信噪比要求较高，存在鲁棒性差和准确率低的问题，此外，这类方法无法对多层膜样品中不同膜层反射的回声信号进行区分，难以实现对多层膜的膜厚测量。


技术实现要素：

6.针对现有技术的缺陷和改进需求，本发明提供了一种光声测量信号特征的识别模型建立方法及提取方法，旨在解决固体光声测量技术中现有一维时序信号特征识别与提取方法的鲁棒性差、准确度低，以及无法区分多膜层样品中不同膜层回声信号的技术问题。
7.为实现上述目的，按照本发明的一个方面，提供了一种光声测量信号特征的识别模型建立方法，包括：
8.分别以不同种类的固体样品为测量对象，获得各测量对象的至少一组一维时序光声测量信号，并标注出每一组一维时序光声测量信号中的每一个特征信号所在的时域区间和对应的类型；不同种类的固体样品的膜层数量均为n，n为正整数，特征信号包括：零点信
号和各膜层返回的回声信号；
9.将u
‑
net神经网络模型中所有的卷积层、最大池化层和上采样均修改为1d形式，以建立一维u
‑
net神经网络模型，用于预测目标一维时序光声测量信号中各类特征信号的时域分布概率曲线；目标一维时序光声测量信号由具有n个膜层的固体样品在光声测量中产生；
10.将每一组一维时序光声测量信号及其对应的标注结果作为一个样本，将所有的样本划分为训练集、验证集和测试集，利用训练集、验证集和测试集分别对一维u
‑
net神经网络模型进行训练、验证和测试后，得到光声测量信号特征的识别模型。
11.本发明在用于图像处理的u
‑
net神经网络模型的基础上，建立了可用于处理一维时序光声测量信号的一维u
‑
net神经网络模型，并构建了相应的数据集对该模型进行训练、验证和测试，使该模型可以预测一维时序光声测量信号中各类特征信号的时域分布概率曲线；一方面，一维u
‑
net神经网络模型为深度学习模型，其在训练过程中，能够学习到数据内在的规律，对于复杂噪声环境下获取的一维时序光声测量信号也能准确识别出其中的特征信号，具有较高的准确率和鲁棒性；另一方面，由于构建训练数据时，对一维时序光声测量信号中不同膜层的回声信号都进行了分类标注，因此u
‑
net神经网络模型经过训练之后，能够分别预测出每一个膜层返回的回声信号的时域分布概率，基于该预测结果，可以准确识别出一维时序光声测量信号中的每一个膜层返回的回声信号所在的时域区间，从而完成多层膜样品中不同膜层回声信号的分类识别和提取。
12.进一步地，一维u
‑
net神经网络模型中，下采样和上采样部分中卷积层的卷积核均大于或等于3
×
1，由此能够获得最好的预测效果。
13.进一步地，建立一维u
‑
net神经网络模型时，还包括：在u
‑
net神经网络模型的下采样部分和/或上采样部分中，加入至少一个dropout层；通过在上采样部分和/或下采样部分中加入dropout层，能够有效防止过拟合。
14.进一步地，在对一维时序光声测量信号进行标注之前，还包括：对一维时序光声测量信号进行数据增强；
15.数据增强包括：添加脉冲噪声，和/或添加低频扰动；
16.低频扰动的频率小于一维时序光声测量信号中特征信号的频率最小值，且低频扰动的幅值小于一维时序光声测量信号中特征信号的幅值最小值。。
17.实际的光声测量环境十分复杂，往往存在噪声和干扰，而在构建训练数据时，很难覆盖到全部的场景，而且目前在光声测量领域，可用的训练数据较少；本发明对一维时序光声测量信号添加脉冲噪声和添加低频扰动，一方面，能够使训练数据尽可能覆盖到全部的场景，提高训练所得的模型的泛化能力，进一步增强后续特征信号识别与提取的鲁棒性和准确性；另一方面可以扩充训练数据量，提高模型的训练效果。
18.进一步地，数据增强还包括：平移变换，和/或裁剪变换。
19.本发明通过对模型进行平移变换和裁剪变换，可以进一步扩充训练数据量，提高模型的训练效果。
20.进一步地，在对一维时序光声测量信号进行标注之前，还包括：对一维时序光声测量信号进行预处理；预处理包括以下操作中的至少一项：
21.在对一维时序光声测量信号进行数据增强之前，对一维时序光声测量信号进行数
字降噪；通过数字降噪处理，可以有效避免噪声对模型训练效果的干扰，进一步降低对信号的信噪比要求，提高模型的鲁棒性和准确率；
22.在对一维时序光声测量信号进行数据增强之后，对一维时序光声测量信号进行标准化；通过标准化处理，可以加速模型的收敛。
23.进一步地，数字降噪为小波去噪；通过小波去噪，能够有效滤除一维时序光声测量信号中的噪声。
24.按照本发明的另一个方面，提供了一种光声测量信号特征的提取方法，包括：
25.对于具有n个膜层的待测固体样品，获得其一维时序光声测量信号，将一维时序光声测量信号输入至光声测量信号特征的识别模型，以预测一维时序光声测量信号中各类特征信号的时域分布概率曲线；光声测量信号特征的识别模型由本发明提供的光声测量信号特征的识别模型建立方法得到；
26.对于每一类特征信号，提取出其时域分布概率曲线中大于相应概率阈值的曲线部分，并将所提出的曲线部分所对应的时域区间识别为该类特征信号所在的时域区间，从一维时序光声测量信号中提取出该时域区间内的信号，完成对该类特征信号的提取；
27.其中，n为正整数。
28.进一步地，本发明提供的光声测量信号特征的提取方法，一维时序光声测量信号输入至光声测量信号特征的识别模型之前，还包括：对一维时序光声测量信号进行数字降噪和标准化。
29.按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的光声测量信号特征的识别模型建立方法，和/或本发明提供的光声测量信号特征的提取方法。
30.总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
31.(1)本发明在用于图像处理的u
‑
net神经网络模型的基础上，建立了可用于处理一维时序光声测量信号的一维u
‑
net神经网络模型，并构建了相应的数据集对该模型进行训练、验证和测试，使该模型可以预测一维时序光声测量信号中各类特征信号的时域分布概率曲线，对于复杂噪声环境下获取的一维时序光声测量信号也能准确识别和提取出其中的特征信号，具有较高的准确率和鲁棒性，并且能够分别预测出每一个膜层返回的回声信号的时域分布概率，基于该预测结果，可以准确识别出一维时序光声测量信号中的每一个膜层返回的回声信号所在的时域区间，从而完成多层膜样品中不同膜层回声信号的分类识别和提取。总体而言，本发明能够有效解决固体光声测量技术中现有一维时序信号特征识别与提取方法的鲁棒性差、准确度低，以及无法区分多膜层样品中不同膜层回声信号的技术问题。
32.(2)本发明在构建训练数据时，会通过对一维时序光声测量信号添加脉冲噪声和添加低频扰动来进行数据增强，能够使训练数据尽可能覆盖到全部的场景，提高训练所得的模型的泛化能力，进一步增强后续特征信号识别与提取的鲁棒性和准确性，并且能够扩充训练数据量，提高模型的训练效果。
33.(3)目前光声测量还处在起步阶段，可用的训练数据较少，本发明所建立的一维u
‑
net神经网络模型，是在经典u
‑
net神经网络模型的基础上改进得到的，由于u
‑
net神经网络
模型即使在小数据集的情况下，依然具有较好的预测效果，因此，本发明所建立的模型在训练数据较少的情况下也具有较好的特征识别效果；本发明在构建数据时，进行了数据增强操作，能够有效解决训练数据过少的问题，进一步提高训练后模型的预测效果。
附图说明
34.图1为本发明实施例提供的光声测量信号特征的识别模型建立方法流程图；
35.图2为本发明实施例提供的一维时序光声测量信号及利用labelme进行分类标记后的标注结果示意图；
36.图3为本发明实施例提供的一维u
‑
net神经网络模型示意图；
37.图4为本发明实施例提供的一维时序光声测量信号的各类特征信号以及背景信号的时域分布概率曲线示意图；
38.图5为本发明实施例提供的一维时序光声测量信号的特征提取结果示意图。
具体实施方式
39.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
40.在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
41.为了解决固体光声测量技术中现有一维时序信号特征识别与提取方法的鲁棒性差、准确度低，以及无法区分多膜层样品中不同膜层回声信号的技术问题，本发明提供了一种光声测量信号特征的识别模型建立方法及提取方法，其整体思路在于：建立可用于处理一维时序光声测量信号的深度学习模型，并构建相应的训练数据对模型进行训练、验证和测试，以通过深度学习的方式，预测光声测量的一维时序光声测量信号中每一类特征信号在时域上的分布概率曲线，使得模型对于复杂环境下获取的一维时序光声测量信号也能准确完成特征的识别，并且可以区分每一个膜层返回的回声信号，从而完成一维时序光声测量信号中特征信号的识别和提取。
42.本发明所提供的光声测量信号特征的识别模型建立方法及提取方法，可适用于具有任意数量膜层的固体样品，为便于描述，若无特殊说明，在以下实施例中，均以双膜层固体样品作为测量对象。
43.以下为实施例。
44.实施例1：
45.一种光声测量信号特征的识别模型建立方法，如图1所示，包括以下步骤(s1)～(s7)：
46.(s1)分别以不同种类的固体样品为测量对象，获得各测量对象的至少一组一维时序光声测量信号，共得到n组一维时序光声测量信号：
47.本实施例，不同种类的固体样品的膜层数量均为n＝2，固体样品具体是金属双层膜样品；
48.利用现有的光声测量系统，即可获取到测量对象的一维时序光声测量信号；可选地，本实施例中，所选用的光声测量系统包括光电探测器和锁相放大器；光声测量的具体过程为：将一束脉冲激光照射到固体样品表面测量点的位置，用于在样品内部近表面处激发出声脉冲，此脉冲激光称作激发光；同时用另一束激光照射到样品表面相同位置处，用于对样品表面变化进行实时监测，此激光称作探测光，经样品表面反射后的探测光由光电探测器接收并转化为电信号，再经过锁相放大器完成降噪及信号放大输出为一维时序光声测量信号；应当说明的是，此处关于光声测量的描述，仅为本发明可选的实施方式，不应理解为对本发明的唯一限定，在本发明其他的一些实施例中，也可以使用其他的测量系统或方法获取测量对象的一维时序光声测量信号；
49.对于同一固体样品，通过更换测量点，即可获得该固体样品的多组一维时序光声测量信号；
50.本实施例中，固体样品的种类不同，具体是指固体样品的膜层材料、膜层厚度等不同；
51.为了为后续训练神经网络提供足够的训练数据，保证模型训练效果，本实施例中，所获取的一维时序光声测量信号的组数为n≥30。
52.(s2)对每一组一维时序光声测量信号进行数字降噪处理，保证合理的信噪比：
53.通过数字降噪处理，可以有效避免噪声对模型训练效果的干扰，使一维时序测量数据达到较高的信噪比，从而一维时序光声测量信号中的特征信号更加明显，从而有利于信号特征识别的准确性，提高模型的鲁棒性和准确率；
54.为了达到较好的降噪效果，作为一种优选的实施方式，本实施例中，所选用的数字降噪为小波去噪，具体地，选择sym4小波基进行6阶小波分解，重构规则采用了bayes估计阈值，阈值函数选用中值阈值函数；
55.应当说明的是，此处的小波去噪仅为本发明优选的数字降噪方式，不应理解为对本发明的唯一限定，在本发明其他的一些实施例中，也可以使用经验模态分解(empirical mode decomposition，emd)等其他方式进行数字降噪处理；
56.(s3)对降噪后的一维时序光声测量信号进行数据增强及标准化：
57.从测量的时间成本考虑，s1步骤中获取的一维时序光声测量信号的组数往往是有限的，且很难覆盖掉全部的场景，因此需要通过数据增强的方式来扩充测量信号的样本规模，进而提高后续训练出的神经网络模型的泛化能力；
58.可选地，本实施例中，对于每一组一维时序光声测量信号都会进行四种数据增强操作，具体为平移变换、剪裁变换、添加脉冲噪声以及添加低频扰动；
59.通过数据增强，训练数据从n组一维时序光声测量信号扩展到了n
×
4组一维时序光声测量信号；
60.考虑到信号为一维信号，按照x
i
_stan＝(x
i
‑
μ)/σ对数据增强后的一维时序光声测量信号进行标准化处理，其中x
i
代表单组测量信号中的第i个数据，μ代表该组一维时序光声测量信号中所有数据的均值，σ代表该组一维时序光声测量信号中所有数据的方差，而x
i
_stan代表标准化后该组一维时序光声测量信号中的第i个数据；
61.可选地，最后将经过标准化的一维时序光声测量信号保存为.mat格式的signal数据文件，总共获得n
×
4个signal数据文件。
62.(s4)标注出每一组一维时序光声测量信号中的每一个特征信号所在的时域区间和对应的类型；特征信号包括：零点信号和各膜层返回的回声信号：
63.声脉冲在样品内部近表面处产生的瞬间，会引起样品表面光学性质的剧烈变化，从而使探测光的光强发生明显变化，反映到一维时序光声测量信号中表现为零点信号；声脉冲传播的过程中会在样品膜层界面处发生部分反射从而回到样品表面，引起样品表面光学性质的变化以及探测光光强的波动，反映到一维时序光声测量信号中表现为回声信号；一维时序光声测量信号中的零点信号和回声信号共同构成了一维时序光声测量信号的特征信号；本实施例中，一维时序光声测量信号的特征信号具体有三种，分别是零点信号、自第一个膜层与第二个膜层交界处反射的回声信号以及自第二个膜层与基底交界处反射的回声信号；
64.对于已知的固体样品，其中每一类特征信号的形貌已知，且相同膜层返回的回声信号的间距相同，基于此，在保证所标注的时域区间内包含特征信号的完整形貌特征，且每个特征信号的时域区间不与其他特征信号的时域区间重叠的情况下，即可完成对一维时序光声测量信号中的每一个特征信号所在的时域区间和对应的类型的标注；
65.在实际应用中，上述标注工作可直接利用深度学习图像标注工具labelme软件完成，将用于保存一维时序光声测量信号的signal数据文件转换成图像文件后，在labelme中利用多边形工具对图像中上述三种特征信号所在区域进行四边形框选，图2所示为一组一维时序光声测量信号，及利用labelme进行分类标记后的标注结果示意图，其中，零点信号的类型标记为zero，第一个膜层与第二个膜层交界处反射的回声信号以及自第二个膜层与基底交界处反射的回声信号的类型分别标记为echo1和echo2；
66.本实施例中，标注完成后，会将所得到的标注结果存储为.json文件，共得到与n
×
4个signal数据文件一一对应的n
×
4个.json文件；
67.上述.json文件中包含了标记框各个顶点的横纵坐标信息，但实际上只需关注其中的横坐标信息，也即特征信号的时域信息，并将其解析为数据长度与对应的signal数据文件一致的一维数组label，从而获得n
×
4个与signal数据文件一一对应的label数据文件。实际上，一维时序光声测量信号中除前述三种特征信号以外的部分皆为背景信号(background)，因此标记框以外的横坐标区域就对应了背景信号的时域信息，而这一信息也会被包含到label数据文件中。
68.(s5)将每一组一维时序光声测量信号及其对应的标注结果作为一个样本，将所有的样本划分为训练集、验证集和测试集：
69.将对应的一组signal文件和label文件中的数据提取出来，便得到了一个样本；
70.可选地，本实施例中，训练集、验证集和测试集的数据比例为7：2：1，相应地，n
×
4个signal数据文件和n
×
4个label数据文件分别按照此比例随机抽样存放于训练集、验证集和测试集中。
71.(s6)建立一维u
‑
net神经网络模型，用于预测目标一维时序光声测量信号中各类特征信号的时域分布概率曲线：
72.本实施例中，目标一维时序光声测量信号由具有n(n＝2)个膜层的固体金属样品在光声测量中产生；
73.本实施例中，一维u
‑
net神经网络模型是在用于处理二维图像的经典u
‑
net神经网
络模型的基础上改进得到的，其建立方式包括：
74.将u
‑
net神经网络模型中所有的卷积层、最大池化层和上采样均修改为1d形式；
75.本实施例中，下采样和上采样部分中卷积层的卷积核大小为3
×
1，并且一维u
‑
net神经网络模型的建立还包括以下操作：
76.在u
‑
net神经网络模型的下采样和/或上采样部分中，加入至少一个dropout层；通过在下采样和/或上采样部分中加入dropout层，能够有效防止过拟合；
77.容易理解的是，为了支持对不同数据长度的一维时序光声测量信号的特征识别与提取，在进行下采样之前，需要将一维时序光声测量信号调整至统一的长度(resize)；在实际应用中，可以通过数据预处理的方式完成数据长度的统一，也可以直接在一维u
‑
net神经网络模型的输入层中完成数据长度的统一；可选地，本实施例中，由u
‑
net神经网络模型的输入层完成数据长度的统一，且具体使用线性插值的方式调节数据的长度；应当说明的是，在调节数据长度时，也可以采用多项式插值、二次插值、cubic插值等其他的插值方式；
78.最终，本实施例所建立的一维u
‑
net神经网络模型如图3所示，首先，输入信号在输入层进行resize，具体地，是通过线性插值的方法将数据大小统一为2360*1，然后进入下采样过程。下采样过程中采用1d卷积配合最大池化实现特征提取，其中，设置卷积层的卷积核大小为3
×
1，步长为1，padding方式为same，激活函数为relu；设置池化层大小为2
×
1，步长为2；经过3次特征提取完成下采样的信号会进入上采样过程；上采样过程中采用upsampling1d方法配合concatenate方法以及1d卷积实现数据扩展，具体地，信号经upsampling处理后需先进行卷积核大小为2
×
1、步长为1、padding方式为same、激活函数为relu的卷积，再与下采样过程中对称位置的信号直接进行拼接操作(concatenate)，然后再进行卷积核大小为3
×
1、步长为1、padding方式为same、激活函数为relu的卷积；经过3次数据扩展完成上采样的信号会最后经过一次卷积核大小为1
×
1、步长为1、padding方式为same、激活函数为softmax的卷积，最终输出信号特征识别及分类的结果——数据长度为2360的四种信号(前述三种特征信号以及背景信号)的预测概率曲线；除此之外，本施例还在下采样和上采样过程中适当加入了dropout，以防止过拟合。
79.(s7)利用训练集、验证集和测试集分别对一维u
‑
net神经网络模型进行训练、验证和测试后，得到光声测量信号特征的识别模型。
80.上述神经网络模型构建完成后，将训练集中的signal数据文件中的数据作为该模型的输入信号，同时将模型输出结果与对应的label数据文件中的数据进行对比、计算损失，并据此对模型权重等学习参数进行反向传播的参数更新，以实现对模型的训练；
81.同时，利用验证集对训练出的模型进行验证，并根据训练及验证结果调整卷积核大小等模型超参数、特征提取次数和dropout位置等模型结构特征以及epoch和learning rate等训练参数，以优化模型的训练效果；
82.最后，利用测试集对训练并验证后的模型进行测试，判断该模型信号特征识别及分类的准确率是否达到标准，如未达标则需继续调整模型超参数、结构以及训练参数，再重新进行训练、验证和测试，直至模型的测试结果达标，从而得到光声测量信号特征的识别模型；该模型可用于预测具有2个膜层的固体样品的一维时序光声测量信号中各类特征信号的时域分布的概率曲线；
83.上述训练、验证及测试过程中，采用交叉熵损失作为损失函数，采用accuracy作为
模型优劣的评价指标；
84.可选地，本实例中，在得到光声测量信号特征的识别模型后，将该模型保存为.h5文件。
85.应当说明的是，当固体样品的膜层数量n发生变化时，其一维时序光声测量信号中的特征信号种类也会发生变化，具体为n 1种，即零点信号和n个膜层中每个膜层返回的回声信号，此时在构建训练数据时，进行标注即可；最终所得到的模型即可用于预测具有n个膜层的固体样品的一维时序光声测量信号中各类特征信号的时域分布的概率曲线。
86.实施例2：
87.一种光声测量信号特征的提取方法，包括：
88.对于具有2个膜层的待测固体金属样品，获得其在光声测量中产生的一维时序光声测量信号，对其进行数字降噪和标准化；数字降噪和标准化的方法可参考上述实施例1中的描述；
89.将数字降噪和标准化之后的一维时序光声测量信号输入至光声测量信号特征的识别模型，以获得一维时序光声测量信号中各类特征信号的时域分布概率曲线；光声测量信号特征的识别模型由上述实施例1提供的光声测量信号特征的识别模型建立方法得到，实际应用中，调用相应的.h5文件，即可获得模型；本实施例中，模型预测得到的各类特征信号以及背景信号的时域分布概率曲线如图4所示；
90.对于每一类特征信号，设定相应的概率阈值，若某一信号类别的预测概率大于该概率阈值，便可将一维时序光声测量信号中对应时域区间内的部分归于这一信号类别；最后再将属于同一类别的信号从一维时序光声测量信号中分离出来，便完成了光声测量信号的特征提取；
91.可选地，本实施例中，对于每一类特征信号设定的概率阈值相同，且均为0.8，相应地，所提取出的各类特征信号如图5所示。
92.提取出一维时序光声测量信号中的各类特征信号后，可进一步分析得到待测固体样品的膜层厚度等信息。
93.实施例3：
94.一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例1提供的光声测量信号特征的识别模型建立方法，和/或上述实施例2提供的光声测量信号特征的提取方法。
95.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。