一种用于噪声分布不均匀的光谱信号去噪方法与流程

1.本方法发明属于分析化学信号处理领域，具体涉及一种用于噪声分布不均匀的光谱信号去噪方法。


背景技术：

2.光谱仪器在测量的过程中会受到周围环境、样品背景及仪器本身误差的影响，其不仅可以采集到有用信号，还会采集与有用信号叠加在一起无法分辨的噪声信号，而噪声会影响光谱中的一些有用信息的提取，降低信号分辨率，掩盖有效信号，从而影响光谱分析的准确性。所以在光谱分析之前，最重要的是去除尽可能多的噪声，同时又不过分降低有用信号的质量。
3.目前有许多去噪方法被开发出来，而常用的去噪方法大致分为两种，一种是基于平滑的去噪方法，一种是基于分解的去噪方法。其中基于分解的去噪方法通常要优于基于平滑的去噪方法。傅里叶变换(fourier transform，ft)、小波变换(wavelet transformation，wt)、经验模态分解(empirical mode decomposition，emd)是常用的基于分解的去噪法。但傅里叶变换只能处理线性平稳信号，小波变换只能处理线性非平稳信号，经验模态分解的方法虽然能很好地处理非线性非平稳信号(卞希慧，李明，李淑娟，魏俊富，赵俊，一种基于希尔伯特
‑
黄变换的光谱信号去噪方法，中国发明专利，2019，zl105203495a)，但存在模态混叠效应。局部均值分解(local mean decomposition，lmd)可以自适应的将信号分解成若干个pf分量和一个u
k
分量，其中pf是由包络信号和纯调频信号相乘得到的乘积函数，可直接提取瞬时幅值和瞬时频率(smith，j s，the local mean decomposition and its application to eeg perception data，journal of the royal society interface，2005，2，443
‑
454)。所以局部均值分解的方法能够很好的分离噪声。已有研究应用局部均值分解的方法进行信号去噪再将去噪后信号的应用于旋转机械的故障分析(林近山，窦春红，一种基于局部均值分解滤波的包络分析方法，中国发明专利，2016，cn106198010a)但是局部均值分解在进行信号去噪时存在端点效应(窦春红，一种旋转机械的elmd和平滑迭代包络分析方法，中国发明专利，2016，cn106124200a)。
4.由于光谱仪器波长范围较宽，有时需要不同光源的转换，在不同波长范围内噪声的程度往往不同。传统的局部均值分解是在全波段范围内对光谱进行噪声处理，没有考虑到不同波长范围内噪声的特点和差异，不仅导致噪声无法完全去除，还会导致有用信号的失真。


技术实现要素：

5.本发明的目的是针对上述存在问题，提供一种用于噪声分布不均匀的光谱信号去噪方法，该方法结合了分段、扩展和局部均值分解的优势，不仅克服了端点效应，而且可以有效去除噪声分布不均匀的光谱信号中的噪声。
6.为实现本发明所提供的技术方案包括以下步骤：
7.1)根据原始光谱信号中噪声含量的高低对光谱信号x进行分段；
8.2)将分段的信号分别进行左右扩展，得到分段扩展信号；
9.分段信号进行扩展的方法为：将1
×
m的分段信号[x1，x2，
……
x
m
]翻转，得到[x
m
，x
m
‑1，
……
，x1]，将翻转后的信号连接在原分段信号的左边和右边，组成1
×
3m的扩展信号[x
m
，x
m
‑1，
……
，x1，x1，x2，
……
x
m
，x
m
，x
m
‑1，
……
，x1]。
[0010]
3)采用局部均值分解(lmd)对分段扩展信号分别分解，每个分段扩展信号都得到一定数目的pf分量和1个u
k
分量；
[0011]
局部均值分解通过以下步骤实现：
[0012]
①
找出信号中所有的极值点，计算连续的两个极值n
i
和n
i 1
的局部均值m
i
和包络估计a
i
，其中
[0013]
②
利用移动平均法对局部均值m
i
和包络估计a
i
进行平滑，形成平滑变化的连续局部均值函数m
11
和连续包络估计函数a
11
；
[0014]
④
从原始数据中m
11
，得到信号h
11
，即：h
11
＝x
‑
m
11
；
[0015]
⑤
用h
11
除以a
11
得到解调信号s
11
，即：
[0016]
⑥
求出解调信号s
11
的包络估计函数a
12
；并判断是否a
12
≈1，如果不满足条件，则重复上述迭代过程n次，直至得到一个纯调频信号s
1n
，它的包络估计a
1n 1
≈1，即：
[0017][0018]
式中：
[0019][0020]
迭代终止条件是：a
1n
≈1
[0021]
⑦
把上述迭代过程中产生的所有包络估计相乘得到包络信号a1，即：
[0022][0023]
⑧
将a1与s
1n
相乘得到第一个调幅
‑
调频信号pf1，即：
[0024]
pf1＝a1×
s
1n
[0025]
⑨
从原始数据中减去第一个pf分量pf1得到一个新的信号u1，即：
[0026]
u1＝x
‑
pf1[0027]
⑩
判断u1是否是一个单调函数，如果不满足条件则重复上述步骤k次，即：
[0028][0029]
原始信号被分解为k个pf分量和一个u
k
函数，即：
[0030][0031]
4)将不含噪的pf分量和u
k
分量重构得到去噪后的分段扩展信号；
[0032]
5)截取每个去噪后的分段扩展信号的中间部分为去噪后的分段信号；
[0033]
6)将去噪后的分段信号按照原分段顺序连接为去噪后的光谱信号。
[0034]
本发明的优点是：该去噪方法根据噪声分布特点进行分段，减少噪声处理对蕴含重要信息波段范围内信息损耗的影响，从图6中可以看出整体去噪不仅不能完全去除噪声而且还会导致信号严重失真，而分段去噪可以有效去除噪声而且不会导致信号失真；对每段去噪前进行信号扩展，避免了端点效应；采用局部均值分解对信号进行分解，噪声得到了有效分离。
附图说明
[0035]
图1是噪声分布不均匀的原始近红外光谱信号
[0036]
图2是分段扩展的近红外光谱信号(a)12000
‑
8914.4cm
‑1波段(b)8916.3
‑
7563.2cm
‑1波段(c)7561.3
‑
4000cm
‑1波段
[0037]
图3是12000
‑
8914.4cm
‑1波段的局部均值分解结果
[0038]
图4是8916.3
‑
7563.2cm
‑1波段的局部均值分解结果
[0039]
图5是7561.3
‑
4000cm
‑1波段的局部均值分解结果
[0040]
图6是分段去噪与整体去噪后的光谱信号
具体实施方式
[0041]
为更好理解本发明，下面结合实施例对本发明做进一步地详细说明，但是本发明要求保护的范围并不局限于实施例表示的范围。
[0042]
实施例1：
[0043]
本例实施对噪声分布不均匀的三七四元掺伪样品的红外光谱信号进行去噪。该信号是采用vertex70近红外光谱仪扫描的混有莪术、姜黄和高良姜的三七四元掺伪样品的近红外光谱。采样波数范围12000
‑
4000cm
‑1，采样点间隔为1.9cm
‑1，包含4148个变量。
[0044]
1)根据原始光谱信号中噪声含量的高低对光谱信号x进行分段。图1显示了三七四元掺伪样品的近红外光谱。可以看出，12000
‑
8914.4cm
‑1波段噪声较高，8912.5
‑
7563.2cm
‑1波段噪声较低，7561.3
‑
4000cm
‑1波段几乎观察不到噪声，因此原始光谱信号划分为12000
‑
8914.4cm
‑1、8912.5
‑
7563.2cm
‑1、7561.3
‑
4000cm
‑1共3个波段；
[0045]
2)将分段的信号分别进行左右扩展，得到分段扩展信号；
[0046]
分段信号进行扩展的方法为：将1
×
m的分段信号[x1，x2，
……
x
m
]翻转，得到[x
m
，x
m
‑1，
……
，x1]，将翻转后的信号连接在原分段信号的左边和右边，组成1
×
3m的扩展信号
[x
m
，x
m
‑1，
……
，x1，x1，x2，
……
x
m
，x
m
，x
m
‑1，
……
，x1]。其中，1
×
1600的12000
‑
8914.4cm
‑1波段的扩展信号如图2(a)所示。1
×
700的8912.5
‑
7563.2cm
‑1波段的扩展信号如图2(b)所示。1
×
1848的7561.3
‑
4000cm
‑1波段的扩展信号如图2(c)所示。
[0047]
3)采用局部均值分解(lmd)分别对12000
‑
8914.4cm
‑1、8912.5
‑
7563.2cm
‑1、7561.3
‑
4000cm
‑1波段的扩展信号进行分解。其中，12000
‑
8914.4cm
‑1波段的扩展信号分解得到5个pf分量和1个u6分量，如图3所示；8912.5
‑
7563.2cm
‑1波段的扩展信号分解得到3个pf分量和1个u4分量，如图4所示；7561.3
‑
4000cm
‑1波段的扩展信号分解得到3个pf分量和1个u4分量，如图5所示。
[0048]
局部均值分解通过以下步骤实现：
[0049]
①
找出信号中所有的极值点，计算连续的两个极值n
i
和n
i 1
的局部均值m
i
和包络估计a
i
，其中
[0050]
②
利用移动平均法对局部均值m
i
和包络估计a
i
进行平滑，形成平滑变化的连续局部均值函数m
11
和连续包络估计函数a
11
。
[0051]
④
从原始数据中m
11
，得到信号h
11
，即：h
11
＝x
‑
m
11
；
[0052]
⑤
用h
11
除以a
11
得到解调信号s
11
，即：
[0053]
⑥
求出解调信号s
11
的包络估计函数a
12
；并判断是否a
12
≈1，如果不满足条件，则重复上述迭代过程n次，直至得到一个纯调频信号s
1n
，它的包络估计a
1n 1
≈1，即：
[0054][0055]
式中：
[0056][0057]
迭代终止条件是：a
1n
≈1
[0058]
⑦
把上述迭代过程中产生的所有包络估计相乘得到包络信号，即：
[0059][0060]
⑧
将a1与s
1n
相乘得到第一个调幅
‑
调频信号pf1，即：
[0061]
pf1＝a1×
s
1n
[0062]
⑨
从原始数据中减去第一个pf分量pf1得到一个新的信号u1，即：
[0063]
u1＝x
‑
pf1[0064]
⑩
判断u1是否是一个单调函数，如果不满足条件则重复上述步骤k次，即：
[0065][0066]
原始信号被分解为k个pf分量和一个u
k
函数，即：
[0067][0068]
从图3
‑
5每段扩展信号的局部均值分解结果中都可以看出，每个pf分量左翻转信号的左端，右翻转信号的右端都出现严重失真，而中间段并无影响，所以左右翻转形成扩展信号的方法可以有效改善局部均值分解的端点效应。
[0069]
4)将不含噪的pf分量和u
k
分量重构得到去噪后的分段扩展信号，对于12000
‑
8914.4cm
‑1波段，从图3中可以看出pf1分量和pf2分量为噪声分量，所以加和pf3分量、pf4分量和u5分量作为该波段去噪后的扩展信号；对于8912.5
‑
7563.2cm
‑1波段，从图4中可以看出pf1分量为噪声分量，所以加和pf2分量、pf3分量和u4分量作为该波段去噪后的扩展信号；对于7561.3
‑
4000cm
‑1波段，从图5中可以看出并无噪声分量，所以加和pf1分量、pf2分量、pf3分量和u4分量作为该波段去噪后的扩展信号。
[0070]
5)截取每个去噪后的分段扩展信号的中间部分为去噪后的分段信号；
[0071]
6)将去噪后的分段信号按照原分段顺序连接为去噪后的光谱信号。图6显示了分段局部均值分解去噪后的信号。为了进行对比，原始信号和整体局部均值分解去噪的信号也显示在图6中，为了显示清楚，每个信号的纵坐标进行了整体上移。可以看出，分段局部均值分解去噪效果良好，而整体局部均值分解去噪导致7561.3
‑
4000cm
‑1波段信号严重失真。