声音信号处理方法、装置、存储介质、芯片及相关设备与流程

专利2022-05-09  81


本发明涉及语音信号处理领域,尤其涉及一种声音信号处理方法、装置、存储介质、芯片及相关设备。



背景技术:

随着语音通信设备的广泛应用,对声音信号处理的处理也变得多样化。常见的对麦克风采集的经空气传导的ac(airconducted,空气传导)信号进行声音信号处理,受环境噪声的影响较大,特别在低信噪比的环境下,各种信号处理算法性能下降。目前,利用具有较强噪声鲁棒性的bc(boneconducted,骨传导)信号对ac信号进行优化,由于bc信号的中高频成分存在严重衰减,ac信号与bc信号的声学特性存在差异,需要先对bc信号进行补偿,再利用补偿后的bc信号的低频部分对ac信号进行优化。但常用的使用固定增益对bc信号进行补偿的方式容易对处理得到的语音的清晰度造成影响。



技术实现要素:

本申请实施例提供一种声音信号处理方法、装置、存储介质、芯片及相关设备,可动态进行声音信号的补偿。

为了解决上述技术问题,第一方面,本申请实施例提供一种声音信号处理方法,所述方法包括:

获取经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号,所述第一传输介质和所述第二传输介质不相同;

确定所述第一声音信号和所述第二声音信号之间的传递函数;

对所述传递函数进行平滑处理,得到目标传递函数;

根据所述目标传递函数,对所述第二声音信号进行补偿。

第二方面,本申请实施例提供一种声音信号处理设备,所述声音信号处理设备包括:存储装置和处理器,

所述存储装置,用于存储程序代码;

所述处理器,在调用所述存储代码时,用于执行如第一方面所述的方法。

第三方面,本申请实施例提供一种声音信号处理装置,所述声音信号处理设备包括:

获取模块,用于获取经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号,所述第一传输介质和所述第二传输介质不相同;

处理模块,用于确定所述第一声音信号和所述第二声音信号之间的传递函数;对所述传递函数进行平滑处理,得到目标传递函数;根据所述目标传递函数,对所述第二声音信号进行补偿。

第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被运行时,执行如第一方面所述的方法。

第五方面,本申请实施例提供一种芯片,所述芯片,用于确定经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号之间的传递函数,所述第一传输介质和所述第二传输介质不相同;对所述传递函数进行平滑处理,得到目标传递函数;根据所述目标传递函数,对所述第二声音信号进行补偿。

第六方面,本申请实施例提供一种模组设备,所述模组设备包括输入接口以及芯片模组,其中:

所述输入接口,用于接收经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号,所述第一传输介质和所述第二传输介质不相同;

所述芯片模组,用于确定所述第一声音信号和所述第二声音信号之间的传递函数;对所述传递函数进行平滑处理,得到目标传递函数;根据所述目标传递函数,对所述第二声音信号进行补偿。

实施本申请实施例,具有如下有益效果:

通过对经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号之间的传递函数进行平滑处理,得到目标传递函数,以利用目标传递函数动态地对第二声音信号进行补偿,增加补偿处理后的声音信号的清晰度。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种声音信号处理方法的场景图;

图2为本申请实施例提供的一种声音信号处理方法的流程示意图;

图3为本申请实施例提供的另一种声音信号处理方法的流程示意图;

图4为本申请实施例提供的一种声音信号处理设备的结构示意图;

图5为本申请实施例提供的一种声音信号处理装置的结构示意图;

图6为本申请实施例提供的一种模组设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

请参阅图1,为本申请实施例提供的一种声音信号处理方法的场景图,具体如图1所示,在该场景中,用户通过电子设备10与对端用户进行语音通话,该耳机内设置有第一声音采集器101和第二声音采集器102。其中,第一声音采集器101用于采集经第一传输介质传导的第一声音信号,第二声音采集器102用于采集经第二传输介质传导的第二声音信号,第一传输介质和第二传输介质不相同。

在一个可能的实现中,耳机10通过对第一声音信号和第二声音信号进行处理得到语音信号,或者,耳机10将第一声音信号和第二声音信号发送至网络服务器,由网络服务器对第一声音信号和第二声音信号进行处理得到语音信号,并将该语音信号发送给耳机10。

在一个可能的实现中,第一传输介质为空气,则经第一传输介质传导是指经空气传导;第二传输介质为人的颅骨、骨迷路、内耳淋巴液、螺旋器、听神经、听觉中枢等,则经第二传输介质传导是指经骨传导。

本申请实施例中,所述第一声音采集器101可以为空气传导麦克风或其他可以采集经空气传导的声音信号的装置,所述第二声音采集器102可以为骨传导麦克风或其他可以采集经骨传导的声音信号的装置,所述电子设备包括但不限于耳机、手机、平板电脑、智能手表等具有采集经第一传输介质传导的第一声音信号和采集经第二传输介质传导的第二声音信号的功能的设备。

请参阅图2,图2为本申请实施例提供的一种声音信号处理方法的流程示意图,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的终端或者存储介质产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行。具体如图2所示,所述方法应用于电子设备中,所述方法包括:

s201:获取经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号,所述第一传输介质和所述第二传输介质不相同。

s202:确定所述第一声音信号和所述第二声音信号之间的传递函数。

s203:对所述传递函数进行平滑处理,得到目标传递函数。

其中,所述目标传递函数为用于对第二声音信号进行增益补偿的传递函数。

s204:根据所述目标传递函数,对所述第二声音信号进行补偿。

在一种可能的实现中,根据目标传递函数,对第二声音信号进行补偿,得到补偿后的第二声音信号,将补偿后的第二声音信号对应替换第一声音信号,得到语音信号。

需要说明的是,步骤s202至s203的一项或多项除由电子设备中执行外,还可由电子设备发送给网络服务器,由网络服务器执行并将执行结果发送给电子设备。

在本申请实施例中,通过对经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号之间的传递函数进行平滑处理,得到目标传递函数,以利用目标传递函数动态地对第二声音信号进行补偿,增加补偿处理后的声音信号的清晰度。

请参阅图3,图3为本申请实施例提供的另一种声音信号处理方法的流程示意图,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的终端或者存储介质产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行。具体如图3所示,所述方法应用于电子设备中,所述方法包括:

s301:获取经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号,所述第一传输介质和所述第二传输介质不相同。

其中,经第一传输介质传导是指经空气传导,经第二传输介质传导是指经骨传导。

在一种可能的实现中,电子设备中设置有骨传导麦克风和空气传导麦克风,用户通过电子设备进行声音信号采集,比如:在用户通过电子设备进行语音通话时进行声音信号采集,包括:通过空气传导麦克风采集第一声音信号,同时通过骨传导麦克风采集第二声音信号。

s302:对所述第二声音信号进行语音活动检测以确定所述第二声音信号的当前帧是否为语音帧。

本申请实施例中,一段连续的声音信号包括语音帧和/或非语音帧,非语音帧对应的声音信号可能为噪声信号,由于语音帧才包含有有效的语音信号,因此,仅对语音帧的传递函数进行更新,避免对非语音帧的传递函数进行更新而引入误差。

本申请实施例中,若确定所述第二声音信号的当前帧为非语音帧,则不对所述第二声音信号的当前帧的传递函数进行更新。

在一种可能的实现中,若不对所述第二声音信号的当前帧的传递函数进行更新,则所述第一声音信号和所述第二声音信号之间在当前帧的目标传递函数为所述第一声音信号和所述第二声音信号之间在前一帧的目标传递函数。

举例而言,若第二声音信号的当前帧为第10帧,而第8帧、第9帧、第10帧分别为语音帧、非语音帧、非语音帧,则对第8帧的传递函数进行更新,得到第8帧的目标传递函数,不对第9帧、第10帧的传递函数进行更新,进而第9帧的目标传递函数为第8帧的目标传递函数,第10帧的目标传递函数为第9帧的目标传递函数,即第8帧的目标传递函数。

本申请实施例中,若确定所述第二声音信号的当前帧为语音帧,则执行步骤303。

s303:确定所述第一声音信号和所述第二声音信号之间的传递函数。

其中,第一声音信号和第二声音信号之间的传递函数为未经平滑处理的传递函数。

在一种可能的实现中,所述确定所述第一声音信号和所述第二声音信号之间的传递函数,包括:对所述第二声音信号和所述第一声音信号进行降噪处理;获取经降噪处理后的第一声音信号与经降噪处理后的第二声音信号在所述当前帧的互功率谱;获取经降噪处理后的第二声音信号在所述当前帧的自功率谱;根据所述互功率谱与所述自功率谱,确定所述第一声音信号和所述第二声音信号之间在所述当前帧的传递函数。

需要说明的是,获取经降噪处理后的第一声音信号与经降噪处理后的第二声音信号在所述当前帧的互功率谱,可在获取经降噪处理后的第二声音信号在当前帧的自功率谱之前或之后或与之同时执行,在此不对获取所述互功率谱和获取所述自功率谱的执行顺序做限定。

所述第一声音信号和所述第二声音信号之间的传递函数可通过如下公式计算得到:

在该公式中,pab(k,m)为经降噪处理后的第一声音信号与经降噪处理后的第二声音信号的互功率谱,pbb(k,m)为经降噪处理后的第二声音信号的自功率谱,为第一声音信号与第二声音信号之间的传递函数,k为频点索引,m为帧索引。

举例而言,当前帧为第二声音信号的第8帧,则获取经降噪处理后的第一声音信号与经降噪处理后的第二声音信号在第8帧的互功率谱pab(k,8),获取经降噪处理后的第二声音信号在第8帧的自功率谱pbb(k,8),将在第8帧的互功率谱pab(k,8)和自功率谱pbb(k,8)带入上述公式得到第一声音信号和所述第二声音信号之间在第8帧的传递函数

s304:对所述传递函数进行平滑处理,得到目标传递函数。

在一种可能的实现中,所述对所述传递函数进行平滑处理,得到目标传递函数包括:根据所述第二声音信号的目标频点的频点能量,对所述传递函数进行帧间平滑处理;对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数。

在一种可能的实现中,所述第二声音信号的目标频点的类型包括语音频点和/或非语音频点,所述语音频点包括第一类语音频点和第二类语音频点。第一类语音频点的频点能量大于第二类语音频点的频点能量,第二类语音频点的频点能量大于非语音频点的能量,即第一类语音频点为强语音频点,第二语音频点为一般语音频点。

在一种可能的实现中,若所述目标频点为语音频点,则所述根据所述第二声音信号的目标频点的频点能量,对所述传递函数进行帧间平滑处理包括:根据所述第二声音信号的目标频点的频点能量确定帧间平滑处理的平滑因子;根据所述平滑因子对所述传递函数(的幅频响应)进行帧间平滑处理。

其中,若根据所述目标频点的频点能量确定所述目标频点为第一类语音频点,则确定的平滑因子为第一因子;若根据所述目标频点的频点能量确定所述目标频点为第二类语音频点,则确定的平滑因子为第二因子,所述第一因子大于所述第二因子。

可选地,对传递函数进行帧间平滑处理可通过如下公式执行;

在该公式中,|heq’(k,m)|为第m帧第k个频点经帧间平滑处理后的传递函数,|heq(k,m-1)|为第m-1帧第k个频点的目标传递函数,为第m帧第k个频点未经帧间平滑处理的传递函数,α(m,k)为第m帧第k个频点的平滑因子,k为频点索引,m为帧索引。

可选地,当根据确定所述目标频点的频点能量确定所述目标频点为非语音频点时确定的平滑因子为第三因子,第三因子为0,带入上述公式后相当于不对非语音频点的传递函数进行帧间平滑处理。

在本申请实施例中,对第一类语音频点采用较第二类语音频点更激进的策略进行帧间平滑处理,即第一类语音频点采用的平滑因子大于第二类语音频点采用的平滑因子,对非语音频点不进行帧间平滑处理。

本申请实施例中,在不同频点对第二声音信号给予不同的增益且增益可实时更新,对传递函数进行帧间平滑,保证了对用于对第二声音信号进行补偿的补偿滤波器进行更新的稳定性,而通过强频点检测可以增加语音频点对应的目标传递函数(增益)的准确性,非语音频点不进行更新可减少误差的引入。

在一种可能的实现中,对所述第二声音信号的目标频点的频点能量进行检测,以确定目标频点的类型。

所述根据所述目标频点的频点能量确定所述目标频点为第一类语音频点包括:若所述目标频点的频点能量大于或等于第一能量阈值,则确定所述目标频点为第一类语音频点,可将第一类语音频点记为pk=1。

所述根据所述目标频点的频点能量确定所述目标频点为第二类语音频点包括:若所述目标频点的频点能量小于第一能量阈值且大于或等于第二能量阈值,则确定所述目标频点为第二类语音频点,可将第二类语音频点记为pk=0。

所述根据所述目标频点的频点能量确定所述目标频点为非语音频点包括:若所述目标频点的频点能量小于第二能量阈值,则确定所述目标频点为非语音频点,可将非语音频点记为pk=-1。

其中,所述第一能量阈值大于所述第二能量阈值,所述第一能量阈值与第二能量阈值可人为设定或通过系统设定,也可通过机器学习的模型获取,在此不对二者的获取方式进行限定。

在一种可能的实现中,所述对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数包括:利用滑动窗,对经帧间平滑处理后的传递函数(的幅频响应)进行频点间平滑处理,得到目标传递函数。

可选地,对经帧间平滑处理后的传递函数进行频点间平滑处理可通过如下公式执行:

其中,|heq(k,m)|为经频点间平滑处理后的第m帧第k个频点的目标传递函数,|heq’(j,m)|为经帧间平滑处理后的第m帧第j个频点的传递函数,wind为窗函数,k为频点索引,m为帧索引。

可选地,所述对经帧间平滑处理后的传递函数进行频点间平滑处理包括:根据位于第k个频点之前且与第k个频点相邻的n个频点、位于第k个频点之后且与第k个频点相邻的n个频点以及第k个频点共2n 1个频点的经帧间平滑处理的传递函数,对第k个频点的经帧间平滑处理后的传递函数进行频点间处理,n为正整数。

需要说明的是,所述2n 1个频点中包含第一类语音频点、第二类语音频点以及非语音频点中的一项或多项,2n 1为窗函数对应的滑动窗长。窗函数对应的滑动窗类型包括但不限于汉宁窗、海明窗、高斯窗等。窗函数对应的滑动窗类型以及滑动窗长可根据实际的频点间平滑处理的要求进行设定,或者由电子设备的系统设定,在此不对其进行限定。

可选地,所述窗函数的滑动窗可包括2n 1个系数,这2n 1个系数之和为1,且这2n 1个系数分别与这2n 1个频点一一对应,即滑动窗中第1个系数是第k-n个频点的系数,第2个系数是第k-n 1个频点的系数,……,第2n个系数是第k n-1个频点的系数,第2n 1个系数是第k n个频点的系数。

可选地,对2n 1个频点中每个频点的经帧间平滑处理后的传递函数(的幅频响应)与每个频点的系数之积求和,得到第k个频点的目标传递函数。

举例而言,设定n为2,平滑窗包含5个系数,即系数为b=[0.10.20.40.20.1],若经帧间平滑处理后的传递函数(增益序列)为a’=[1,2,1,4,3,5,2,4,1,5,5,3,1,2,1,5,0,3],则通过该平滑窗对该a进行频点间平滑处理得到:

a[3]=a’[1]*b[1] a’[2]*b[2] a’[3]*b[3] a’[4]*b[4] a’[5]*b[5]=1*0.1 2*0.2 1*0.4 4*0.2 3*0.1=2;

a[4]=a’[2]*b[1] a’[3]*b[2] a’[4]*b[3] a’[5]*b[4] a’[6]*b[5]=2*0.1 1*0.2 4*0.4 3*0.2 5*0.1=3.1;

……

依次类推,得到频点间平滑处理后的目标传递函数(增益序列)。

即a[j]=a’[j-2]*b[1] a’[j-1]*b[2] a’[j]*b[3] a’[j 1]*b[4] a’[j 2]*b[5]。

其中,a[j]是指经频点间平滑处理得到的第j个频点的目标传递函数(增益)。

需要说明的是,在本申请实施例中,*表示乘法运算。

在本申请实施例中,对经帧间平滑处理后的传递函数进行频点间平滑处理能够消除部分频点瞬态效应带来的增益误差,还可使得语音频点增益更加平滑,增加补偿后的第二声音信号的清晰度。

在本申请实施例中,可通过步骤s302至s304对第二声音信号的补偿滤波器进行更新。

s305:根据所述目标传递函数,对所述第二声音信号进行补偿。

在一种可能的实现中,所述根据所述目标传递函数,对所述第二声音信号进行补偿包括:根据所述目标传递函数,对所述第二声音信号在当前帧的幅度进行补偿。

举例而言,第二声音信号的当前帧为第8帧,根据步骤s303和s304得到第8帧的目标传递函数(增益),将第二声音信号在第8帧的幅度与第8帧的目标传递函数相乘,得到补偿后的第二声音信号在第8帧的幅度。

需要说明的是,本申请实施例中仅对所述第二声音信号在当前帧的幅度进行补偿,第二声音信号的相位保持原相位不变。步骤s302至s305的一项或多项除由电子设备中执行外,还可由电子设备发送给网络服务器,由网络服务器执行并将执行结果发送给电子设备。

在本申请实施例中,通过对经骨传导的语音信号进行语音活动检测以确定第二声音信号的当前帧是否为语音帧,在语音帧根据目标频点的频点能量对第一声音信号与第二声音信号之间的传递函数进行帧间平滑处理,以消除非语音帧的误差干扰并提高帧间平滑处理的准确性,对经帧间平滑处理的传递函数进行频点间平滑处理,能够消除部分频点瞬态效应带来的增益误差,使得目标传递函数更加平滑,从而增加利用目标传递函数对第二声音信号进行补偿后的清晰度,除对第二声音信号的低频幅频响应进行补偿外,还对第二声音信号的中高频信息进行强调,使得可利用更宽的频带信息。

在本申请实施例中,通过对经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号之间的传递函数进行平滑处理,得到目标传递函数,以利用目标传递函数动态地对第二声音信号进行补偿,增加补偿处理后的声音信号的清晰度。

请参阅图4,图4为本申请实施例提供的一种声音信号处理设备的结构示意图,具体如图4所示,所述声音信号处理设备,包括:存储装置401和处理器402;并且所述设备还可以包括数据接口403、用户接口404。各个硬件之间还可以通过各种类型的总线建立连接。

通过所述数据接口403,所述声音信号处理设备可以和其他终端、服务器等设备之间交互数据;所述用户接口404用于实现用户与所述设备之间的人机交互;所述用户接口404可提供触摸显示屏、物理按键等实现用户与所述声音信号处理设备之间的人机交互。

所述存储装置401可以包括易失性存储器(volatilememory),例如随机存取存储器(random-accessmemory,ram);存储装置401也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flashmemory),固态硬盘(solid-statedrive,ssd)等;存储装置401还可以包括上述种类的存储器的组合。

所述处理器402可以是中央处理器(centralprocessingunit,cpu)。所述处理器402还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegratedcircuit,asic),可编程逻辑器件(programmablelogicdevice,pld)等。上述pld可以是现场可编程逻辑门阵列(field-programmablegatearray,fpga),通用阵列逻辑(genericarraylogic,gal)等。

所述存储装置401,用于存储程序代码;

所述处理器402,在调用所述存储代码时,用于获取经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号,所述第一传输介质和所述第二传输介质不相同;

确定所述第一声音信号和所述第二声音信号之间的传递函数;

对所述传递函数进行平滑处理,得到目标传递函数;

根据所述目标传递函数,对所述第二声音信号进行补偿。

在一个实施例中,所述处理器402,具体用于根据所述第二声音信号的目标频点的频点能量,对所述传递函数进行帧间平滑处理;

对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数。

在一个实施例中,所述处理器402,具体用于根据所述第二声音信号的目标频点的频点能量确定帧间平滑处理的平滑因子;

根据所述平滑因子对所述传递函数进行帧间平滑处理;

其中,所述语音频点包括第一类语音频点和第二类语音频点;若根据所述目标频点的频点能量确定所述目标频点为第一类语音频点,则确定的平滑因子为第一因子;若根据所述目标频点的频点能量确定所述目标频点为第二类语音频点,则确定的平滑因子为第二因子,所述第一因子大于所述第二因子。

在一个实施例中,所述处理器402,具体用于利用滑动窗,对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数。

在一个实施例中,所述处理器402,还用于对所述第二声音信号的目标频点的频点能量进行检测;

所述处理器402,具体用于若所述目标频点的频点能量大于或等于第一能量阈值,则确定所述目标频点为第一类语音频点;

所述处理器402,具体用于若所述目标频点的频点能量小于第一能量阈值且大于或等于第二能量阈值,则确定所述目标频点为第二类语音频点。

在一个实施例中,所述处理器402,还用于在所述确定所述第一声音信号和所述第二声音信号之间的传递函数之前,对所述第二声音信号进行语音活动检测以确定所述第二声音信号的当前帧是否为语音帧;

若确定所述第二声音信号的当前帧为语音帧,则执行所述确定所述第一声音信号和所述第二声音信号之间的传递函数。

在一个实施例中,所述处理器402,具体用于对所述第二声音信号和所述第一声音信号进行降噪处理;

获取经降噪处理后的第一声音信号与经降噪处理后的第二声音信号在所述当前帧的互功率谱;

获取经降噪处理后的第二声音信号在所述当前帧的自功率谱;

根据所述互功率谱与所述自功率谱,确定所述第一声音信号和所述第二声音信号之间在所述当前帧的传递函数。

在一个实施例中,所述处理器402,具体用于根据所述目标传递函数,对所述第二声音信号在当前帧的幅度进行补偿。

请参阅图5,图5为本申请实施例提供的一种声音信号处理装置的结构示意图,所述声音信号处理设备包括:

获取模块501,用于获取经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号,所述第一传输介质和所述第二传输介质不相同;

处理模块502,用于确定所述第一声音信号和所述第二声音信号之间的传递函数;对所述传递函数进行平滑处理,得到目标传递函数;根据所述目标传递函数,对所述第二声音信号进行补偿。

在一个实施例中,所述处理模块502,具体用于根据所述第二声音信号的目标频点的频点能量,对所述传递函数进行帧间平滑处理;

对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数。

在一个实施例中,所述处理模块502,具体用于根据所述第二声音信号的目标频点的频点能量确定帧间平滑处理的平滑因子;

根据所述平滑因子对所述传递函数进行帧间平滑处理;

其中,所述语音频点包括第一类语音频点和第二类语音频点;若根据所述目标频点的频点能量确定所述目标频点为第一类语音频点,则确定的平滑因子为第一因子;若根据所述目标频点的频点能量确定所述目标频点为第二类语音频点,则确定的平滑因子为第二因子,所述第一因子大于所述第二因子。

在一个实施例中,所述处理模块502,具体用于利用滑动窗,对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数。

在一个实施例中,所述处理模块502,还用于对所述第二声音信号的目标频点的频点能量进行检测;

所述处理模块502,具体用于若所述目标频点的频点能量大于或等于第一能量阈值,则确定所述目标频点为第一类语音频点;

所述处理模块502,具体用于若所述目标频点的频点能量小于第一能量阈值且大于或等于第二能量阈值,则确定所述目标频点为第二类语音频点。

在一个实施例中,所述处理模块502,还用于在所述确定所述第一声音信号和所述第二声音信号之间的传递函数之前,对所述第二声音信号进行语音活动检测以确定所述第二声音信号的当前帧是否为语音帧;

若确定所述第二声音信号的当前帧为语音帧,则执行所述确定所述第一声音信号和所述第二声音信号之间的传递函数。

在一个实施例中,所述处理模块502,具体用于对所述第二声音信号和所述第一声音信号进行降噪处理;

获取经降噪处理后的第一声音信号与经降噪处理后的第二声音信号在所述当前帧的互功率谱;

获取经降噪处理后的第二声音信号在所述当前帧的自功率谱;

根据所述互功率谱与所述自功率谱,确定所述第一声音信号和所述第二声音信号之间在所述当前帧的传递函数。

在一个实施例中,所述处理模块502,具体用于根据所述目标传递函数,对所述第二声音信号在当前帧的幅度进行补偿。

相应地,本申请实施例还提供另一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序使得计算机执行本申请步骤图2和图3中任意实施例描述的方法。可以理解的是,此处的计算机存储介质既可以包括智能终端中的内置存储介质,当然也可以包括智能终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了智能终端的操作系统。并且,在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速ram存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。

相应地,本申请实施例提供一种芯片,所述芯片,用于确定经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号之间的传递函数,所述第一传输介质和所述第二传输介质不相同;对所述传递函数进行平滑处理,得到目标传递函数;根据所述目标传递函数,对所述第二声音信号进行补偿。

在一个实施例中,所述芯片,用于接收经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号。

在一个实施例中,所述芯片,具体用于根据所述第二声音信号的目标频点的频点能量,对所述传递函数进行帧间平滑处理;

对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数。

在一个实施例中,所述芯片,具体用于根据所述第二声音信号的目标频点的频点能量确定帧间平滑处理的平滑因子;

根据所述平滑因子对所述传递函数进行帧间平滑处理;

其中,所述语音频点包括第一类语音频点和第二类语音频点;若根据所述目标频点的频点能量确定所述目标频点为第一类语音频点,则确定的平滑因子为第一因子;若根据所述目标频点的频点能量确定所述目标频点为第二类语音频点,则确定的平滑因子为第二因子,所述第一因子大于所述第二因子。

在一个实施例中,所述芯片,具体用于利用滑动窗,对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数。

在一个实施例中,所述芯片,还用于对所述第二声音信号的目标频点的频点能量进行检测;

所述芯片,具体用于若所述目标频点的频点能量大于或等于第一能量阈值,则确定所述目标频点为第一类语音频点;

所述芯片,具体用于若所述目标频点的频点能量小于第一能量阈值且大于或等于第二能量阈值,则确定所述目标频点为第二类语音频点。

在一个实施例中,所述芯片,还用于在所述确定所述第一声音信号和所述第二声音信号之间的传递函数之前,对所述第二声音信号进行语音活动检测以确定所述第二声音信号的当前帧是否为语音帧;

若确定所述第二声音信号的当前帧为语音帧,则执行所述确定所述第一声音信号和所述第二声音信号之间的传递函数。

在一个实施例中,所述芯片,具体用于对所述第二声音信号和所述第一声音信号进行降噪处理;

获取经降噪处理后的第一声音信号与经降噪处理后的第二声音信号在所述当前帧的互功率谱;

获取经降噪处理后的第二声音信号在所述当前帧的自功率谱;

根据所述互功率谱与所述自功率谱,确定所述第一声音信号和所述第二声音信号之间在所述当前帧的传递函数。

在一个实施例中,所述芯片,具体用于根据所述目标传递函数,对所述第二声音信号在当前帧的幅度进行补偿。

需要说明的是,所述芯片可以执行上述图2和图3方法实施例中的相关步骤,具体可参见上述各个步骤所提供的实现方式,在此不再赘述。

在一个实施例中,上述芯片包括至少一个处理器、至少一个第一存储器和至少一个第二存储器;其中,前述至少一个第一存储器和前述至少一个处理器通过线路互联,前述第一存储器中存储有指令;前述至少一个第二存储器和前述至少一个处理器通过线路互联,前述第二存储器中存储前述方法实施例中需要存储的数据。

对于应用于或集成于芯片的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现。

请参阅图6,图6为本申请实施例提供的一种模组设备的结构示意图,所述模组设备包括输入接口601以及芯片模组602,其中:

所述输入接口601,用于接收经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号,所述第一传输介质和所述第二传输介质不相同;

所述芯片模组602,用于确定所述第一声音信号和所述第二声音信号之间的传递函数;对所述传递函数进行平滑处理,得到目标传递函数;根据所述目标传递函数,对所述第二声音信号进行补偿。

在一个实施例中,所述芯片模组602,具体用于根据所述第二声音信号的目标频点的频点能量,对所述传递函数进行帧间平滑处理;

对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数。

在一个实施例中,所述芯片模组602,具体用于根据所述第二声音信号的目标频点的频点能量确定帧间平滑处理的平滑因子;

根据所述平滑因子对所述传递函数进行帧间平滑处理;

其中,所述语音频点包括第一类语音频点和第二类语音频点;若根据所述目标频点的频点能量确定所述目标频点为第一类语音频点,则确定的平滑因子为第一因子;若根据所述目标频点的频点能量确定所述目标频点为第二类语音频点,则确定的平滑因子为第二因子,所述第一因子大于所述第二因子。

在一个实施例中,所述芯片模组602,具体用于利用滑动窗,对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数。

在一个实施例中,所述芯片模组602,还用于对所述第二声音信号的目标频点的频点能量进行检测;

所述芯片模组602,具体用于若所述目标频点的频点能量大于或等于第一能量阈值,则确定所述目标频点为第一类语音频点;

所述芯片模组602,具体用于若所述目标频点的频点能量小于第一能量阈值且大于或等于第二能量阈值,则确定所述目标频点为第二类语音频点。

在一个实施例中,所述芯片模组602,还用于在所述确定所述第一声音信号和所述第二声音信号之间的传递函数之前,对所述第二声音信号进行语音活动检测以确定所述第二声音信号的当前帧是否为语音帧;

若确定所述第二声音信号的当前帧为语音帧,则执行所述确定所述第一声音信号和所述第二声音信号之间的传递函数。

在一个实施例中,所述芯片模组602,具体用于对所述第二声音信号和所述第一声音信号进行降噪处理;

获取经降噪处理后的第一声音信号与经降噪处理后的第二声音信号在所述当前帧的互功率谱;

获取经降噪处理后的第二声音信号在所述当前帧的自功率谱;

根据所述互功率谱与所述自功率谱,确定所述第一声音信号和所述第二声音信号之间在所述当前帧的传递函数。

在一个实施例中,所述芯片模组602,具体用于根据所述目标传递函数,对所述第二声音信号在当前帧的幅度进行补偿。

本申请实施例中,本申请实施例中不限定输入接口601和芯片模组602之间的具体连接介质。本申请实施例在图6中以输入接口601和芯片模组602之间通过总线603连接,总线在图6中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线603可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。


技术特征:

1.一种声音信号处理方法,其特征在于,所述方法包括:

获取经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号,所述第一传输介质和所述第二传输介质不相同;

确定所述第一声音信号和所述第二声音信号之间的传递函数;

对所述传递函数进行平滑处理,得到目标传递函数;

根据所述目标传递函数,对所述第二声音信号进行补偿。

2.如权利要求1所述的方法,其特征在于,所述对所述传递函数进行平滑处理,得到目标传递函数包括:

根据所述第二声音信号的目标频点的频点能量,对所述传递函数进行帧间平滑处理;

对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数。

3.如权利要求2所述的方法,其特征在于,所述目标频点为语音频点,所述根据所述第二声音信号的目标频点的频点能量,对所述传递函数进行帧间平滑处理包括:

根据所述第二声音信号的目标频点的频点能量确定帧间平滑处理的平滑因子;

根据所述平滑因子对所述传递函数进行帧间平滑处理;

其中,所述语音频点包括第一类语音频点和第二类语音频点;若根据所述目标频点的频点能量确定所述目标频点为第一类语音频点,则确定的平滑因子为第一因子;若根据所述目标频点的频点能量确定所述目标频点为第二类语音频点,则确定的平滑因子为第二因子,所述第一因子大于所述第二因子。

4.如权利要求2所述的方法,其特征在于,所述对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数包括:

利用滑动窗,对经帧间平滑处理后的传递函数进行频点间平滑处理,得到目标传递函数。

5.如权利要求3所述的方法,其特征在于,所述方法还包括:

对所述第二声音信号的目标频点的频点能量进行检测;

所述根据所述目标频点的频点能量确定所述目标频点为第一类语音频点包括:

若所述目标频点的频点能量大于或等于第一能量阈值,则确定所述目标频点为第一类语音频点;

所述根据所述目标频点的频点能量确定所述目标频点为第二类语音频点包括:

若所述目标频点的频点能量小于第一能量阈值且大于或等于第二能量阈值,则确定所述目标频点为第二类语音频点。

6.如权利要求1所述的方法,其特征在于,在所述确定所述第一声音信号和所述第二声音信号之间的传递函数之前,还包括:

对所述第二声音信号进行语音活动检测以确定所述第二声音信号的当前帧是否为语音帧;

若确定所述第二声音信号的当前帧为语音帧,则执行所述确定所述第一声音信号和所述第二声音信号之间的传递函数。

7.如权利要求6所述的方法,其特征在于,所述确定所述第一声音信号和所述第二声音信号之间的传递函数,包括:

对所述第二声音信号和所述第一声音信号进行降噪处理;

获取经降噪处理后的第一声音信号与经降噪处理后的第二声音信号在所述当前帧的互功率谱;

获取经降噪处理后的第二声音信号在所述当前帧的自功率谱;

根据所述互功率谱与所述自功率谱,确定所述第一声音信号和所述第二声音信号之间在所述当前帧的传递函数。

8.如权利要求6或7所述的方法,其特征在于,所述根据所述目标传递函数,对所述第二声音信号进行补偿包括:

根据所述目标传递函数,对所述第二声音信号在当前帧的幅度进行补偿。

9.一种声音信号处理设备,其特征在于,所述声音信号处理设备包括:存储装置和处理器,

所述存储装置,用于存储程序代码;

所述处理器,在调用所述存储代码时,用于执行如权利要求1-8任一项所述的方法。

10.一种声音信号处理装置,其特征在于,所述声音信号处理设备包括:

获取模块,用于获取经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号,所述第一传输介质和所述第二传输介质不相同;

处理模块,用于确定所述第一声音信号和所述第二声音信号之间的传递函数;对所述传递函数进行平滑处理,得到目标传递函数;根据所述目标传递函数,对所述第二声音信号进行补偿。

11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被运行时,执行如权利要求1-8任一项所述的方法。

12.一种芯片,其特征在于,所述芯片,用于确定经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号之间的传递函数,所述第一传输介质和所述第二传输介质不相同;对所述传递函数进行平滑处理,得到目标传递函数;根据所述目标传递函数,对所述第二声音信号进行补偿。

13.一种模组设备,其特征在于,所述模组设备包括输入接口以及芯片模组,其中:

所述输入接口,用于接收经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号,所述第一传输介质和所述第二传输介质不相同;

所述芯片模组,用于确定所述第一声音信号和所述第二声音信号之间的传递函数;对所述传递函数进行平滑处理,得到目标传递函数;根据所述目标传递函数,对所述第二声音信号进行补偿。

技术总结
本申请实施例公开了一种声音信号处理方法、装置、存储介质、芯片及相关设备,所述方法包括:获取经第一传输介质传导的第一声音信号和经第二传输介质传导的第二声音信号,所述第一传输介质和所述第二传输介质不相同;确定所述第一声音信号和所述第二声音信号之间的传递函数;对所述传递函数进行平滑处理,得到目标传递函数;根据所述目标传递函数,对所述第二声音信号进行补偿。采用本发明,能够动态进行声音信号的补偿。

技术研发人员:何陈;叶顺舟;康力;巴莉芳
受保护的技术使用者:紫光展锐(重庆)科技有限公司
技术研发日:2021.04.30
技术公布日:2021.08.03

转载请注明原文地址:https://doc.8miu.com/read-5265.html

最新回复(0)