回声消除方法、装置、电子设备和存储介质与流程

1.本发明涉及信号处理技术领域，尤其涉及一种回声消除方法、装置、电子设备和存储介质。


背景技术：

2.随着信息技术的发展，智能设备在各个领域的应用日益广泛。回声消除作为智能设备交互中不可或缺的环节，一直是相关领域技术人员研究的热点。
3.回声消除针对扬声器与麦克风耦合的情况，通过消除或者移除麦克风拾取的由扬声器输出的远端音频信号，避免远端音频信号被返回至远端。常用的回声消除方法是通过自适应滤波器实现的，即通过算法自适应地更新扬声器与麦克风之间的传递函数。
4.具体在通过算法更新时会利用到回声消除的输出信号。但在实际应用中，回声消除面临双讲、背景噪声和非线性失真等问题，输出信号包含干扰项，进而会严重影响自适应滤波器更新。


技术实现要素：

5.本发明提供一种回声消除方法、装置、电子设备和存储介质，用以解决现有技术中环境干扰影响回声消除的缺陷。
6.本发明提供一种回声消除方法，包括：
7.确定麦克信号和参考信号；
8.基于所述麦克信号和参考信号，预测所述麦克信号中的回声直达信号，并从所述麦克信号中滤除所述回声直达信号，得到非直达残留信号；
9.对所述非直达残留信号进行回声消除，得到回声消除信号。
10.根据本发明提供的一种回声消除方法，所述基于所述麦克信号和参考信号，预测所述麦克信号中的回声直达信号，包括：
11.基于直达预测模型，对所述麦克信号和参考信号进行特征编码，并对特征编码所得的直达特征进行直达预测，得到所述回声直达信号；
12.所述直达预测模型是基于样本麦克信号、样本参考信号和样本回声直达信号训练得到的。
13.根据本发明提供的一种回声消除方法，所述基于直达预测模型，对所述麦克信号和参考信号进行特征编码，并对特征编码所得的直达特征进行直达预测，得到所述回声直达信号，包括：
14.基于所述直达预测模型，对上一时刻的麦克信号和参考信号以及回声消除信号进行特征编码，并结合当前时刻的参考信号对特征编码所得的直达特征进行直达预测，得到所述当前时刻的回声直达信号。
15.根据本发明提供的一种回声消除方法，所述样本麦克信号是基于所述样本参考信号和样本回声信号合成的；
16.所述样本回声信号是基于所述样本回声直达信号仿真得到的。
17.根据本发明提供的一种回声消除方法，所述对特征编码所得的直达特征进行直达预测，包括：
18.预测所述直达特征对应的直达冲激响应，并基于所述直达冲激响应和所述参考信号确定所述回声直达信号。
19.根据本发明提供的一种回声消除方法，所述直达预测模型是联合信号预测模型训练得到的，所述直达预测模型的模型损失函数是基于信号损失函数和冲激响应损失函数确定的；
20.其中，所述信号预测模型用于基于所述直达特征直接预测回声直达信号，所述信号损失函数表征所述信号预测模型直接预测回声直达信号的损失，所述冲激响应损失函数表征所述信号预测模型预测直达冲激响应的损失。
21.根据本发明提供的一种回声消除方法，所述对所述非直达残留信号进行回声消除，得到回声消除信号，包括：
22.将所述参考信号和所述非直达残留信号输入自适应滤波器中进行回声消除，得到回声消除信号。
23.本发明还提供一种回声消除装置，包括：
24.信号确定单元，用于确定麦克信号和参考信号；
25.直达滤除单元，用于基于所述麦克信号和参考信号，预测所述麦克信号中的回声直达信号，并从所述麦克信号中滤除所述回声直达信号，得到非直达残留信号；
26.回声消除单元，用于对所述非直达残留信号进行回声消除，得到回声消除信号。
27.本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述回声消除方法的步骤。
28.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述回声消除方法的步骤。
29.本发明提供的回声消除方法、装置、电子设备和存储介质，首先滤除了麦克信号中的回声直达信号，并将不包含回声直达信号的非直达残留信号作进一步回声消除操作，通过回声直达信号的预测和滤除，使得后续进入回声消除操作的信号中不包含回声信号的直达成分，有助于自适应滤波器的快速更新收敛，能够快速应用环境变化。
附图说明
30.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1是本发明提供的回声消除方法的流程示意图之一；
32.图2是本发明提供的直达预测模型训练示意图；
33.图3是本发明提供的回声消除方法的流程示意图之二；
34.图4是本发明提供的回声消除装置的结构示意图；
35.图5是本发明提供的电子设备的结构示意图。
具体实施方式
36.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.基于自适应滤波器的回声消除方法，在实际应用过程中，可能会面临双讲、背景噪声和非线性失真等问题，由此导致输出信号包含干扰项，严重影响自适应滤波器更新。
38.其中，双讲(double talk)指的是麦克风接收到除扬声器的信号外，还接收到其他说话人的声音，即两端说话人同时说话，近端语音信号将严重影响自适应算法的收敛，可能导致滤波器发散。此外，在麦克风处接收的信号不仅包含回声和近端语音信号，还包含背景噪声，也会影响自适应滤波器系数的更新。
39.针对上述问题，目前采用的解决方式是将回声路径建模为线性系统，对回声的线性部分进行估计。但由于功放和扬声器等组件存在非线性工作区，残留回声中若存在大量的非线性成分，也会影响自适应滤波器的收敛。
40.对此，本发明实施例提供一种回声消除方法，图1是本发明提供的回声消除方法的流程示意图之一，如图1所示，该方法包括：
41.步骤110，确定麦克信号和参考信号。
42.此处，麦克信号是通过麦克风拾取的音频信号，参考信号是需要通过回声消除进行消除的源信号，同样为音频信号。以手机免提通话为例，麦克信号为手机麦克风拾取的音频信号，参考信号为手机扬声器输出的音频信号。
43.步骤120，基于麦克信号和参考信号，预测麦克信号中的回声直达信号，并从麦克信号中滤除回声直达信号，得到非直达残留信号。
44.具体地，回声直达信号是指扬声器麦克风系统产生的回声信号中的直达部分。考虑到直达部分在回声信号中较为稳定，且需要较少采样点延时，直接预测难度小、可实现性强，本发明实施例中优先对麦克信号中的回声直达信号进行预测。
45.进一步地，在对回声直达信号进行预测时，可以通过已经确定的麦克信号和参考信号实现，例如可以通过数理统计的方式预先获取各种麦克信号和参考信号的组合与回声直达信号之间的映射关系，从而可以直接应用映射关系确定麦克信号中的回声直达信号，又例如可以将预先收集的麦克信号、参考信号及其对应回声直达信号的组合作为样本，训练直达预测模型，通过将麦克信号和参考信号输入到预先训练的直达预测模型中，应用直达预测模型直接预测麦克信号中的回声直达信号，或者应用直达预测模型预测直达冲激响应，再通过直达冲激响应获取麦克信号中的回声直达信号，本发明实施例对此不作具体限定。
46.在得到回声直达信号后，即可从麦克信号中减去回声直达信号，剩余的麦克信号可作为非直达残留信号，执行后续步骤。此处，非直达残留信号即减去回声直达信号的麦克信号，此时的麦克信号中依然残留有非直达部分的回声信号。
47.步骤130，对非直达残留信号进行回声消除，得到回声消除信号。
48.具体地，在得到去除回声直达信号后的非直达残留信号后，即可对非直达残留信号作进一步的回声消除，例如可以通过自适应滤波器滤除非直达残留信号中的非直达部分的回声信号，从而得到回声消除信号，即消除回声信号的麦克信号。
49.本发明实施例提供的方法，首先滤除了麦克信号中的回声直达信号，并将不包含回声直达信号的非直达残留信号作进一步回声消除操作，通过回声直达信号的预测和滤除，使得后续进入回声消除操作的信号中不包含回声信号的直达成分，有助于自适应滤波器的快速更新收敛，能够快速应用环境变化。
50.基于上述实施例，步骤120中，所述基于麦克信号和参考信号，预测麦克信号中的回声直达信号，包括：
51.基于直达预测模型，对麦克信号和参考信号进行特征编码，并对特征编码所得的直达特征进行直达预测，得到回声直达信号；
52.直达预测模型是基于样本麦克信号、样本参考信号和样本回声直达信号训练得到的。
53.具体地，回声直达信号的预测可以通过预先训练所得的直达预测模型实现，此处的直达预测模型用于根据输入的麦克信号和参考信号，预测麦克信号中包含的回声信号的直达成分。
54.在应用过程中，仅需将麦克信号和参考信号输入到直达预测模型中，便可由直达预测模型针对输入的麦克信号和参考信号进行特征编码，并针对编码所得的直达特征进行直达预测，从而得到直达回声信号并输出。在此过程中，特征编码可以通过直达预测模型中用于实现音频信号编码的神经网络结构实现，例如长短时记忆网络(long short
‑
term memory，lstm)、循环神经网络(recurrent neural network,rnn)等。
55.进一步地，直达预测模型可以是预先训练得到的，直达预测模型的训练具体可以通过如下步骤实现：首先，收集大量样本麦克信号、样本参考信号和样本回声直达信号的组合，接着基于各组合对初始模型进行训练，从而得到具备回声直达信号预测能力的直达预测模型。此处，为了保证直达预测模型的泛化能力，用于模型训练的各样本麦克信号具有不同的信回比。再者，此处用于模型训练的初始模型可以是长短时记忆网络、循环神经网络等，本发明实施例对此不作具体限定。
56.本发明实施例提供的方法，通过预训练所得的直达预测模型实现了回声直达信号的预测，能够保证回声直达信号的预测效率和可靠性，从而保证后续回声消除的可靠性。
57.基于上述任一实施例，步骤120中，所述基于直达预测模型，对麦克信号和参考信号进行特征编码，并对特征编码所得的直达特征进行直达预测，得到回声直达信号，包括：
58.基于所述直达预测模型，对上一时刻的麦克信号和参考信号以及回声消除信号进行特征编码，并对特征编码所得的直达特征进行直达预测，得到当前时刻的回声直达信号。
59.具体地，回声消除本身是一个自适应更新的过程，单纯应用离线模型，即输入仅包含麦克信号和参考信号的直达预测模型所能达到的精度有限。因此，本发明实施例在离线模型基础上，将上一时刻的回声消除信号一并作为进行直达预测时直达预测模型的输入，从而将离线模型转换为输入实时更新的在线模型，从而进一步保证直达预测的准确性，且进一步贴合实际应用场景。
60.此处，直达预测模型的输入包括上一时刻t
‑
1的麦克信号、参考信号和回声消除信
号，此外还可以包括当前时刻t的参考信号，或者还包含当前时刻t的参考信号和麦克信号。直达预测模型可以基于上一时刻t
‑
1的麦克信号、参考信号和回声消除信号进行t
‑
1的特征编码。而考虑到直达成分较为稳定，相邻时刻的变化可以忽略不计，可以基于t
‑
1时刻的直达特征进行直达预测，从而得到当前时刻t的回声直达信号。例如，可以直接基于t
‑
1时刻的直达特征预测当前时刻t的回声直达信号，也可以基于t
‑
1时刻的直达特征预测当前时刻t的直达冲激响应，并结合当前时刻t的参考信号预测当前时刻t的回声直达信号。
61.在得到当前时刻t的回声直达信号后，可以从当前时刻t的麦克信号中滤除回声直达信号，得到当前时刻t的非直达残留信号，并通过aec(acoustic echo cancellation，回声消除)算法对当前时刻t的非直达残留信号进行回声消除，得到当前时刻t的回声消除信号，用于下一时刻t 1的回声直达预测。
62.例如，针对于直达预测模型，可以结合同一时刻t
‑
1的麦克信号、参考信号和回声消除信号进行特征编码。并对特征编码所得的直达特征进行直达预测，得到t
‑
1的直达冲激响应
63.并由此计算得到下一时刻t的回声直达信号
[0064][0065]
式中，ref(t)即t时刻的参考信号。
[0066]
进一步地，还可以在此基础上计算得到下一时刻t的非直达残留信号echo
r
(t)：
[0067][0068]
基于上述任一实施例，样本麦克信号是基于样本参考信号和样本回声信号合成的；样本回声信号是基于样本回声直达信号仿真得到的。
[0069]
具体地，为了降低有监督的模型训练样本的标注工作量，确保标签的可靠性和准确性，训练直达预测模型的所需的样本可以通过仿真制作得到，具体获取方式可以是：
[0070]
首先，基于预先设定好的样本回声直达信号进行回声仿真，将仿真所得的回声信号作为样本回声信号。
[0071]
接着，将样本回声信号与各种预先采集的近端信号进行混合，从而得到不同信回比的音频信号作为样本麦克信号，并将混合时应用的近端信号作为其对应的样本参考信号。
[0072]
基于上述任一实施例，步骤120中，基于直达预测模型进行特征编码，是通过直达预测模型内部设置的用于实现音频信号编码的神经网络结构实现的。
[0073]
此处，用于编码的神经网络结果可以是多层lstm模型，lstm模型本身具有较强的记忆能力，能够抓住时不变的信息，能加容易捕捉麦克信号中稳定不变的回声直达成分。此外，考虑到算法复杂度和实际效果的权衡，在设置lstm模型层数时，可以优选三层lstm模型。
[0074]
基于上述任一实施例，步骤120中，所述对特征编码所得的直达特征进行直达预测，包括：
[0075]
预测直达特征对应的直达冲激响应，并基于直达冲激响应和参考信号确定回声直达信号。
[0076]
具体地，在应用直达特征进行直达预测的过程中，可以直接基于直达特征进行回声直达信号的预测，也可以基于直达特征预测直达冲激响应，再基于直达冲激响应进行回声直达信号的预测。考虑到实际应用阶段，直接基于直达特征进行回声直达信号预测所得的时域信号，可能会由于直接预测时域信号存在的误差导致语音失真，为了避免这一情况，在直达预测模型的应用过程中，基于直达特征预测直达冲激响应，再基于直达冲激响应进行回声直达信号的预测。
[0077]
进一步地，此处所指的直达冲激响应，即直达滤波器的系数。假设预测所得的直达冲激响应h
d
＝h(1:d)，则由此得到的回声直达信号echo
d
为：
[0078]
echo
d
＝h
d
*ref
[0079]
式中，ref即参考信号，*表示卷积操作。
[0080]
本发明实施例提供的方法，先预测直达冲激响应，后预测时域信号，避免了直接预测时域信号导致的语音失真问题，有助于提高回声消除的可靠性和准确性。
[0081]
基于上述任一实施例，直达预测模型是联合信号预测模型训练得到的，直达预测模型的模型损失函数是基于信号损失函数和冲激响应损失函数确定的；
[0082]
其中，信号预测模型用于基于直达特征直接预测回声直达信号，信号损失函数表征信号预测模型直接预测回声直达信号的损失，冲激响应损失函数表征信号预测模型预测直达冲激响应的损失。
[0083]
具体地，针对基于直达特征进行直达预测的两种不同方式，即直接预测和通过直达冲激响应预测，对应在直达预测模型训练阶段，为了进一步提高直达预测模型进行直达特征提取和编码和可靠性和准确性，可以采用多目标的训练方式，即在直达预测模型的直达特征编码之后设置两条分支，一条用于直接预测回声直达信号，另一条用于先获取直达冲激响应，再基于直达冲激响应预测回声直达信号，两条分支共用直达特征编码部分，可以分别计算两条分支的损失函数，再整合得到直达预测模型整体的损失函数。
[0084]
考虑到两条分支中后续实际应用的仅是先获取直达冲激响应，再基于直达冲激响应预测回声直达信号的分支，可以将直达特征的编码部分，以及先获取直达冲激响应，再基于直达冲激响应预测回声直达信号的分支视为直达预测模型，将直接预测回声直达信号的分支视为信号预测模型。例如，图2是本发明提供的直达预测模型训练示意图，如图2所示，直达特征编码的输出划分了两条分支，其中通过点划线框出的是仅在模型训练阶段应用的信号预测模型，通过虚线框出的是既在模型训练阶段应用也在模型预测阶段因应用的直达预测模型。
[0085]
进一步地，冲激响应损失函数用于表征信号预测模型预测直达冲激响应的损失，具体表示为信号预测模型预测所得的直达冲激响应与样本回声直达信号对应的直达冲激响应之间的差距。
[0086]
信号损失函数用于表征信号预测模型直接预测回声直达信号的损失，具体表示为信号预测模型直接预测所得的回声直达信号与样本回声直达信号之间的差距。
[0087]
直达预测模型的模型损失函数融合了上述两者，例如可以直接将冲激响应损失函数与信号损失函数相加，或者对此两者进行加权，再或者对此两者求平均等，本发明实施例对此不作具体限定。
[0088]
本发明实施例提供的方法，通过多目标的训练方式，保证了直达预测模型的预测
精度，有助于提高回声消除的精确性。
[0089]
基于上述任一实施例，冲激响应损失函数和信号损失函数均可以通过mse(mean square error，均方误差)表示，具体公式可以是：
[0090][0091][0092]
其中，冲激响应损失函数loss1中，为通过信号预测模型预测所得的直达冲激响应，h
d
为样本回声直达信号对应的直达冲激响应；
[0093]
信号损失函数loss2中，为通过信号预测模型直接预测所得的回声直达信号，echo
d
为样本回声直达信号。
[0094]
在此基础上是，可以综合冲激响应损失函数和信号损失函数，得到直达预测模型的模型损失loss如下式所示：
[0095]
loss＝αloss1 βloss2
[0096]
其中，α和β为控制冲激响应损失函数和信号损失函数的权重，α和β为固定值。
[0097]
基于上述任一实施例，步骤130包括：
[0098]
将参考信号和非直达残留信号输入自适应滤波器中进行回声消除，得到回声消除信号。
[0099]
具体地，在针对非直达残留信号进行回声消除时，可以将非直达残留信号作为输入信号，结合参考信号，对自适应滤波器的滤波系数进行动态调整，并基于动态调整所得的自适应滤波器进行回声消除，从而得到回声消除信号。相较于传统的回声消除方案，本发明实施例中仅将直接采集所得的麦克信号替换为滤除回声信号直达成分的非直达残留信号，具体基于自适应滤波器进行回声消除的方式可参考aec、aecm和aec3等算法实现，此处不再赘述。
[0100]
基于上述任一实施例，图3是本发明提供的回声消除方法的流程示意图之二，如图3所示，该方法通过在线学习的直达预测模型model实现回声直达信号预测，并在此基础上结合回声消除算法aec实现回声消除。
[0101]
针对任一时刻t，可以将t
‑
1时刻的麦克信号、参考信号和回声消除信号一并作为t时刻的直达预测模型model的输入，从而得到t时刻的model输出，即model(t)。此处的model(t)可以是预测所得的t时刻的直达冲激响应h
d
，也可以是预测所得的t时刻的回声直达信号。
[0102]
t时刻的模型输出结果可以传输到aec算法运行环节，用于确定t时刻剔除回声直达信号后的非直达残留信号，并在此基础上，进一步地通过aec算法对t时刻的非直达残留信号进行回声消除，从而得到t时刻回声消除信号aec(t)，此时t时刻的回声消除完成。此处，t时刻的aec算法可以是根据t
‑
1时刻回声消除信号aec(t
‑
1)自适应更新得到的。
[0103]
而在此之后，t时刻回声消除信号aec(t)，一方面应用于t 1时刻的直达预测模型输入，另一方面应用于t 1时刻的aec算法的自适应更新。
[0104]
本发明实施例提供的方法，针对扬声器麦克风系统实际上存在较为稳定的直达成
分的情况，提出了通过模型对于直达成分进行估计，确保误差的其余成分不含有直达成分，其余成分通过自适应滤波器更新的回声消除方法，能够快速应对环境变化。
[0105]
下面对本发明提供的回声消除装置进行描述，下文描述的回声消除装置与上文描述的回声消除方法可相互对应参照。
[0106]
图4是本发明提供的回声消除装置的结构示意图，如图4所示，该装置包括：
[0107]
信号确定单元410，用于确定麦克信号和参考信号；
[0108]
直达滤除单元420，用于基于所述麦克信号和参考信号，预测所述麦克信号中的回声直达信号，并从所述麦克信号中滤除所述回声直达信号，得到非直达残留信号；
[0109]
回声消除单元430，用于对所述非直达残留信号进行回声消除，得到回声消除信号。
[0110]
本发明实施例提供的装置，首先滤除了麦克信号中的回声直达信号，并将不包含回声直达信号的非直达残留信号作进一步回声消除操作，通过回声直达信号的预测和滤除，使得后续进入回声消除操作的信号中不包含回声信号的直达成分，有助于自适应滤波器的快速更新收敛，能够快速应用环境变化。
[0111]
基于上述任一实施例，直达滤除单元420包括直达预测子单元，用于：
[0112]
基于直达预测模型，对所述麦克信号和参考信号进行特征编码，并对特征编码所得的直达特征进行直达预测，得到所述回声直达信号；
[0113]
所述直达预测模型是基于样本麦克信号、样本参考信号和样本回声直达信号训练得到的。
[0114]
基于上述任一实施例，直达预测子单元用于：
[0115]
基于所述直达预测模型，对上一时刻的麦克信号和参考信号以及回声消除信号进行特征编码，并对特征编码所得的直达特征进行直达预测，得到所述当前时刻的回声直达信号。
[0116]
基于上述任一实施例，所述样本麦克信号是基于所述样本参考信号和样本回声信号合成的；
[0117]
所述样本回声信号是基于所述样本回声直达信号仿真得到的。
[0118]
基于上述任一实施例，直达预测子单元用于：
[0119]
预测所述直达特征对应的直达冲激响应，并基于所述直达冲激响应和所述参考信号确定所述回声直达信号。
[0120]
基于上述任一实施例，所述直达预测模型是联合信号预测模型训练得到的，所述直达预测模型的模型损失函数是基于信号损失函数和冲激响应损失函数确定的；
[0121]
其中，所述信号预测模型用于基于所述直达特征直接预测回声直达信号，所述信号损失函数表征所述信号预测模型直接预测回声直达信号的损失，所述冲激响应损失函数表征所述信号预测模型预测直达冲激响应的损失。
[0122]
基于上述任一实施例，回声消除单元430用于：
[0123]
将所述参考信号和所述非直达残留信号输入自适应滤波器中进行回声消除，得到回声消除信号。
[0124]
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和
通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行回声消除方法，该方法包括：确定麦克信号和参考信号；基于所述麦克信号和参考信号，预测所述麦克信号中的回声直达信号，并从所述麦克信号中滤除所述回声直达信号，得到非直达残留信号；对所述非直达残留信号进行回声消除，得到回声消除信号。
[0125]
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0126]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的回声消除方法，该方法包括：确定麦克信号和参考信号；基于所述麦克信号和参考信号，预测所述麦克信号中的回声直达信号，并从所述麦克信号中滤除所述回声直达信号，得到非直达残留信号；对所述非直达残留信号进行回声消除，得到回声消除信号。
[0127]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的回声消除方法，该方法包括：确定麦克信号和参考信号；基于所述麦克信号和参考信号，预测所述麦克信号中的回声直达信号，并从所述麦克信号中滤除所述回声直达信号，得到非直达残留信号；对所述非直达残留信号进行回声消除，得到回声消除信号。
[0128]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0129]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0130]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和
范围。

技术特征：
1.一种回声消除方法，其特征在于，包括：确定麦克信号和参考信号；基于所述麦克信号和参考信号，预测所述麦克信号中的回声直达信号，并从所述麦克信号中滤除所述回声直达信号，得到非直达残留信号；对所述非直达残留信号进行回声消除，得到回声消除信号。2.根据权利要求1所述的回声消除方法，其特征在于，所述基于所述麦克信号和参考信号，预测所述麦克信号中的回声直达信号，包括：基于直达预测模型，对所述麦克信号和参考信号进行特征编码，并对特征编码所得的直达特征进行直达预测，得到所述回声直达信号；所述直达预测模型是基于样本麦克信号、样本参考信号和样本回声直达信号训练得到的。3.根据权利要求2所述的回声消除方法，其特征在于，所述基于直达预测模型，对所述麦克信号和参考信号进行特征编码，并对特征编码所得的直达特征进行直达预测，得到所述回声直达信号，包括：基于所述直达预测模型，对上一时刻的麦克信号和参考信号以及回声消除信号进行特征编码，并对特征编码所得的直达特征进行直达预测，得到所述当前时刻的回声直达信号。4.根据权利要求2所述的回声消除方法，其特征在于，所述样本麦克信号是基于所述样本参考信号和样本回声信号合成的；所述样本回声信号是基于所述样本回声直达信号仿真得到的。5.根据权利要求2至4中任一项所述的回声消除方法，其特征在于，所述对特征编码所得的直达特征进行直达预测，包括：预测所述直达特征对应的直达冲激响应，并基于所述直达冲激响应和所述参考信号确定所述回声直达信号。6.根据权利要求5所述的回声消除方法，其特征在于，所述直达预测模型是联合信号预测模型训练得到的，所述直达预测模型的模型损失函数是基于信号损失函数和冲激响应损失函数确定的；其中，所述信号预测模型用于基于所述直达特征直接预测回声直达信号，所述信号损失函数表征所述信号预测模型直接预测回声直达信号的损失，所述冲激响应损失函数表征所述信号预测模型预测直达冲激响应的损失。7.根据权利要求1至4中任一项所述的回声消除方法，其特征在于，所述对所述非直达残留信号进行回声消除，得到回声消除信号，包括：将所述参考信号和所述非直达残留信号输入自适应滤波器中进行回声消除，得到回声消除信号。8.一种回声消除装置，其特征在于，包括：信号确定单元，用于确定麦克信号和参考信号；直达滤除单元，用于基于所述麦克信号和参考信号，预测所述麦克信号中的回声直达信号，并从所述麦克信号中滤除所述回声直达信号，得到非直达残留信号；回声消除单元，用于对所述非直达残留信号进行回声消除，得到回声消除信号。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运
行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述回声消除方法的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述回声消除方法的步骤。
技术总结
本发明提供一种回声消除方法、装置、电子设备和存储介质，其中方法包括：确定麦克信号和参考信号；基于所述麦克信号和参考信号，预测所述麦克信号中的回声直达信号，并从所述麦克信号中滤除所述回声直达信号，得到非直达残留信号；对所述非直达残留信号进行回声消除，得到回声消除信号。本发明提供的方法、装置、电子设备和存储介质，首先滤除了麦克信号中的回声直达信号，并将不包含回声直达信号的非直达残留信号作进一步回声消除操作，通过回声直达信号的预测和滤除，使得后续进入回声消除操作的信号中不包含回声信号的直达成分，有助于自适应滤波器的快速更新收敛，能够快速应用环境变化。变化。变化。


技术研发人员：李明子 马峰
受保护的技术使用者：科大讯飞股份有限公司
技术研发日：2021.03.25
技术公布日：2021/6/29