本申请涉及数字音频处理,尤其涉及一种音频分离方法、装置、设备、系统、车辆及存储介质。
背景技术:
1、随着智能语音技术的快速普及,从录取的含噪音频信号中提取目标声源音频信号的音频分离显得尤为重要,其中,盲源分离是实现音频分离的重要技术之一。
2、但是,目前的盲源分离方案效果不佳,分离至不同音频通道的音频存在严重的混叠现象。
技术实现思路
1、基于上述技术现状,本申请提出一种音频分离方法、装置、设备、系统、车辆及存储介质,能够提升对音频信号的分离效果。
2、为了实现上述技术目的,本申请具体提出如下技术方案:
3、第一方面,本申请提出一种音频分离方法,包括:
4、获取麦克风阵列采集的目标声源音频信号被分离至所述麦克风阵列的第一音频通道的第一约束度,以及被分离至所述麦克风阵列的第二音频通道的第二约束度;
5、基于所述第一约束度和/或所述第二约束度确定所述目标声源音频信号被分离至所述第一音频通道的分离效果是否满足预设条件;
6、在所述目标声源音频信号被分离至所述第一音频通道的分离效果不满足预设条件的情况下,根据所述目标声源相对于所述麦克风阵列的方向信息,生成对应第二音频通道的信号分离约束信息,所述信号分离约束信息用于限制所述麦克风阵列采集的目标声源音频信号被分离至所述第二音频通道;
7、基于所述信号分离约束信息,对所述麦克风阵列采集的音频信号进行信号分离处理。
8、第二方面,本申请提出一种音频分离装置,包括:
9、数据获取单元,用于获取麦克风阵列采集的目标声源音频信号被分离至所述麦克风阵列的第一音频通道的第一约束度,以及被分离至所述麦克风阵列的第二音频通道的第二约束度;
10、判断单元,用于基于所述第一约束度和/或所述第二约束度确定所述目标声源音频信号被分离至所述第一音频通道的分离效果是否满足预设条件;
11、信息生成单元,用于在所述目标声源音频信号被分离至所述第一音频通道的分离效果不满足预设条件的情况下,根据所述目标声源相对于所述麦克风阵列的方向信息,生成对应第二音频通道的信号分离约束信息,所述信号分离约束信息用于限制所述麦克风阵列采集的目标声源音频信号被分离至所述第二音频通道;
12、信号分离单元,用于基于所述信号分离约束信息,对所述麦克风阵列采集的音频信号进行信号分离处理。
13、第三方面,本申请提出一种音频处理系统,包括:
14、麦克风阵列,以及与所述麦克风阵列连接的处理器;
15、其中,所述麦克风阵列用于采集音频信号;
16、所述处理器被配置为通过执行上述的音频分离方法,实现对所述麦克风阵列采集的音频信号的分离。
17、第四方面,本申请提出一种电子设备,包括:
18、存储器和处理器;
19、所述存储器与所述处理器连接,用于存储程序;
20、所述处理器,用于通过运行所述存储器中的程序,实现上述的音频分离方法。
21、第五方面,本申请提出一种车辆,包括音频信号处理模块,所述音频信号处理模块用于执行上述的音频分离方法。
22、第六方面,本申请提出一种存储介质,所述存储介质上存储有计算机程序或指令,所述计算机程序或指令被处理器运行时,实现上述的音频分离方法。
23、本申请提出的音频分离方法,能够在麦克风阵列采集的目标声源音频信号被分离至第一音频通道的分离效果不满足预设条件的情况下,基于目标声源相对于麦克风阵列的方向信息,生成对应第二音频通道的信号分离约束信息,并且基于该信号分离约束信息,对麦克风阵列采集的包含目标声源信号的音频信号进行信号分离处理。
24、上述处理过程能够基于目标声源相对于麦克风阵列的方向信息,生成对应第二音频通道的信号分离约束信息,利用该约束信息,能够限制将目标声源音频信号分离至第二音频通道。将上述方案应用于多源音频信号分离,能够更加准确地将特定方向的声源音频信号分离至特定音频通道,从而能够实现更加清晰、更加纯净的音频信号分离。
25、另外,上述处理过程实现了实时监测麦克风阵列采集的目标声源音频信号被分离至麦克风阵列的第一音频通道的分离效果,并且能够基于该分离效果,动态地为第二音频通道添加信号分离约束,也就是能够随音频信号在不同频点的分离效果动态地实施信号分离约束,因此能够避免由于添加信号分离约束降低原本分离效果较好的信号频点的信号分离性能,进一步保障了音频信号分离的整体分离效果。
1.一种音频分离方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述获取麦克风阵列采集的目标声源音频信号被分离至所述麦克风阵列的第一音频通道的第一约束度,以及被分离至所述麦克风阵列的第二音频通道的第二约束度,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于目标声源相对于麦克风阵列的方向信息,以及对所述麦克风阵列采集的音频信号进行音频分离的音频分离矩阵,确定第一约束度和第二约束度,包括:
4.根据权利要求3所述的方法,其特征在于,基于目标声源相对于麦克风阵列的方向信息,以及所述第一信号分离子矩阵和所述第二信号分离子矩阵,确定第一约束度和第二约束度,包括:
5.根据权利要求1所述的方法,其特征在于,基于所述目标声源相对于所述麦克风阵列的方向信息,生成对应第二音频通道的信号分离约束信息,包括:
6.根据权利要求5所述的方法,其特征在于,对应第二音频通道的信号分离约束权重,为预设的信号分离约束权重,或者为实时信号分离约束权重;
7.根据权利要求6所述的方法,其特征在于,对应第二音频通道的信号分离约束权重,为所述预设的信号分离约束权重,以及所述实时信号分离约束权重中的较小的一项。
8.根据权利要求5所述的方法,其特征在于,所述基于所述目标声源相对于所述麦克风阵列的方向信息,以及对应第二音频通道的信号分离约束权重,得到对应所述第二音频通道的信号分离约束信息,包括:
9.根据权利要求1至8中任意一项所述的方法,其特征在于,基于所述信号分离约束信息,对所述麦克风阵列采集的音频信号进行信号分离处理,包括:
10.根据权利要求9所述的方法,其特征在于,利用更新后的音频分离矩阵,对所述麦克风阵列采集的音频信号进行信号分离处理,包括:
11.根据权利要求1至8中任意一项所述的方法,其特征在于,所述麦克风阵列的第二音频通道包括除所述麦克风阵列的第一音频通道外的任意一个或多个音频通道。
12.一种音频分离装置,其特征在于,包括:
13.一种音频处理系统,其特征在于,包括:
14.一种电子设备,其特征在于,包括:
15.一种车辆,其特征在于,包括音频信号处理模块,所述音频信号处理模块用于执行如权利要求1至11中任意一项所述的音频分离方法。
16.一种存储介质,其特征在于,所述存储介质上存储有计算机程序或指令,所述计算机程序或指令被处理器运行时,实现如权利要求1至11中任意一项所述的音频分离方法。
