本发明涉及数据处理，具体涉及一种基于大模型及工牌设备的用户画像分析方法及装置。
背景技术：
1、目前，很多业务场景下需要进行录音处理以便进行后续的业务分析，从而提升销售服务质量、转化率、用户满意度和企业竞争力，实现精细化经营提升企业综合能力。
2、传统技术中，用户画像分析需要大量的人工处理和标注，无法对整段录音进行说话人角色的准确分离及确定录音来源的角色信息，这可能会影响到后续asr和大模型分析的准确度和用户画像的构建。并且针对用户的需求，根据录音内容用传统的nlu技术无法准确分析用户的画像，影响后续的有效性分析。如何能够快速从大量的对话文本数据中提取特征并分析用户画像，具有现实的应用意义。
技术实现思路
1、为此，本发明提供一种基于大模型及工牌设备的用户画像分析方法及装置，解决传统技术无法快速从大量的对话文本数据中提取特征，无法准确分析用户的画像，影响后续的有效性分析问题。
2、为了实现上述目的，本发明提供如下技术方案：基于大模型及工牌设备的用户画像分析方法，包括：
3、通过集成有拾音麦克风的工牌设备获取用户声音，并通过所述工牌设备利用离线分离算法对获取的用户声音进行角色分离，得到员工角色音频和顾客角色音频；
4、将得到的员工角色音频和顾客角色音频通过asr语音识别算法进行转写，得到带有时间戳信息的员工角色音频文字和顾客角色音频文字；
5、对得到的员工角色音频文字、顾客角色音频文字按照时间戳信息和角色信息进行排列组合，得到一问一答的角色对话结果；
6、根据预设的用户类型和画像指标，结合prompt信息调用语言大模型利用得到的一问一答的角色对话结果进行用户画像分析，得到语言大模型的用户画像分析结果，用户画像分析结果包括用户画像指标信息id和用户对话id。
7、作为基于大模型及工牌设备的用户画像分析方法优选方案，所述工牌设备集成的拾音麦克风阵列利用波束形成聚焦于指定方向的声音信号，形成聚焦于指定方向的声音信号的公式为：
8、
9、式中，y(f,θ)表示在频率f和角度θ下的波束形成输出；xm(f)为m个拾音麦克风在频率f下的信号；dm(θ)为声源相对于第m个拾音麦克风的延迟距离；c为声速。
10、作为基于大模型及工牌设备的用户画像分析方法优选方案，利用离线分离算法对获取的用户声音进行角色分离过程中，计算声音信号在拾音克风阵列之间的到达时间差异：
11、
12、式中，τm,n为第m个拾音麦克风和第n个拾音麦克风之间的到达时间差异；dm,n(θ)为相对应声源方向的声源在第m个拾音麦克风和第n个拾音麦克风之间的距离差；
13、利用离线分离算法对获取的用户声音进行角色分离过程中，选择性地提取指定角色的声音，并将指定角色的声音和背景噪音分离：
14、starget(t,f)＝m(t,f)·x(t,f)
15、式中，starget(t,f)为目标声音源分离后的信号，m(t,f)为时频掩膜；x(t,f)为声音信号的时频表示。
16、作为基于大模型及工牌设备的用户画像分析方法优选方案，利用离线分离算法对获取的用户声音进行角色分离过程中，对背景噪音进行降噪处理：
17、xdenoised(f)＝h(f)·x(f)
18、式中，xdenoised(f)为降噪后的频域信号；h(f)为降噪滤波器的频率响应函数；x(f)为原始信号的频域表示。
19、作为基于大模型及工牌设备的用户画像分析方法优选方案，将得到员工角色音频和顾客角色音频，按照员工、时间、客户维度进行存储和保存；并根据员工、时间、客户维度对员工角色音频和顾客角色音频进行溯源。
20、作为基于大模型及工牌设备的用户画像分析方法优选方案，将得到的员工角色音频和顾客角色音频通过asr语音识别算法进行转写过程中，对转写结果进行热词纠正、对话文字获取和异常录音处理。
21、作为基于大模型及工牌设备的用户画像分析方法优选方案，将用户画像分析结果与角色对话结果、员工角色音频、顾客角色音频进行关联和整合，生成报表和图表。
22、本发明还提供一种基于大模型及工牌设备的用户画像分析装置，包括：
23、角色分离处理模块，用于通过集成有拾音麦克风的工牌设备获取用户声音，并通过所述工牌设备利用离线分离算法对获取的用户声音进行角色分离，得到员工角色音频和顾客角色音频；
24、asr处理模块，用于将得到的员工角色音频和顾客角色音频通过asr语音识别算法进行转写，得到带有时间戳信息的员工角色音频文字和顾客角色音频文字；
25、对话结果生成模块，用于对得到的员工角色音频文字、顾客角色音频文字按照时间戳信息和角色信息进行排列组合，得到一问一答的角色对话结果；
26、用户画像分析模块，用于根据预设的用户类型和画像指标，结合prompt信息调用语言大模型利用得到的一问一答的角色对话结果进行用户画像分析，得到语言大模型的用户画像分析结果，用户画像分析结果包括用户画像指标信息id和用户对话id。
27、作为基于大模型及工牌设备的用户画像分析装置优选方案，所述角色分离处理模块中，所述工牌设备集成的拾音麦克风阵列利用波束形成聚焦于指定方向的声音信号，形成聚焦于指定方向的声音信号的公式为：
28、
29、式中，y(f,θ)表示在频率f和角度θ下的波束形成输出；xm(f)为m个拾音麦克风在频率f下的信号；dm(θ)为声源相对于第m个拾音麦克风的延迟距离；c为声速；
30、所述角色分离处理模块中，计算声音信号在拾音克风阵列之间的到达时间差异：
31、
32、式中，τm,n为第m个拾音麦克风和第n个拾音麦克风之间的到达时间差异；dm,n(θ)为相对应声源方向的声源在第m个拾音麦克风和第n个拾音麦克风之间的距离差；
33、所述角色分离处理模块中，选择性地提取指定角色的声音，并将指定角色的声音和背景噪音分离：
34、starget(t,f)＝m(t,f)·x(t,f)
35、式中，starget(t,f)为目标声音源分离后的信号，m(t,f)为时频掩膜；x(t,f)为声音信号的时频表示；
36、所述角色分离处理模块中，对背景噪音进行降噪处理：
37、xdenoised(f)＝h(f)·x(f)
38、式中，xdenoised(f)为降噪后的频域信号；h(f)为降噪滤波器的频率响应函数；x(f)为原始信号的频域表示。
39、作为基于大模型及工牌设备的用户画像分析装置优选方案，所述角色分离处理模块中，将得到员工角色音频和顾客角色音频，按照员工、时间、客户维度进行存储和保存；并根据员工、时间、客户维度对员工角色音频和顾客角色音频进行溯源；
40、所述asr处理模块中，对转写结果进行热词纠正、对话文字获取和异常录音处理；
41、还包括统计分析模块，用于将用户画像分析结果与角色对话结果、员工角色音频、顾客角色音频进行关联和整合，生成报表和图表。
42、本发明具有如下优点：通过集成有拾音麦克风的工牌设备获取用户声音，并通过所述工牌设备利用离线分离算法对获取的用户声音进行角色分离，得到员工角色音频和顾客角色音频；将得到的员工角色音频和顾客角色音频通过asr语音识别算法进行转写，得到带有时间戳信息的员工角色音频文字和顾客角色音频文字；对得到的员工角色音频文字、顾客角色音频文字按照时间戳信息和角色信息进行排列组合，得到一问一答的角色对话结果；根据预设的用户类型和画像指标，结合prompt信息调用语言大模型利用得到的一问一答的角色对话结果进行用户画像分析，得到语言大模型的用户画像分析结果，用户画像分析结果包括用户画像指标信息id和用户对话id。本发明实现了对不同角色声音的识别，提高了声音录制的准确性和效率；能够快速从大量的对话文本数据中提取特征并分析用户画像，提高了分析的准确性；对决策提供有效的支持。
1.基于大模型及工牌设备的用户画像分析方法，其特征在于，包括：
2.根据权利要求1所述的基于大模型及工牌设备的用户画像分析方法，其特征在于，所述工牌设备集成的拾音麦克风阵列利用波束形成聚焦于指定方向的声音信号，形成聚焦于指定方向的声音信号的公式为：
3.根据权利要求2所述的基于大模型及工牌设备的用户画像分析方法，其特征在于，利用离线分离算法对获取的用户声音进行角色分离过程中，计算声音信号在拾音克风阵列之间的到达时间差异：
4.根据权利要求3所述的基于大模型及工牌设备的用户画像分析方法，其特征在于，利用离线分离算法对获取的用户声音进行角色分离过程中，对背景噪音进行降噪处理：
5.根据权利要求1所述的基于大模型及工牌设备的用户画像分析方法，其特征在于，将得到员工角色音频和顾客角色音频，按照员工、时间、客户维度进行存储和保存；并根据员工、时间、客户维度对员工角色音频和顾客角色音频进行溯源。
6.根据权利要求1所述的基于大模型及工牌设备的用户画像分析方法，其特征在于，将得到的员工角色音频和顾客角色音频通过asr语音识别算法进行转写过程中，对转写结果进行热词纠正、对话文字获取和异常录音处理。
7.根据权利要求1所述的基于大模型及工牌设备的用户画像分析方法，其特征在于，将用户画像分析结果与角色对话结果、员工角色音频、顾客角色音频进行关联和整合，生成报表和图表。
8.基于大模型及工牌设备的用户画像分析装置，其特征在于，包括：
9.根据权利要求8所述的基于大模型及工牌设备的用户画像分析装置，其特征在于，所述角色分离处理模块中，所述工牌设备集成的拾音麦克风阵列利用波束形成聚焦于指定方向的声音信号，形成聚焦于指定方向的声音信号的公式为：
10.根据权利要求9所述的基于大模型及工牌设备的用户画像分析装置，其特征在于，所述角色分离处理模块中，将得到员工角色音频和顾客角色音频，按照员工、时间、客户维度进行存储和保存；并根据员工、时间、客户维度对员工角色音频和顾客角色音频进行溯源；
