实时通信中的多媒体处理方法、设备及存储介质与流程

专利2026-03-07  12


本公开实施例涉及计算机与网络通信,尤其涉及一种实时通信中的多媒体处理方法、设备及存储介质。


背景技术:

1、rtc(real-time communications,实时通信)是一种用于实现实时音视频通话和数据传输的技术。它允许用户通过互联网进行实时通信,包括语音通话、视频通话和实时数据传输。随着时代的发展,rtc已成为数字经济新的生产力来源,以rtc技术为基础的电商直播、云游戏、远程会议、在线教学等数字化场景蓬勃涌现。rtc使用场景日益多样化,功能也日益丰富。

2、然而,越来越多的特效和越来越高的分辨率和帧率要求,会使得终端设备的性能负载越来越高。在终端设备性能高负载的情况下,很容易出现各种问题,如丢帧、卡顿、耗电过快,发热过于严重等,这些问题都会严重影响用户体验。解决这些问题就要求音视频引擎能根据终端设备的性能自适应地调整参数,在保障基础功能正常使用的前提下,尽可能地兼顾流畅度和清晰度。

3、但是现有技术在rtc过程中对参数调整的时机容易出现误判,而且在调整过程中需要进行多次反复调整,调整效率低,导致卡顿和延时,影响rtc通信质量的稳定性。


技术实现思路

1、本公开实施例提供一种实时通信中的多媒体处理方法、设备及存储介质,以保证实时通信中快速高效、准确的调整参数,保证实时通信的稳定性。

2、第一方面,本公开实施例提供一种实时通信中的多媒体处理方法,应用于终端设备,所述方法包括:

3、获取终端设备在实时通信中的实时性能参数,根据所述实时性能参数确定实时通信中至少一个目标多媒体处理过程的初始多媒体处理参数,并将所述初始多媒体处理参数应用于所述目标多媒体处理过程中;

4、获取所述目标多媒体处理过程的实时负载情况;若所述实时负载情况超出预设负载阈值,则根据所述目标多媒体处理过程的实时服务质量指标对所述初始多媒体处理参数进行调整,得到候选多媒体处理参数;

5、根据所述候选多媒体处理参数、所述目标多媒体处理过程的属性信息以及所述终端设备的实时性能参数,采用服务质量预测模型预测所述目标多媒体处理过程在应用所述候选多媒体处理参数时的服务质量指标预测值;

6、若确定所述服务质量指标预测值满足预设服务质量要求,则将所述候选多媒体处理参数应用到所述目标多媒体处理过程中。

7、第二方面,本公开实施例提供一种实时通信中的多媒体处理设备,包括:

8、采集单元,用于获取终端设备在实时通信中的实时性能参数;

9、初始参数确定单元,用于根据所述实时性能参数确定实时通信中至少一个目标多媒体处理过程的初始多媒体处理参数,并将所述初始多媒体处理参数应用于所述目标多媒体处理过程中;

10、参数调整单元,用于获取所述目标多媒体处理过程的实时负载情况;若所述实时负载情况超出预设负载阈值,则根据所述目标多媒体处理过程的实时服务质量指标对所述初始多媒体处理参数进行调整,得到候选多媒体处理参数;

11、预测单元,用于根据所述候选多媒体处理参数、所述目标多媒体处理过程的属性信息以及所述终端设备的实时性能参数,采用服务质量预测模型预测所述目标多媒体处理过程在应用所述候选多媒体处理参数时的服务质量指标预测值;

12、执行单元,用于若确定所述服务质量指标预测值满足预设服务质量要求,则将所述候选多媒体处理参数应用到所述目标多媒体处理过程中。

13、第三方面,本公开实施例提供一种电子设备,包括:至少一个处理器和存储器;

14、所述存储器存储计算机执行指令;

15、所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的实时通信中的多媒体处理方法。

16、第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的实时通信中的多媒体处理方法。

17、第五方面,本公开实施例提供一种计算机程序产品,包括计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的实时通信中的多媒体处理方法。

18、本公开实施例提供的实时通信中的多媒体处理方法、设备及存储介质,获取终端设备在实时通信中的实时性能参数,根据所述实时性能参数确定实时通信中至少一个目标多媒体处理过程的初始多媒体处理参数,并将所述初始多媒体处理参数应用于所述目标多媒体处理过程中;获取所述目标多媒体处理过程的实时负载情况;若所述实时负载情况超出预设负载阈值,则根据所述目标多媒体处理过程的实时服务质量指标对所述初始多媒体处理参数进行调整,得到候选多媒体处理参数;根据所述候选多媒体处理参数、所述目标多媒体处理过程的属性信息以及所述终端设备的实时性能参数,采用服务质量预测模型预测所述目标多媒体处理过程在应用所述候选多媒体处理参数时的服务质量指标预测值;若确定所述服务质量指标预测值满足预设服务质量要求,则将所述候选多媒体处理参数应用到所述目标多媒体处理过程中。本实施例中在实时通信中对目标多媒体处理过程的多媒体处理参数是否调整的判断考虑了终端设备的实时性能参数和目标多媒体处理过程的实时负载情况,提高判断调整时机的准确性,避免调整时机的误判而对实时通信造成严重影响,并且在调整得到候选多媒体处理参数后采用服务质量预测模型先进行验证,在确定合适的候选多媒体处理参数后再应用到目标多媒体处理过程中,避免了对目标多媒体处理过程频繁修改参数,保证目标多媒体处理过程中参数的快速高效调整,保证实时通信的稳定性。



技术特征:

1.一种实时通信中的多媒体处理方法,其特征在于,应用于终端设备,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,若所述实时负载情况超出预设负载阈值,则根据所述目标多媒体处理过程的实时服务质量指标对所述初始多媒体处理参数进行调整,得到候选多媒体处理参数,包括:

3.根据权利要求1或2所述的方法,其特征在于,还包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述候选多媒体处理参数、所述目标多媒体处理过程的属性信息以及所述终端设备的实时性能参数,采用服务质量预测模型预测所述目标多媒体处理过程在应用所述候选多媒体处理参数时的服务质量指标预测值,包括:

5.根据权利要求4所述的方法,其特征在于,所述对所述文本类型输入数据和所述数值类型输入数据分别进行特征提取,包括:

6.根据权利要求1所述的方法,其特征在于,所述根据所述实时性能参数确定实时通信中至少一个目标多媒体处理过程的初始多媒体处理参数,并将所述初始多媒体处理参数应用于所述目标多媒体处理过程中,包括:

7.根据权利要求6所述的方法,其特征在于,所述根据所述实时性能参数确定实时通信中对应的预设多媒体处理参数集合,包括:

8.根据权利要求6所述的方法,其特征在于,所述方法还包括:

9.根据权利要求1所述的方法,其特征在于,所述将所述初始多媒体处理参数应用于所述目标多媒体处理过程中,包括:

10.一种实时通信中的多媒体处理设备,其特征在于,包括:

11.一种电子设备,其特征在于,包括:至少一个处理器和存储器;

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1-9任一项所述的方法。

13.一种计算机程序产品,其特征在于,包括计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1-9任一项所述的方法。


技术总结
本公开实施例提供一种实时通信中的多媒体处理方法、设备及存储介质,通过在实时通信中对目标多媒体处理过程的多媒体处理参数是否调整的判断考虑了终端设备的实时性能参数和目标多媒体处理过程的实时负载情况,提高判断调整时机的准确性,避免调整时机的误判而对实时通信造成严重影响,并且在调整得到候选多媒体处理参数后采用服务质量预测模型先进行验证,在确定合适的候选多媒体处理参数后再应用到目标多媒体处理过程中,避免了对目标多媒体处理过程频繁修改参数,保证目标多媒体处理过程中参数的快速高效调整,保证实时通信的稳定性。

技术研发人员:吴港鹏,杨建群
受保护的技术使用者:北京字跳网络技术有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1828595.html

最新回复(0)