本发明涉及音视频处理技术领域，尤其涉及一种音视频同步方法、装置、终端设备及存储介质。
背景技术：
随着现在物联网技术的发展，越来越多的带屏智能设备需要屏幕录制的，例如电视录屏、智能安防、会议转播等应用场景，但这些场景的视频源根据不同平台和不同的框架实现，可能会存在相当大的差异，但对于录屏转屏这些场景来说，音视频同步又是十分重要的评判因素，如果某些视频源的适配情况不佳，会出现视频并没有稳定的时间戳，导致发生音画不同步的情况，无法实现有效的音视频同步。
因此，现有技术还有待改进和提高。
技术实现要素：
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种音视频同步方法、装置、终端设备及存储介质，旨在解决现有技术中无法实现有效的音视频同步的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
第一方面，本发明提供一种音视频同步方法,其中，所述方法包括：
根据预设的标准时间轨道，确定输入的音视频的第一时间；
根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间；
根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步。
在一种实现方式中，所述根据预设的标准时间轨道，确定输入的音视频的第一时间，包括：
获取所述音视频的输入时间；
将所述输入时间与所述标准时间轨道的标准时间进行比较，确定所述音视频的初始，所述标准时间轨道为预设的时间轴。
在一种实现方式中，所述将所述输入时间与所述标准时间轨道的标准时间进行比较，确定所述音视频的第一时间，包括：
若所述输入时间大于所述标准时间时，则将所述音视频轨道后移预设时间；
根据后移所述预设时间后的音视频轨道，确定所述音视频的所述第一时间。
在一种实现方式中，所述将所述输入时间与所述标准时间轨道的标准时间进行比较，确定所述音视频的第一时间，包括：
若所述输入时间小于所述标准时间时，则将所述音视频轨道加快预设时间；
根据加快所述预设时间后的音视频轨道，确定所述音视频的所述第一时间。
在一种实现方式中，所述根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间，包括：
当确定出所述音视频的第一时间后，获取所述视频帧与所述音频帧之间的相对位置；
根据所述相对位置，确定所述视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间。
在一种实现方式中，所述根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步，包括：
当所述显示时间大于所述播放时间，则将所述视频帧的显示时间进行压缩；
当所述显示时间小于所述播放时间，则将所述视频帧的显示时间进行延长。
在一种实现方式中，所述根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步，包括：
当所述显示时间小于所述播放时间时，则将所述视频帧中的若干帧丢弃，以确保所述显示时间与所述播放时间同步。
第二方面，本发明实施例还提供一种音视频同步装置，其中，所述装置包括：
第一时间确定模块，用于根据预设的标准时间轨道，确定输入的音视频的第一时间；
音视频时间确定模块，用于根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间；
音视频同步模块，用于根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的音视频同步程序，所述处理器执行所述音视频同步程序时，实现上述方案中任一项所述的音视频同步方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有音视频同步程序，所述音视频同步程序被处理器执行时，实现上述方案中任一项所述的音视频同步方法的步骤。
有益效果：与现有技术相比，本发明提供了一种音视频同步方法，所述方法包括：根据预设的标准时间轨道，确定输入的音视频的第一时间；根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间；根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步。本发明对音视频中的音频帧播放时间和视频帧的显示时间进行比较分析，从而对视频帧的显示时间进行调整，以使得音频时间和显示时间同步，实现音视频同步。
附图说明
图1为本发明实施例提供的音视频同步方法的具体实施方式的流程图。
图2为本发明实施例提供的音视频同步方法的音视频同步的理想状态图。
图3为本发明实施例提供的音视频同步方法的音视频同步效果图。
图4是本发明实施例提供的音视频同步装置的原理框图。
图5是本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
随着现在物联网技术的发展，越来越多的带屏智能设备需要屏幕录制的，例如电视录屏、智能安防、会议转播等应用场景，但这些场景的视频源根据不同平台和不同的框架实现，可能会存在相当大的差异，但对于录屏转屏这些场景来说，音视频同步又是十分重要的评判因素，如果某些视频源的适配情况不佳，会出现视频并没有稳定的时间戳，导致发生音画不同步的情况，无法实现有效的音视频同步。
为了解决现有技术的问题，本实施例提供一种音视频同步方法，具体实施时，本实施例首先根据预设的标准时间轨道，确定输入的音视频的第一时间。然后根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间。最后根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步。本实施例对音视频中的音频帧播放时间和视频帧的显示时间进行比较分析，从而对视频帧的显示时间进行调整，以使得音频时间和显示时间同步，实现音视频同步。
示例性方法
本实施例的音视频同步方法应用于终端设备，所述终端设备为可用于播放音视频的显示设备，比如电视机、电脑。所述音视频同步方法包括：
步骤s100、根据预设的标准时间轨道，确定输入的音视频的第一时间。
在本实施例中，由于人类的音频拨动较为敏感，并且音频输出比较稳定，所述本实施例中将音频保持固定的输出频率，然后再将视频根据音频速率进行调整。为此，本实施例预设一标准时间轨道，该标准时间轨道为预设的时间轴。当输入音视频时，本实施例获取音视频的输入时间，然后将该输入时间与所述标准时间轨道进行比较，然后确定出第一时间。由于本实施例中的标准时间轨道是用于衡量所述音视频是否整体过快还是整体过慢，无论是整体过慢还是整体过快，都需要对音视频进行整体调整。具体地，若所述输入时间大于所述标准时间时，则就说明此时音视频整体过快，因此就将所述音视频轨道后移预设时间，因此本实施例就根据后移所述预设时间后的音视频轨道，就确定所述音视频的所述第一时间。而如果所述输入时间小于所述标准时间时，则就说明此时音视频整体过慢，因此就将所述音视频轨道加快预设时间，根据加快所述预设时间后的音视频轨道，确定所述音视频的所述第一时间。在一种实现方式中，所述预设时间可为弹性时间，即当输入时间与标准时间相差较小时，则控制音视频移动较小的预设时间，如果输入时间与标准时间相差较大时，则控制音视频移动较小的预设时间。
步骤s200、根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间。
在本实施例中，本实施例确定所述音视频的第一时间后，获取所述视频帧与所述音频帧之间的相对位置。然后根据所述相对位置，确定所述视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间。由于本实施例中的音频是作为参考的，并且是以固定的输出频率，并且，本实施例是基于音频帧的播放时间来对视频帧的显示时间进行调整的，因此，本实施例在所述音视频的第一时间后，开始获取所述视频帧的显示时间与视频帧所对应的音频帧的播放时间，以便在后续步骤中来对视频帧的显示时间进行调整。
步骤s300、根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步。
在本实施例中，由于视频帧和音频帧不是一一对应的，并且音频帧是与标准时间轨道对应的，且作为参考，因此音频帧的播放时间是与标准时间轨道的时间是一致的。因此当视频帧的显示时间与音频帧的播放时间不相同时，则就需要将视频帧的显示时间进行调整，以使得视频帧的显示时间与音频帧的播放时间同步。具体地，当所述显示时间大于所述播放时间，则将所述视频帧的显示时间进行压缩；当所述显示时间小于所述播放时间，则将所述视频帧的显示时间进行延长，在进行延长时，本实施例按照等比例延长的方式来将显示时间进行延长，同样地，在对显示时间进行压缩时，本实施例按照等比例压缩的方式来将显示时间进行缩短。在本实施例中，所述视频帧的显示时间是视频帧的帧数来体现的，当显示时间的视频帧数与标准时间轨道的视频帧数相差时，则需要对视频帧的显示时间进行调整，如表1所示。
在本实施例中，等比算法缩短和等比例延长的比例值是根据实际主板得到的，根据这个比例进行动态调整参数，具体比例数值如下，正值则为当前视频帧的显示时间出帧速度快于标准时间轨道的视频帧数，负值则为当前视频帧的显示时间出帧速度慢于标准时间轨道的视频帧数。根据实验数据的测算，将数据放入播放器编码效率曲线(即为帧的大小和编码时间的关系曲线)，可以将帧的大小与缩放关联起来，将每一帧的调整参数提前进行设置。在一种实现方式，当所述显示时间小于所述播放时间时，则将所述视频帧中的若干帧丢弃，以确保所述显示时间与所述播放时间同步。
如图2中所示，图2采用本实施例中的音视频同步方法的理想状态，音视频帧以一定速率进行输出，但实际情况无法达到理想状态，所以需要通过压缩帧时间合延长帧时间来实现显示的稳定和音画同步。当声音和画面在进行音视频同步后后被重新打入视音频轨道，如图3所示，相当于将一定数量的音频和视频作为一个组块，保证组块内的小幅波动，但整体上维持视音频的稳定以及音画同步。
综上，本实施例根据预设的标准时间轨道，确定输入的音视频的第一时间；根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间；根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步。本实施例对音视频中的音频帧播放时间和视频帧的显示时间进行比较分析，从而对视频帧的显示时间进行调整，以使得音频时间和显示时间同步，实现音视频同步。
示例性装置
如图4中所示，本实施例还提供一种音视频同步装置，该装置包括：第一时间确定模块10、音视频时间确定模块20以及音视频同步模块30。具体地，所述第一时间确定模块10，用于根据预设的标准时间轨道，确定输入的音视频的第一时间。所述音视频时间确定模块20，用于根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间。所述音视频同步模块30，用于根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步。。
在一种实现方式中，所述第一时间确定模块10包括：
输入时间获取单元，用于获取所述音视频的输入时间；
第一时间获取单元，用于将所述输入时间与所述标准时间轨道的标准时间进行比较，确定所述音视频的第一时间，所述标准时间轨道为预设的时间轴。
在一种实现方式中，所述音视频时间确定模块20包括：
相对位置确定单元，用于当确定出所述音视频的第一时间后，获取所述视频帧与所述音频帧之间的相对位置；
播放时间确定单元，用于根据所述相对位置，确定所述视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间。
在一种实现方式中，所述音视频同步模块30包括：
时间压缩单元，用于当所述显示时间大于所述播放时间，则将所述视频帧的显示时间进行压缩；
时间延长单元，用于当所述显示时间小于所述播放时间，则将所述视频帧的显示时间进行延长。
在一种实现方式中，所述音视频同步模块30包括：
帧丢弃单元，用于当所述显示时间小于所述播放时间时，则将所述视频帧中的若干帧丢弃，以确保所述显示时间与所述播放时间同步。
基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图5所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种音视频同步方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的音视频同步程序，处理器执行音视频同步程序时，实现如下操作指令：
根据预设的标准时间轨道，确定输入的音视频的第一时间；
根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间；
根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
综上，本发明公开了一种音视频同步方法、装置、存储介质及终端设备，所述方法包括：根据预设的标准时间轨道，确定输入的音视频的第一时间；根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间；根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步。本发明对音视频中的音频帧播放时间和视频帧的显示时间进行比较分析，从而对视频帧的显示时间进行调整，以使得音频时间和显示时间同步，实现音视频同步。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
1.一种音视频同步方法，其特征在于，所述方法包括：
根据预设的标准时间轨道，确定输入的音视频的第一时间；
根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间；
根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步。
2.根据权利要求1所述的音视频同步方法，其特征在于，所述根据预设的标准时间轨道，确定输入的音视频的第一时间，包括：
获取所述音视频的输入时间；
将所述输入时间与所述标准时间轨道的标准时间进行比较，确定所述音视频的第一时间，所述标准时间轨道为预设的时间轴。
3.根据权利要求2所述的音视频同步方法，其特征在于，所述将所述输入时间与所述标准时间轨道的标准时间进行比较，确定所述音视频的第一时间，包括：
若所述输入时间大于所述标准时间时，则将所述音视频轨道后移预设时间；
根据后移所述预设时间后的音视频轨道，确定所述音视频的所述第一时间。
4.根据权利要求2所述的音视频同步方法，其特征在于，所述将所述输入时间与所述标准时间轨道的标准时间进行比较，确定所述音视频的第一时间，包括：
若所述输入时间小于所述标准时间时，则将所述音视频轨道加快预设时间；
根据加快所述预设时间后的音视频轨道，确定所述音视频的所述第一时间。
5.根据权利要求1所述的音视频同步方法，其特征在于，所述根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间，包括：
当确定出所述音视频的第一时间后，获取所述视频帧与所述音频帧之间的相对位置；
根据所述相对位置，确定所述视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间。
6.根据权利要求1所述的音视频同步方法，其特征在于，所述根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步，包括：
当所述显示时间大于所述播放时间，则将所述视频帧的显示时间进行压缩；
当所述显示时间小于所述播放时间，则将所述视频帧的显示时间进行延长。
7.根据权利要求6所述的音视频同步方法，其特征在于，所述根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步，包括：
当所述显示时间小于所述播放时间时，则将所述视频帧中的若干帧丢弃，以确保所述显示时间与所述播放时间同步。
8.一种音视频同步装置，其特征在于，所述装置包括：
第一时间确定模块，用于根据预设的标准时间轨道，确定输入的音视频的第一时间；
音视频时间确定模块，用于根据所述音视频的第一时间，获取视频帧的显示时间以及与所述视频帧所对应的音频帧的播放时间；
音视频同步模块，用于根据所述显示时间与所述播放时间，对所述视频帧的显示时间进行调整，以使得所述显示时间与所述播放时间同步。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的音视频同步程序，所述处理器执行所述音视频同步程序时，实现如权利要求1-7任一项所述的音视频同步方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有音视频同步程序，所述音视频同步程序被处理器执行时，实现如权利要求1-7任一项所述的音视频同步方法的步骤。
技术总结