基于车载系统生成视频的方法、装置、电子设备及存储介质与流程

专利2026-09-15  18


本申请涉及图像处理领域,更具体地,涉及基于车载系统生成视频的方法、装置、电子设备及存储介质。


背景技术:

1、如今,通过发布vlog的方式在社交网络平台分享生活日常已成为趋势。vlog的全称是video log,即视频记录,创作者以vlog作为记录生活的载体,通过视频的方式来展现有趣的生活方式或者其想要传达的内容,其中包括一些生活日常、旅游日志,美食介绍等。

2、目前,越来越多的人选择将出行中沿途拍摄的风景或者视频制作成vlog短视频。但是,vlog短视频的生成需要用户手动添加视频和图片媒体资料进行剪辑拼接,并且需要自己选择背景音乐(bgm)和创作模板,因而操作比较繁琐。


技术实现思路

1、本申请的一个目的在于提供一种基于车载系统生成视频的方法、装置及存储介质,通过对视频素材文件中的视频素材片段进行场景分类推理,并根据视频素材片段的场景类别选取相对应的处理策略根据选取的所述处理策略分别对视频素材片段进行处理,生成目标视频文件,从而实现自动形成视频素材文件并处理生成视频,无需手动操作,且视频生成效率较高。

2、本申请的另一个目的在于提供一种基于车载系统生成视频的方法、装置及存储介质,使用预先训练的量化模型进行场景分类,通过使用snpe推理引擎进行推理,得出视频素材片段的场景类别,大大提高了神经网络模型的推理效率。

3、本申请的另一个目的在于提供一种基于车载系统生成视频的方法、装置及存储介质,其中视频素材片段包括:行车记录仪所拍摄的视频、图像文件,或者车载系统获取到的图像、音频、视频文件,从而可以基于车载行车记录仪所拍摄的素材或者车载系统获取的素材,经过处理自动生成视频文件,实现在车机端完成视频vlog制作。

4、本申请的另一个目的在于提供一种基于车载系统生成视频的装置,场景分类推理模块是位于车载芯片的数字计算单元cdsp,不占用车载芯片的cpu内存空间,且使用量化模型进行场景分类,由浮点型数据转换成int型数据进行运算,大幅度减少了计算量,从而大大提高了视频生成效率。

5、本申请的另一个目的在于提供一种基于车载系统生成视频的装置,根据选取的处理策略,采用ffmpeg工具对视频素材片段进行处理,编辑生成目标视频文件,能够支持多种视频格式之间的相互转换。

6、为实现上述目的,依据本申请的第一方面,提供了一种基于车载系统生成视频的方法,所述方法包括:

7、对视频素材文件进行场景分类推理,得出推理结果,其中所述推理结果为所述视频素材文件中的多个视频素材片段的场景类别;

8、根据所述视频素材片段的场景类别,选取与所述场景类别相对应的处理策略;以及,

9、根据选取的所述处理策略分别对所述视频素材片段进行处理,生成目标视频文件。

10、在一些实施方式中,对视频素材文件进行场景分类推理,得出推理结果,包括:根据所述视频素材文件提取待处理图像,将所述待处理图像输入预先训练的量化模型,使用snpe推理引擎进行推理,得出所述推理结果。

11、在一些实施方式中,所述量化模型为量化的深度学习神经网络模型,

12、在加载所述深度学习神经网络模型时,通过插入量化层和反量化层,将所述量化模型的权重参数由浮点型数据转换成int型数据,其中所述量化模型的权重参数包括权重值,或者包括权重值和激活值。

13、在一些实施方式中,所述视频素材片段包括以下至少一种:

14、行车记录仪所拍摄的视频、图像文件;

15、所述车载系统通过有线或者无线传输方式从终端设备或者云端服务器获取到的图像、音频、视频文件;其中所述有线或者无线传输方式包括usb、wifi、蓝牙、v2x。

16、在一些实施方式中,与所述场景类别相对应的处理策略包括转场效果和背景音乐类型;

17、根据所述视频素材片段的场景类别,确定与所述场景类别相对应的处理策略,包括:根据预设的不同场景类别与处理策略之间的对应关系,选择与所述视频素材片段的场景类别相对应的转场效果及背景音乐。

18、在一些实施方式中,所述方法还包括:

19、根据所述视频素材片段的场景类别,如果相同场景类别的视频素材片段的数量超出预定阈值,则删除场景类别重复的视频素材片段。

20、依据本申请的第二方面,还提供了一种基于车载系统生成视频的装置,所述装置包括:

21、文件读取模块,用于获取视频素材片段;

22、视频筛选处理模块,用于根据所述视频素材片段得到视频素材文件,并输入场景分类推理模块;

23、场景分类推理模块,用于使用预先训练的量化模型对所述视频素材文件中的视频素材片段进行场景分类推理,得出推理结果;其中,所述推理结果包括所述视频素材片段的场景类别;

24、视频生成模块,用于根据所述视频素材片段的场景类别,选取与所述场景类别相对应的处理策略对所述视频素材片段进行处理,生成目标视频文件。

25、在一些实施方式中,所述文件读取模块位于车载芯片的cpu;

26、所述场景分类推理模块位于所述车载芯片的数字计算单元cdsp;

27、所述视频筛选处理模块位于所述车载芯片的gpu;以及

28、所述视频生成模块采用ffmpeg工具。

29、依据本申请的第三方面,还提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请的第一方面所述的基于车载系统生成视频的方法。

30、依据本申请的第四方面,还提供了一种非瞬态计算机可读存储介质,其上存储有机器可执行指令,所述机器可执行指令在被执行时使机器执行本申请的第一方面所述的基于车载系统生成视频的方法。

31、应当理解,本部分所描述的内容并非旨在标识本申请的实施方式的关键特征或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过下文中的描述而变得容易理解。



技术特征:

1.一种基于车载系统生成视频的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于车载系统生成视频的方法,其中,对视频素材文件进行场景分类推理,得出推理结果,包括:

3.根据权利要求2所述的基于车载系统生成视频的方法,其中,所述量化模型为量化的深度学习神经网络模型,

4.根据权利要求1所述的基于车载系统生成视频的方法,其中,所述视频素材片段包括以下至少一种:

5.根据权利要求1所述的基于车载系统生成视频的方法,其中,与所述场景类别相对应的处理策略包括转场效果和背景音乐类型;

6.根据权利要求1所述的基于车载系统生成视频的方法,其中,所述方法还包括:

7.一种基于车载系统生成视频的装置,其特征在于,所述装置包括:

8.根据权利要求7所述的基于车载系统生成视频的装置,其中,

9.一种电子设备,其特征在于,包括:

10.一种非瞬态计算机可读存储介质,其上存储有机器可执行指令,所述机器可执行指令在被执行时使机器执行权利要求1至6中任0一项所述的方法。


技术总结
本申请公开了基于车载系统生成视频的方法、装置、电子设备及存储介质,所述基于车载系统生成视频的方法包括:对视频素材文件进行场景分类推理,得出推理结果,其中所述推理结果为所述视频素材文件中的多个视频素材片段的场景类别;根据所述视频素材片段的场景类别,选取与所述场景类别相对应的处理策略;以及,根据选取的所述处理策略分别对所述视频素材片段进行处理,生成目标视频文件。

技术研发人员:李冲,裴峥,王明
受保护的技术使用者:博泰车联网科技(上海)股份有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1834176.html

最新回复(0)