本发明涉及交互，尤其涉及一种多媒体信息交互方法及系统。
背景技术：
1、随着信息技术的不断发展，人们对多媒体信息的获取和交互方式提出了更高的要求，这包括对图像、音频、视频等多种形式的信息的实时传输、处理和交互。目前，随着互联网和移动通信技术的飞速发展，基于网络的多媒体信息交互方法和系统得到了广泛应用。例如，基于web技术的多媒体信息交互系统能够实现图像、音频、视频等多种形式信息的实时传输和交互，满足了用户在不同场景下的需求。同时，随着人工智能和大数据技术的发展，多媒体信息交互方法和系统还可以利用数据挖掘、机器学习等技术，为用户提供个性化的信息推荐和交互体验。然而，传统的一种多媒体信息交互方法存在着对多媒体视频图像切换像素损失分析不准确，以及交互效果不显著的问题。
技术实现思路
1、基于此，有必要提供一种多媒体信息交互方法，以解决至少一个上述技术问题。
2、为实现上述目的，一种多媒体信息交互方法，包括以下步骤：
3、步骤s1：获取多媒体视频播放数据；对多媒体视频播放数据进行视频图像提取，得到多媒体视频播放图像；对媒体视频播放图像进行图像元素结构提取，得到图像元素结构数据；
4、步骤s2：根据多媒体视频播放数据对图像元素结构数据进行元素排列时序分析，得到元素排列时序数据；对元素排列时序数据进行位置切换映射关系模型构建，得到元素位置切换关系模型；
5、步骤s3：通过元素位置切换关系模型对元素排列时序数据进行元素动作切换流畅度分析，得到元素动作切换流畅度数据；根据元素动作切换流畅度数据进行动作切换过程中像素损失捕捉，得到动作切换像素损失数据；基于动作切换像素损失数据对元素排列时序数据进行交互模式设计，得到元素交互模式数据；
6、步骤s4：对元素交互模式数据进行数字化编码，得到元素交互模式数字化编码数据；根据元素交互模式数字化编码数据进行虚拟场景搭建，得到元素交互虚拟场景数据。
7、本发明通过对多媒体视频播放数据进行视频图像提取和图像元素结构提取，可以将视频中的信息转换为可操作的数据形式。这样的转换可以帮助进一步分析视频内容，并对其中的元素进行结构化的处理，使其更易于理解和处理，对图像元素结构数据进行元素排列时序分析有助于了解元素在播放过程中的排列顺序和变化规律。这样的分析可以揭示视频中不同元素之间的关联性和交互方式，为后续处理提供基础数据，构建元素位置切换映射关系模型可以进一步理解视频中元素之间的位置变换规律。这样的模型有助于预测元素在不同时间点的位置，从而为视频的后续编辑、分析或其他处理提供指导，上述步骤的处理可以为多个应用领域提供有益的支持。比如，在视频编辑中，可以利用元素位置切换映射关系模型来设计过渡效果或调整元素的布局；在视频内容分析中，可以利用元素排列时序数据进行场景分割或动作识别等任务；通过对元素排列时序数据进行元素动作切换流畅度分析，可以评估视频中元素之间的过渡效果的流畅程度。这有助于提高视频的观看体验，使得元素之间的切换更加自然和连贯，避免了过渡时的突兀感，在动作切换过程中像素损失数据的捕捉可以帮助发现并量化视频中元素切换时可能出现的画面损失情况。这样的数据有助于优化视频处理算法，减少画面损失，提高视频的质量和清晰度，基于动作切换像素损失数据对元素排列时序数据进行交互模式设计，可以根据视频内容和元素之间的关系，设计出更加合理和有效的交互模式。这有助于增强视频的信息传递效果，使得观众更容易理解和接受视频内容，通过对元素交互模式数据进行数字化编码，并基于此进行虚拟场景搭建，可以将视频内容呈现在虚拟环境中。这样的虚拟场景不仅可以用于视频内容的展示，还可以用于交互式体验、虚拟现实等领域，为用户提供更加沉浸式的观看体验以及交互体验。因此，本发明提供了一种多媒体信息交互方法是对传统的一种多媒体信息交互方法做出的优化处理，解决了传统的一种多媒体信息交互方法存在着对多媒体视频图像切换像素损失分析不准确，以及交互效果不显著的问题，提高了对多媒体视频图像切换像素损失分析的准确性，提升了交互效果的显著性。
8、优选地，步骤s1包括以下步骤：
9、步骤s11：获取多媒体视频播放数据；
10、步骤s12：对多媒体视频播放数据进行视频图像提取，得到多媒体视频播放图像；对多媒体视频播放图像进行图像边缘滤波，得到视频边缘滤波图像；
11、步骤s13：利用预设的色彩度标准阈值对视频边缘滤波图像进行色彩对比度填充，得到色彩填充边缘滤波图像；
12、步骤s14：根据色彩填充边缘滤波图像对媒体视频播放图像进行图像元素结构提取，得到图像元素结构数据。
13、本发明通过获取多媒体视频播放数据，可以将视频内容转换成数字化的形式，为后续处理提供了基础数据。这有助于对视频内容进行分析、编辑和应用，对多媒体视频播放数据进行视频图像提取，并对提取的图像进行边缘滤波处理，可以增强图像的边缘特征，使得图像更加清晰和鲜明。这有助于提高后续处理步骤的准确性和效果，通过利用预设的色彩度标准阈值对边缘滤波后的图像进行色彩对比度填充，可以增强图像的色彩对比度，使得图像更具有视觉吸引力和观赏性。这样的处理有助于突出视频中的重要元素和细节，根据经过边缘滤波和色彩填充处理后的图像，可以更准确地提取图像中的元素结构。这些元素结构数据包含了视频中各个元素的位置、大小、形状等信息，为后续的分析和处理提供了基础。
14、优选地，步骤s14包括以下步骤：
15、步骤s141：对色彩填充边缘滤波图像进行二值化处理，得到边缘滤波二值图像；
16、步骤s142：根据边缘滤波二值图像对媒体视频播放图像进行图像区域差异划分，得到图像区域划分数据；对图像区域划分数据进行不同区域主体轮廓提取，得到区域主体轮廓数据；
17、步骤s143：对区域主体轮廓数据进行最小外接矩形计算，得到区域主体最小外接矩形数据；根据区域主体最小外接矩形数据对区域主体轮廓数据进行椭圆拟合，得到区域主体椭圆拟合数据；
18、步骤s144：基于区域主体最小外接矩形数据以及区域主体椭圆拟合数据对图像区域划分数据进行不同区域图像灰度分布分析，得到区域图像灰度分布数据；
19、步骤s145：根据区域主体最小外接矩形数据、区域主体椭圆拟合数据以及区域图像灰度分布数据对媒体视频播放图像进行图像元素结构提取，得到图像元素结构数据。
20、本发明通过对色彩填充边缘滤波图像进行二值化处理，得到边缘滤波二值图像。这一步骤可以有效地提取出图像的边缘信息，并将其转换为二值化的形式，为后续的区域划分和轮廓提取提供准确的边缘数据，根据边缘滤波二值图像，对媒体视频播放图像进行图像区域差异划分，从而得到图像区域划分数据。接着，针对每个不同的区域，进行区域主体轮廓的提取，得到区域主体轮廓数据。这些数据可以帮助识别和描述图像中不同区域的形状和结构，对区域主体轮廓数据进行最小外接矩形计算，得到区域主体最小外接矩形数据。然后，根据这些矩形数据，对区域主体轮廓数据进行椭圆拟合，得到区域主体椭圆拟合数据。这些数据有助于准确描述区域主体的形状特征，为后续的分析提供基础，基于区域主体最小外接矩形数据以及区域主体椭圆拟合数据，对图像区域划分数据进行不同区域图像灰度分布分析。这一步骤可以帮助了解图像各区域的灰度分布情况，进而揭示图像的局部特征和内容，最后，根据区域主体最小外接矩形数据、区域主体椭圆拟合数据以及区域图像灰度分布数据，对媒体视频播放图像进行图像元素结构提取，得到图像元素结构数据。这些数据包含了图像中各个元素的位置、大小、形状以及灰度分布等信息，为后续的图像分析和处理提供了重要的依据。
21、优选地，步骤s2包括以下步骤：
22、步骤s21：根据多媒体视频播放数据对图像元素结构数据进行元素排列时序分析，得到元素排列时序数据；
23、步骤s22：利用循环神经网络模型对元素排列时序数据进行位置切换映射关系模型构建，得到初始元素位置切换关系模型；
24、步骤s23：对元素排列时序数据进行格式条件约束机制设计，得到元素格式条件约束机制；
25、步骤s24：利用元素格式条件约束机制对初始元素位置切换关系模型进行模型训练，得到元素位置切换关系模型。
26、本发明通过根据多媒体视频播放数据对图像元素结构数据进行元素排列时序分析，可以获取元素在时间轴上的排列顺序和变化规律。这有助于理解元素之间的时序关系，提取出元素的运动轨迹和动态变化信息，为后续的模型构建和训练提供基础，利用循环神经网络模型对元素排列时序数据进行位置切换映射关系模型构建。这一步骤可以帮助捕捉元素之间位置切换的规律和模式，建立元素在时序上的位置变化关系模型，为后续的元素位置预测和调整提供依据，对元素排列时序数据进行格式条件约束机制设计，旨在定义元素在不同时间点的排列格式和约束条件。这些约束条件可以包括元素之间的距离限制、布局规则等，有助于保持元素在播放过程中的合理排列和布局，提升视觉效果和用户体验。
27、优选地，步骤s23包括以下步骤：
28、步骤s231：对元素排列时序数据进行元素布局分析，得到元素排列布局数据；
29、步骤s232：根据元素排列布局数据对元素排列时序数据进行动态变化规律分析，得到元素动态变化规律数据；
30、步骤s233：获取多媒体屏幕配置数据；
31、步骤s234：根据多媒体屏幕配置数据对元素动态变化规律数据进行元素刷新率动态计算，得到元素动态刷新率数据；
32、步骤s235：根据元素动态刷新率数据对元素排列布局数据进行元素编码格式适配，得到元素编码格式适配数据；根据元素动态刷新率数据进行传输带宽适配，得到传输带宽适配数据；
33、步骤s236：根据元素编码格式适配数据以及传输带宽适配数据进行格式条件约束机制设计，得到元素格式条件约束机制。
34、本发明通过对元素排列时序数据进行元素布局分析，有助于理解元素在屏幕上的整体布局，包括它们的位置、大小、间距等信息。这为后续的动态变化规律分析提供了基础，同时使得对元素排列的整体影响有了更清晰的认识；利用元素排列布局数据对元素排列时序数据进行动态变化规律分析，可以揭示元素在播放过程中的动态变化规律。这包括元素的运动轨迹、尺寸变化等，为后续步骤提供了关键的元素动态变化信息，有助于更准确地适配元素在屏幕上的位置和布局，获取多媒体屏幕配置数据是为了了解当前媒体播放环境的屏幕参数，如分辨率、刷新率等。这些信息是后续计算元素动态刷新率和适配格式时的重要参考，确保元素的呈现在屏幕上是流畅和优化的，利用多媒体屏幕配置数据对元素动态变化规律数据进行刷新率动态计算。这有益于根据屏幕的特性，确定元素在播放过程中的刷新率，从而确保元素的显示效果与屏幕同步，提高视觉体验，根据元素动态刷新率数据，对元素排列布局数据进行编码格式和传输带宽的适配。这确保了元素的呈现在屏幕上是高效和流畅的，充分利用了可用的带宽和编码资源，同时避免了潜在的性能瓶颈，根据元素编码格式适配数据和传输带宽适配数据，设计格式条件约束机制。这有助于确保元素的显示符合特定的格式要求，同时考虑到带宽的限制，提高了整体系统的稳定性和性能。这也可以包括对元素之间的相对位置、尺寸、颜色等方面的约束，以满足特定的播放场景和用户需求。
35、优选地，步骤s3包括以下步骤：
36、步骤s31：通过元素位置切换关系模型对元素排列时序数据进行元素动作切换流畅度分析，得到元素动作切换流畅度数据；
37、步骤s32：根据元素动作切换流畅度数据对多媒体视频播放图像进行帧间差分计算，得到元素动作帧间差分数据；
38、步骤s33：根据元素动作帧间差分数据对元素动作切换流畅度数据进行像素动作向量转换，得到动作像素切换向量；
39、步骤s34：根据动作像素切换向量、元素动作帧间差分数据以及元素动作切换流畅度数据进行动作切换过程中像素损失捕捉，得到动作切换像素损失数据；
40、步骤s35：基于动作切换像素损失数据以及元素动作帧间差分数据对元素排列时序数据进行交互模式设计，得到元素交互模式数据。
41、本发明通过元素位置切换关系模型对元素排列时序数据进行分析，可以评估元素在切换动作过程中的流畅度。这有助于识别潜在的动作切换问题，例如闪烁、卡顿等，为后续优化提供基础数据，根据元素动作切换流畅度数据对视频播放图像进行帧间差分计算。这一步骤能够检测到连续帧之间的差异，识别出元素在运动过程中的变化，为后续的像素动作向量转换提供关键数据，利用元素动作帧间差分数据，将元素动作切换流畅度数据转换为像素动作向量。这样的转换有助于将元素的运动变化量表示为像素级别的信息，更准确地捕捉元素在运动过程中的变化，根据动作像素切换向量、元素动作帧间差分数据以及元素动作切换流畅度数据，进行动作切换过程中的像素损失捕捉。这个步骤的主要目的是识别动作切换过程中可能出现的像素损失，例如图像模糊、失真等，为后续的优化提供目标和依据，基于动作切换像素损失数据以及元素动作帧间差分数据，对元素排列时序数据进行交互模式设计。这一步骤的目标是根据损失数据和帧间差分数据，优化元素在交互过程中的显示方式，以提高用户体验和播放效果。
42、优选地，步骤s34包括以下步骤：
43、步骤s341：根据元素动作帧间差分数据以及元素动作切换流畅度数据进行连续帧的中的元素像素方差计算，得到连续帧元素像素方差数据；
44、步骤s342：基于元素动作帧间差分数据对连续帧元素像素方差数据进行像素方差差分矩阵构建，得到元素像素方差差分矩阵；
45、步骤s343：对元素像素方差差分矩阵进行矩阵间的变化趋势分析，得到矩阵变化趋势数据；
46、步骤s344：利用元素矩阵趋势量化计算公式对矩阵变化趋势数据进行矩阵变化趋势量化计算，得到矩阵趋势量化数据；
47、步骤s345：根据动作像素切换向量以及矩阵趋势量化数据进行动作切换过程中像素损失捕捉，得到动作切换像素损失数据。
48、本发明通过计算连续帧中元素的像素方差，可以量化元素在运动过程中的图像变化程度。高像素方差可能表示有较大的动作或者细微的变化，为后续步骤提供了关键的数据基础，利用元素动作帧间差分数据，对连续帧元素像素方差数据进行差分矩阵的构建。这一步骤能够更细致地捕捉连续帧中元素像素方差的变化，为后续分析提供更详细的信息，对元素像素方差差分矩阵进行分析，获取矩阵间的变化趋势数据。这有助于理解元素在连续帧之间的变化模式，包括运动方向、速度等信息，利用元素矩阵趋势量化计算公式，对矩阵变化趋势数据进行量化计算。这一步骤将复杂的矩阵变化趋势转化为可度量的数值，为进一步的分析提供了方便，根据动作像素切换向量和矩阵趋势量化数据，进行动作切换过程中的像素损失捕捉。这一步骤的目的是更准确地捕捉动作切换中的图像损失情况，为后续优化提供指导。
49、优选地，步骤s344中的元素矩阵趋势量化计算公式如下所示：
50、
51、式中，q表示矩阵趋势量化的结果值，n表示矩阵的维度，i表示矩阵的行数，j表示矩阵的列数，t表示计算趋势量化时考虑的时间范围，m表示矩阵变化趋势数据的变化趋势差异系数，a表示矩阵变化趋势数据的变化趋势复杂度，b表示矩阵元素个数，表示矩阵变化趋势差异系数m对时间的一阶偏导数，表示矩阵变化趋势差异随时间的变化率，表示矩阵变化趋势差异系数m对时间的二阶偏导数，表示矩阵变化趋势差异系数m对时间的三阶偏导数，ω表示元素矩阵趋势量化计算公式的误差调整值。
52、本发明通过查阅相关技术文献以及咨询本领域技术人员，构造了一个元素矩阵趋势量化计算公式，该公式通过考虑矩阵的维度、行数、列数、时间范围以及矩阵趋势的变化特征来提供更全面、准确和动态的趋势量化结果，这些参数的调整可以使趋势量化结果更具代表性，并且可以通过调整误差调整值来进一步修正结果。该公式充分考虑了矩阵的维度n，当矩阵的维度增加时，表示矩阵中包含更多的数据，可以提供更准确的趋势量化结果；矩阵的行数i，它决定了矩阵中数据的行数，增加行数可以提供更多的数据点，有助于更准确地捕捉矩阵的变化趋势；矩阵的列数j，它决定了矩阵中数据的列数，增加列数可以提供更多的数据点，有助于更准确地捕捉矩阵的变化趋势；计算趋势量化时考虑的时间范围t，增加时间范围可以提供更长的数据序列，使得趋势量化结果更具有代表性；矩阵变化趋势数据的变化趋势差异系数m，它反映了矩阵中数据的变化趋势的差异性，通过考虑m的各阶导数，可以更准确地描述矩阵的趋势变化；矩阵变化趋势数据的变化趋势复杂度a，它反映了矩阵中数据的趋势变化的复杂程度，增加a可以考虑更多的趋势变化模式，使得趋势量化结果更全面；矩阵元素个数b，它是矩阵的大小，增加矩阵的元素个数可以提供更多的数据点，有助于更准确地捕捉矩阵的变化趋势；矩阵变化趋势差异系数m对时间的一阶偏导数表示矩阵变化趋势差异随时间的变化率，即矩阵变化趋势随时间的变化率，考虑一阶偏导数可以捕捉矩阵趋势的速度变化，使得趋势量化结果更加动态；矩阵变化趋势差异系数m对时间的二阶偏导数即矩阵变化趋势的加速度，考虑二阶偏导数可以捕捉矩阵趋势的加速度变化，使得趋势量化结果更加敏感；矩阵变化趋势差异系数m对时间的三阶偏导数考虑三阶偏导数可以捕捉矩阵趋势的变化率的变化率，使得趋势量化结果更加精细；元素矩阵趋势量化计算公式的误差调整值ω，它用于对趋势量化结果进行误差修正，通过调整ω的值，可以对趋势量化结果进行微调，使其更符合实际情况。
53、优选地，步骤s4包括以下步骤：
54、步骤s41：对元素交互模式数据进行数字化编码，得到元素交互模式数字化编码数据；
55、步骤s42：对动作切换像素损失数据进行损失补偿策略制定，得到动作切换损失补偿数据；
56、步骤s43：根据动作切换损失补偿数据以及元素交互模式数字化编码数据进行虚拟场景搭建，得到元素交互虚拟场景数据。
57、本发明元素的交互模式数据被数字化编码，这意味着将元素之间的交互行为、规则或者模式转化为计算机可处理的数字形式，这种数字化的表示使得后续的处理更容易进行，同时也有助于减少数据的存储和传输成本，通过这一步骤，系统能够准确地捕捉到元素之间的交互方式，为后续的虚拟场景搭建提供了基础数据；针对动作切换中的像素损失，制定相应的损失补偿策略。这涉及到像素插值、补偿图像技术，目的是尽可能减少动作切换过程中的视觉断裂或图像损失，这样可以改善用户观感，使得动作切换更加流畅自然；根据前两个步骤得到的数据，开始构建虚拟场景。通过结合动作切换损失补偿数据和元素交互模式数字化编码数据，系统可以生成更加真实和逼真的虚拟场景。在场景搭建中，元素之间的交互模式能够被精确地还原，并且通过损失补偿策略，减少了动作切换带来的不连续性。这样，用户在体验虚拟场景时能够感受到更加流畅和真实的交互效果。
58、优选地，本发明提供了一种多媒体信息交互系统，用于执行如上所述的多媒体信息交互方法，该基于多媒体信息交互系统包括：
59、图像元素结构提取模块，用于获取多媒体视频播放数据；对多媒体视频播放数据进行视频图像提取，得到多媒体视频播放图像；对媒体视频播放图像进行图像元素结构提取，得到图像元素结构数据；
60、元素位置切换关系模型构建模块，用于根据多媒体视频播放数据对图像元素结构数据进行元素排列时序分析，得到元素排列时序数据；对元素排列时序数据进行位置切换映射关系模型构建，得到元素位置切换关系模型；
61、元素交互模式设计模块，用于通过元素位置切换关系模型对元素排列时序数据进行元素动作切换流畅度分析，得到元素动作切换流畅度数据；根据元素动作切换流畅度数据进行动作切换过程中像素损失捕捉，得到动作切换像素损失数据；基于动作切换像素损失数据对元素排列时序数据进行交互模式设计，得到元素交互模式数据；
62、元素交互场景搭建模块，用于对元素交互模式数据进行数字化编码，得到元素交互模式数字化编码数据；根据元素交互模式数字化编码数据进行虚拟场景搭建，得到元素交互虚拟场景数据。
63、本发明的有益效果，通过对多媒体视频播放数据进行视频图像提取和图像元素结构提取，可以将视频中的信息转换为可操作的数据形式。这样的转换可以帮助进一步分析视频内容，并对其中的元素进行结构化的处理，使其更易于理解和处理，对图像元素结构数据进行元素排列时序分析有助于了解元素在播放过程中的排列顺序和变化规律。这样的分析可以揭示视频中不同元素之间的关联性和交互方式，为后续处理提供基础数据，构建元素位置切换映射关系模型可以进一步理解视频中元素之间的位置变换规律。这样的模型有助于预测元素在不同时间点的位置，从而为视频的后续编辑、分析或其他处理提供指导，上述步骤的处理可以为多个应用领域提供有益的支持。比如，在视频编辑中，可以利用元素位置切换映射关系模型来设计过渡效果或调整元素的布局；在视频内容分析中，可以利用元素排列时序数据进行场景分割或动作识别等任务；通过对元素排列时序数据进行元素动作切换流畅度分析，可以评估视频中元素之间的过渡效果的流畅程度。这有助于提高视频的观看体验，使得元素之间的切换更加自然和连贯，避免了过渡时的突兀感，在动作切换过程中像素损失数据的捕捉可以帮助发现并量化视频中元素切换时可能出现的画面损失情况。这样的数据有助于优化视频处理算法，减少画面损失，提高视频的质量和清晰度，基于动作切换像素损失数据对元素排列时序数据进行交互模式设计，可以根据视频内容和元素之间的关系，设计出更加合理和有效的交互模式。这有助于增强视频的信息传递效果，使得观众更容易理解和接受视频内容，通过对元素交互模式数据进行数字化编码，并基于此进行虚拟场景搭建，可以将视频内容呈现在虚拟环境中。这样的虚拟场景不仅可以用于视频内容的展示，还可以用于交互式体验、虚拟现实等领域，为用户提供更加沉浸式的观看体验以及交互体验。因此，本发明提供了一种多媒体信息交互方法是对传统的一种多媒体信息交互方法做出的优化处理，解决了传统的一种多媒体信息交互方法存在着对多媒体视频图像切换像素损失分析不准确，以及交互效果不显著的问题，提高了对多媒体视频图像切换像素损失分析的准确性，提升了交互效果的显著性。
1.一种多媒体信息交互方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多媒体信息交互方法，其特征在于，步骤s1包括以下步骤：
3.根据权利要求2所述的多媒体信息交互方法，其特征在于，步骤s14包括以下步骤：
4.根据权利要求1所述的多媒体信息交互方法，其特征在于，步骤s2包括以下步骤：
5.根据权利要求4所述的多媒体信息交互方法，其特征在于，步骤s23包括以下步骤：
6.根据权利要求1所述的多媒体信息交互方法，其特征在于，步骤s3包括以下步骤：
7.根据权利要求6所述的多媒体信息交互方法，其特征在于，步骤s34包括以下步骤：
8.根据权利要求7所述的多媒体信息交互方法，其特征在于，步骤s344中的元素矩阵趋势量化计算公式如下所示：
9.根据权利要求1所述的多媒体信息交互方法，其特征在于，步骤s4包括以下步骤：
10.一种多媒体信息交互系统，其特征在于，用于执行如权利要求1所述的多媒体信息交互方法，该基于多媒体信息交互系统包括：
