本技术涉及人工智能和人脸识别，特别是涉及一种基于ai的图像及多模态识别睡眠状态的方法和装置。
背景技术：
1、鼾症，儿童最常见的鼾症原因是腺样体肥大，对于成年人来说鼾症原因包括鼻炎、以及呼吸障碍等。其中，腺样体肥大堵塞了一部分鼻咽呼吸道，使呼吸道长期处于狭窄状态，只有张着嘴呼吸才感到顺畅，由于张口呼吸时震动咽腔的悬雍垂，随着呼吸就出现了打呼噜。无论是对于儿童还是成年人来说，若产生鼾症，意味着用户的睡眠质素差，长远会导致高血压，甚至损害大脑功能。因此如何识别用户睡眠过程中的睡眠状态，是当前的研究重点。
2、传统的用户睡眠状态的识别方式是通过设置于用户卧室、身体等部位的多种检测仪器，分别检测用户睡眠时的呼吸状态和心率状态，但是该方式成本较大，且由于用户睡眠程度不同，设置于用户身体部位的检测仪器会干扰用户的正常睡眠情况，使得检测的睡眠状态和用户实际睡眠状态不同，从而导致识别的用户睡眠状态的精准度较低。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于ai的图像及多模态识别睡眠状态的方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本技术提供了一种基于ai的图像及多模态识别睡眠状态的方法。所述方法包括：
3、获取用户在不同时间点的多角度的面部图像、以及所述用户的各所述角度的面部基准图像，并构建各所述面部图像对应的实际面部三维结构图、以及各所述面部基准图像对应的基准面部三维结构图；
4、分别提取各所述面部三维结构图的呼吸结构特征信息，并分别识别每个实际面部三维结构图的呼吸结构特征信息、与所述基准面部三维结构图的呼吸结构特征信息之间的特征差异信息；
5、将各所述时间点对应的特征差异信息进行分布排列处理，得到所述用户的特征差异分布信息，并基于所述特征差异分布信息，识别所述用户的睡眠状态。
6、可选的，所述构建各所述面部图像对应的实际面部三维结构图、以及各所述面部基准图像对应的基准面部三维结构图，包括：
7、采集所述用户的头部三维结构数据，并基于所述用户的头部三维结构数据，构建所述用户的头部三维模型；
8、针对每个时间点，通过人脸识别算法，在各所述角度的面部图像中，识别所述用户的脸部朝向角度对应的第一面部图像，并基于所述脸部朝向角度与各其他角度之间的角度偏差值，识别各所述角度的面部图像对应的用户头部范围；
9、基于各所述角度的面部图像对应的用户头部范围映射至所述用户的头部三维模型中，得到所述时间点的各面部图像对应的实际面部三维结构图，并将各所述面部基准图像，替换各所述面部图像，返回执行通过人脸识别算法，在各所述角度的面部图像中，识别所述用户的脸部朝向角度对应的第一面部图像步骤，得到各所述面部基准图像对应的基准面部三维结构图。
10、可选的，所述分别提取各所述面部三维结构图的呼吸结构特征信息，包括：
11、针对每个面部三维结构图，通过图像目标检测网络，提取所述面部三维结构图中的嘴部三维结构图；
12、通过图像特征识别网络，识别所述嘴部三维结构图中的各结构特征信息，并将所有结构特征信息，作为所述面部三维结构图的呼吸结构特征信息。
13、可选的，所述分别识别每个实际面部三维结构图的呼吸结构特征信息、与所述基准面部三维结构图的呼吸结构特征信息之间的特征差异信息，包括：
14、针对每个实际面部三维结构图，识别所述实际面部三维结构图的每个结构特征信息的特征类型，并计算相同特征类型的所述实际面部三维结构图的结构特征信息、与所述基准面部三维结构图的结构特征信息之间的子差异信息；
15、将所有特征类型的结构特征信息对应的子差异信息，作为所述实际面部三维结构图的呼吸结构特征信息、与所述基准面部三维结构图的呼吸结构特征信息之间的特征差异信息。
16、可选的，所述将各所述时间点对应的特征差异信息进行分布排列处理，得到所述用户的特征差异分布信息，包括：
17、针对每个特征类型，将所述特征类型的各子差异信息，按照各所述子差异信息对应的实际面部三维结构图的时间点的先后顺序进行排列处理，得到所述特征类型对应的子特征差异分布信息；
18、将所有特征类型对应的子特征差异分布信息，作为所述用户的特征差异分布信息。
19、可选的，所述基于所述特征差异分布信息，识别所述用户的睡眠状态，包括：
20、识别每个相邻时间点的实际面部三维结构图对应的脸部朝向角度之间的角度偏差值，并基于各所述相邻时间点之间的角度偏差值与预设角度偏差阈值之间的大小关系，识别所述用户的睡眠翻转频率、以及所述用户的睡眠翻转数目；
21、将每个子特征差异分布信息进行拟合处理，得到每个子特征差异分布信息对应拟合分布曲线，并识别每个拟合分布曲线的分布范围、以及每个拟合分布曲线的分布趋势信息；
22、在睡眠状态数据库中，查询每个特征类型在不同睡眠状态对应的差异分布范围、每个特征类型在不同睡眠状态对应的差异分布趋势范围、以及每个特征类型的影响权重，并基于每个拟合分布曲线的分布范围、以及每个拟合分布曲线的分布趋势信息，识别每个特征类型对应的子睡眠状态；
23、基于所述用户的睡眠翻转频率、以及所述用户的睡眠翻转数目，识别所述用户的睡眠状态影响系数，并基于所述用户的睡眠状态影响系数、各所述特征类型对应的子睡眠状态、以及各所述特征类型的影响权重，计算所述用户的睡眠状态。
24、可选的，所述基于所述特征差异分布信息，识别所述用户的睡眠状态之后，还包括：
25、在每个时间点采集所述用户的睡眠声音，并按照各所述时间点的时间顺序，对所述用户的睡眠声音的音频信息进行排序处理，得到所述用户的睡眠声音分布序列；
26、识别所述睡眠声音分布序列的分布范围、以及所述睡眠声音分布序列的分布趋势，并在睡眠声音数据库中，查询在所述用户的睡眠状态下，所述分布范围、以及所述分布趋势对应的各睡眠异常程度；
27、将所述用户的睡眠状态、以及所述用户的睡眠异常程度，作为所述用户的目标睡眠异常信息。
28、第二方面，本技术还提供了一种基于ai的图像及多模态识别睡眠状态的装置。所述装置包括：
29、获取模块，用于获取用户在不同时间点的多角度的面部图像、以及所述用户的各所述角度的面部基准图像，并构建各所述面部图像对应的实际面部三维结构图、以及各所述面部基准图像对应的基准面部三维结构图；
30、提取模块，用于分别提取各所述面部三维结构图的呼吸结构特征信息，并分别识别每个实际面部三维结构图的呼吸结构特征信息、与所述基准面部三维结构图的呼吸结构特征信息之间的特征差异信息；
31、识别模块，用于将各所述时间点对应的特征差异信息进行分布排列处理，得到所述用户的特征差异分布信息，并基于所述特征差异分布信息，识别所述用户的睡眠状态。
32、可选的，所述获取模块，具体用于：
33、采集所述用户的头部三维结构数据，并基于所述用户的头部三维结构数据，构建所述用户的头部三维模型；
34、针对每个时间点，通过人脸识别算法，在各所述角度的面部图像中，识别所述用户的脸部朝向角度对应的第一面部图像，并基于所述脸部朝向角度与各其他角度之间的角度偏差值，识别各所述角度的面部图像对应的用户头部范围；
35、基于各所述角度的面部图像对应的用户头部范围映射至所述用户的头部三维模型中，得到所述时间点的各面部图像对应的实际面部三维结构图，并将各所述面部基准图像，替换各所述面部图像，返回执行通过人脸识别算法，在各所述角度的面部图像中，识别所述用户的脸部朝向角度对应的第一面部图像步骤，得到各所述面部基准图像对应的基准面部三维结构图。
36、可选的，所述提取模块，具体用于：
37、针对每个面部三维结构图，通过图像目标检测网络，提取所述面部三维结构图中的嘴部三维结构图；
38、通过图像特征识别网络，识别所述嘴部三维结构图中的各结构特征信息，并将所有结构特征信息，作为所述面部三维结构图的呼吸结构特征信息。
39、可选的，所述提取模块，具体用于：
40、针对每个实际面部三维结构图，识别所述实际面部三维结构图的每个结构特征信息的特征类型，并计算相同特征类型的所述实际面部三维结构图的结构特征信息、与所述基准面部三维结构图的结构特征信息之间的子差异信息；
41、将所有特征类型的结构特征信息对应的子差异信息，作为所述实际面部三维结构图的呼吸结构特征信息、与所述基准面部三维结构图的呼吸结构特征信息之间的特征差异信息。
42、可选的，所述识别模块，具体用于：
43、针对每个特征类型，将所述特征类型的各子差异信息，按照各所述子差异信息对应的实际面部三维结构图的时间点的先后顺序进行排列处理，得到所述特征类型对应的子特征差异分布信息；
44、将所有特征类型对应的子特征差异分布信息，作为所述用户的特征差异分布信息。
45、可选的，所述识别模块，具体用于：
46、识别每个相邻时间点的实际面部三维结构图对应的脸部朝向角度之间的角度偏差值，并基于各所述相邻时间点之间的角度偏差值与预设角度偏差阈值之间的大小关系，识别所述用户的睡眠翻转频率、以及所述用户的睡眠翻转数目；
47、将每个子特征差异分布信息进行拟合处理，得到每个子特征差异分布信息对应拟合分布曲线，并识别每个拟合分布曲线的分布范围、以及每个拟合分布曲线的分布趋势信息；
48、在睡眠状态数据库中，查询每个特征类型在不同睡眠状态对应的差异分布范围、每个特征类型在不同睡眠状态对应的差异分布趋势范围、以及每个特征类型的影响权重，并基于每个拟合分布曲线的分布范围、以及每个拟合分布曲线的分布趋势信息，识别每个特征类型对应的子睡眠状态；
49、基于所述用户的睡眠翻转频率、以及所述用户的睡眠翻转数目，识别所述用户的睡眠状态影响系数，并基于所述用户的睡眠状态影响系数、各所述特征类型对应的子睡眠状态、以及各所述特征类型的影响权重，计算所述用户的睡眠状态。
50、可选的，所述装置还包括：
51、采集模块，用于在每个时间点采集所述用户的睡眠声音，并按照各所述时间点的时间顺序，对所述用户的睡眠声音的音频信息进行排序处理，得到所述用户的睡眠声音分布序列；
52、查询模块，用于识别所述睡眠声音分布序列的分布范围、以及所述睡眠声音分布序列的分布趋势，并在睡眠声音数据库中，查询在所述用户的睡眠状态下，所述分布范围、以及所述分布趋势对应的各睡眠异常程度；
53、确定模块，用于将所述用户的睡眠状态、以及所述用户的睡眠异常程度，作为所述用户的目标睡眠异常信息。
54、第三方面，本技术提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面中任一项所述的方法的步骤。
55、第四方面，本技术提供了一种计算机可读存储介质。其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。
56、第五方面，本技术提供了一种计算机程序产品。所述计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。
57、上述基于ai的图像及多模态识别睡眠状态的方法和装置，通过获取用户在不同时间点的多角度的面部图像、以及所述用户的各所述角度的面部基准图像，并构建各所述面部图像对应的实际面部三维结构图、以及各所述面部基准图像对应的基准面部三维结构图；分别提取各所述面部三维结构图的呼吸结构特征信息，并分别识别每个实际面部三维结构图的呼吸结构特征信息、与所述基准面部三维结构图的呼吸结构特征信息之间的特征差异信息；将各所述时间点对应的特征差异信息进行分布排列处理，得到所述用户的特征差异分布信息，并基于所述特征差异分布信息，识别所述用户的睡眠状态。本方案通过采集用户在睡眠的各时间点的多角度的面部图像之后，分别识别用户的在各时间点的实际面部三维结构图、与用户的基准面部三维结构图的呼吸结构特征信息之间的特征差异信息，然后基于各特征差异信息从而识别用户的睡眠状态，无须设置于用户身体部位，使得能直观获取用户更贴近实际的睡眠状态，其次用户鼾症的临床特征主要体现于睡觉时嘴部开合，因此通过识别用户的面部三维结构图的呼吸结构特征信息不仅能够更精准识别用户睡眠状态中的鼾症情况，而且通过三维结构图识别用户的呼吸结构特征信息的特征差异信息，避免了单一角度图像、或二维图像的特征信息存在特征单一，使得影响识别用户的睡眠状态精准度的问题，并且本方法通过构建三维结构图的比对算法，实现图像识别和呼吸结构特征信息的识别，从而提升了识别的用户睡眠状态的精准度。
1.一种基于ai的图像及多模态识别睡眠状态的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述构建各所述面部图像对应的实际面部三维结构图、以及各所述面部基准图像对应的基准面部三维结构图，包括：
3.根据权利要求1所述的方法，其特征在于，所述分别提取各所述面部三维结构图的呼吸结构特征信息，包括：
4.根据权利要求3所述的方法，其特征在于，所述分别识别每个实际面部三维结构图的呼吸结构特征信息、与所述基准面部三维结构图的呼吸结构特征信息之间的特征差异信息，包括：
5.根据权利要求4所述的方法，其特征在于，所述将各所述时间点对应的特征差异信息进行分布排列处理，得到所述用户的特征差异分布信息，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述特征差异分布信息，识别所述用户的睡眠状态，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所述特征差异分布信息，识别所述用户的睡眠状态之后，还包括：
8.一种基于ai的图像及多模态识别睡眠状态的装置，其特征在于，所述装置包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
