本发明一般涉及图像处理技术领域，具体涉及医疗图像处理领域，尤其涉及一种基于人工智能的卵圆孔闭合检测方法、系统、设备及介质。
背景技术：
卵圆孔是心脏中心房间隔的一种胚胎缺陷，卵圆孔是房间隔中部的一个开放区，位于胚胎期原发间隔与继发间隔的交界处，通常由原发间隔的一个薄片所覆盖。随着医疗信息技术的不断发展，超声影像学技术已经成为诊断卵圆孔未闭的影像技术手段之一，对于卵圆孔未闭的早期筛查和医学研究具有重要的作用。
目前，可以采用两种方式进行诊断：一种是医生通过观察患者静息状态以及瓦氏动作停止后3～6个心动周期内左心内有无微泡显影并记录显影微泡的数量，从而确定患者是否存在右向左分流，但是该方法容易受到速度量程和医生主观经验的影响，使得难以保证检测准确性和一致性；另一种是采用人工智能技术对心脏超声影像进行自动测量和分析，通过采用决策树、聚类、贝叶斯分类、支持向量机、em等传统的机器学习算法，然而这些算法仅通过随机抽取的超声图像进行分类，丢失了心脏的运动信息，导致检测不准确。
技术实现要素：
鉴于现有技术中的上述缺陷或不足，期望提供一种基于人工智能的卵圆孔闭合检测方法、系统、设备及介质。
第一方面，本申请实施例提供了一种基于人工智能的卵圆孔闭合检测方法，该方法包括：
获取检测对象在至少两种模态下的超声心动视频，超声心动视频包括至少一个切面；
对超声心动视频进行预处理，提取超声心动视频中的每一视频帧；
将每一视频帧输入训练好的卷积神经网络模型，确定检测对象的卵圆孔闭合状态检测结果，卷积神经网络模型包括第一检测模型和与第一检测模型相连的第二检测模型，第一检测模型用于输出检测对象在至少两种模态的阴阳性检测结果，第二检测模型用于对检测结果呈阳性的视频帧进行分类，得到卵圆孔闭合状态检测结果。
第二方面，本申请提供了一种基于人工智能的卵圆孔闭合检测系统，该系统包括：
获取模块，用于获取检测对象在至少两种模态下的超声心动视频，超声心动视频包括至少一个切面；
处理模块，用于对超声心动视频进行预处理，提取超声心动视频中的每一视频帧；
确定模块，用于将每一视频帧输入训练好的卷积神经网络模型，确定检测对象的卵圆孔闭合状态检测结果，卷积神经网络模型包括第一检测模型和与第一检测模型相连的第二检测模型，第一检测模型用于输出检测对象在至少两种模态的阴阳性检测结果，第二检测模型用于对检测结果呈阳性的视频帧进行分类，得到卵圆孔闭合状态检测结果。
第三方面，本申请实施例提供一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如上述第一方面的基于人工智能的卵圆孔闭合检测方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于实现如上第一方面的基于人工智能的卵圆孔闭合检测方法。
本申请实施例中提供的基于人工智能的卵圆孔闭合检测方法方法、系统、设备及存储介质，通过获取检测对象在至少两种模态下的超声心动视频，该超声心动视频包括至少一个切面，并对超声心动视频进行预处理，提取超声心动视频中的每一视频帧，将每一视频帧输入训练好的卷积神经网络模型，确定检测对象的卵圆孔闭合状态检测结果，该卷积神经网络模型包括第一检测模型和与第一检测模型相连的第二检测模型，该第一检测模型用于输出检测对象在至少模态的阴阳性检测结果，第二检测模型用于对检测结果呈阳性的视频帧进行分类，得到卵圆孔闭合状态检测结果。该技术方案无需人工干预，由于使用了第一检测模型和第二检测模型，能够准确且更全面地识别超声心动视频中的心脏影像特征，有效减少医生的工作量，提高了工作效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的卵圆孔闭合检测的应用系统的系统架构图；
图2为本申请实施例提供的卵圆孔闭合检测方法的流程示意图；
图3为本申请实施例提供的对超声心动视频进行预处理方法的流程示意图；
图4为本申请实施例提供的卵圆孔闭合检测方法的流程示意图；
图5为本申请另一实施例提供的卵圆孔闭合检测的结构示意图；
图6为本申请实施例提供的卵圆孔闭合检测的结构示意图；
图7为本申请实施例提供的计算第一预测值方法的流程示意图；
图8为本申请实施例提供的全局分组卷积层的结构示意图；
图9为本申请实施例提供的静息模态检测子模型训练方法的流程示意图；
图10为本申请实施例提供的静息模态检测子模型训练的结构示意图；
图11为本申请实施例提供的卵圆孔闭合检测系统的结构示意图；
图12为本申请另一实施例提供的卵圆孔闭合检测系统的结构示意图；
图13为本申请实施例示出的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。为了便于理解，下面对本申请实施例涉及的一些技术术语进行解释：
卵圆孔未闭：(patentforamenovale，简称pfo)，是一种特殊类型的房间隔交通，是指原发隔与继发隔之间的异常交通。
右向左分流：(righttoleft，简称rls)，是指心脏左、右心腔间存在异常通道，导致部分血液出现由右心至左心的分流现象。
静息状态：指的是病人没有活动，没有情绪激动，安静休息时的状态。
瓦氏动作：指的是令病人行强力闭呼动作，通过增加胸内压来影响血液循环和自助神经功能状态，进而达到诊疗目的的一种临床生理试验。
如背景技术中提到的，卵圆孔未闭在成年人中的发病率约为20％～25％，近年来越来越多的研究发现，卵圆孔未闭伴发右向左分流的患者发生隐源性卒中、前兆偏头痛、减压病、短暂性脑缺血等疾病的风险较高，因此，对pfo-rls(卵圆孔未闭-右向左分流)的早期筛查和正确诊断具有重要意义。
目前，可以采用两种方式进行诊断：一种是医生通过肉眼观察患者静息状态以及瓦氏动作停止后3～6个心动周期内左心内有无微泡显影并记录显影微泡的数量，从而确定患者是否存在右向左分流，但是该方法极易收到速度量程和医生主观经验的影响，从而难以保证检测准确性和一致性，另外，国际上对于超声影像的疾病份级，也尚未形成明确的共识，这些因素给临床识别带来了极大的困难；另一种是采用人工智能技术对心脏超声影像进行自动测量和分析，通过采用决策树、聚类、贝叶斯分类、支持向量机、em等传统的机器学习算法，然而这些算法仅通过随机抽取的超声图像进行分类，丢失了心脏的运动信息，导致检测不准确。
基于上述缺陷，本申请提供了一种基于人工智能的卵圆孔闭合检测方法、系统、设备及介质，与现有技术相比，该技术方案无需人工干预，由于使用了第一检测模型和第二检测模型，能够准确且更全面地识别超声心动视频中的心脏影像特征，有效减少医生的工作量，提高了工作效率。
图1是本申请实施例提供的一种基于人工智能的卵圆孔闭合检测方法的实施环境架构图。如图1所示，该实施环境架构包括：终端100和服务器200。
终端100可以是各类ai应用场景中的终端设备。例如，终端100可以是智能电视、智能电视机顶盒等智能家居设备，或者终端100可以是智能手机、平板电脑以及电子书阅读器等移动式便携终端，或者，该终端100可以是智能眼镜、智能手表等智能可穿戴设备，本实施例对此不进行具体限定。
其中，终端100中可安装有的ai应用。比如，该ai应用可以是图像处理等应用。
服务器200可以是一台服务器，也可以是由若干台服务器构成的服务器集群，或者服务器200可以包含一个或多个虚拟化平台，或者服务器200可以是一个云计算服务中心。
其中，服务器200可以是为上述终端100中安装的ai应用提供后台服务的服务器设备。
终端100与服务器200之间通过有线或无线网络建立通信连接。可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(localareanetwork，lan)、城域网(metropolitanareanetwork，man)、广域网(wideareanetwork，wan)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。
上述ai应用系统在提供ai应用服务的过程中，可以通过卷积神经网络模型对检测对象在静息状态和瓦氏状态下的超声视频进行分类，并根据诊断结果结果提供ai应用服务。其中，上述卷积神经网络模型可以设置在服务器200中，由服务器训练以及应用；或者，上述卷积神经网络模型也可以设置在终端100中，并由服务器200训练及更新。
为了便于理解和说明，下面通过图2至图13详细阐述本申请实施例提供的基于人工智能的卵圆孔闭合检测方法、系统、设备及介质。
图2所示为本申请实施例的基于人工智能的卵圆孔闭合检测的流程示意图，该方法可以由计算机设备执行，该计算机设备可以是上述图1所示系统中的服务器200或者终端100，或者，该计算机设备也可以是终端100和服务器200的结合。如图2所示，该方法包括：
s101、获取检测对象在至少两种模态下的超声心动视频，该超声心动视频包括至少一个切面。
具体的，上述超声心动视频是指应用超声测距原理脉冲超声波透过胸腔、软组织测量其各心壁、心室及瓣膜等结构的周期性活动，在显示器上显示为检测对象的各结构相应结构特征。
可以理解的是，超声检测时针对检测对象不同体位、心脏的不同切面，能够获得含有多个序列的超声心动视频，其中，每个序列对应超声检查中的一个切面。上述超声心动视频中包括至少一个切面。
本实施例中，首先获取检测对象在至少两种模态下的超声心动视频，该至少两种模态可以是静息状态和瓦氏状态，该超声心动视频中具有多个视频帧。需要说明的是，使用超声心动视频而不用单张图像作为输入，是因为视频在时间维度上提供了更多信息，这包括帧与帧之间的变化信息，而单一的图像往往丢失了心脏的运动信息，容易造成分类不准确。
需要说明的是，该检测对象可以是患者，检测对象在不同呼吸状态下采集到的超声心动视频图像存在明显的特征差异，例如在静息状态和瓦氏状态下拍摄的上述超声心动视频的分类特征不同。在获取到超声心动视频后，可以进一步获取到检测对象的常规心尖四腔切面视频。
s102、对超声心动视频进行预处理，提取超声心动视频中的每一视频帧。
具体的，在获取到检测对象在静息状态和瓦氏状态下的超声心动视频后，可以对超声心动视频进行预处理，提取超声心动视频中的每一视频帧，通过运用图像处理技术对每一视频帧进行标准化和归一化预处理，以减轻不同品牌和型号的超声设备的图像质量差异。
在对超声心动视频进行预处理，得到预处理后的图像后，可以对预处理后的图像进行颜色通道的重排处理，从而生成新的图像帧，进而得到新的视频数据。
在上述实施例的基础上，图3为对超声心动视频进行预处理方法的流程图，如图3所示，该方法包括：
s201、采用预设的采样率和编码格式对超声心动视频进行处理，得到处理后的超声心动视频。
s202、对处理后的超声心动视频进行抽帧处理，得到所有图像帧。
s203、对所有图像帧中的每个图像帧进行灰度化、标准化、归一化处理，输出与每个图像帧对应的预处理后的图像。
本步骤中，在对超声心动视频进行预处理时，可以采用预设的采样率和编码格式对超声心动视频进行处理，得到处理后的超声心动视频，然后对处理后的超声心动视频进行抽帧处理，得到所有图像帧，并对所有图像帧中的每个图像帧进行灰度化、标准化、归一化处理，输出每个图像帧对应的预处理后的图像。
其中，上述采样率表示采样速度，为每秒从连续信号中提取并组成离散信号的采样个数，采样率越高，采样的间隔时间越短，则在单位时间内计算机得到的样本数据就越多。上述预设的采样率和和编码格式可以是根据实际需求自定义设置的。
本实施例中通过对超声心动视频中的每一视频帧进行预处理，可以大大扩充原始数据的数据量，从而获取到大量的样本集，进而提高卷积神经网络模型预测的准确率，并且对于不同品牌和型号的超声设备制作的超声心动视频图像，标准化处理为统一的格式，具有很强的适用性。
s103、将每一视频帧输入训练好的卷积神经网络模型，确定检测对象的卵圆孔闭合状态检测结果。
在提取到超声心动视频中的每一视频帧后，可以将每一视频帧输入至训练好的卷积神经网络模型中，该卷积神经网络模型用于提取超声心动视频中不同时刻的空间信息和时序信息特征，从而得到检测对象的卵圆孔闭合状态检测结果。该卵圆孔闭合状态检测结果可以为检测对象的卵圆孔未闭-右向左分流rls程度。
可选的，上述卷积神经网络模型可以包括第一检测模型和与第一检测模型相连接的第二检测模型，该第一检测模型和第二检测模型对应的模型参数不同。需要说明的是，该卷积神经网络模型中的第一检测模型和第二检测模型均是通过预先对已知标签种类的历史视频数据进行训练获得的模型，能够捕捉到视频中的特征信息。其中，第一检测模型用于检测输出检测对象在至少两种模态的阴阳性检测结果，该阴阳性检测结果包括阳性结果和隐形结果；第二检测模型用于对检测结果呈阳性的视频帧进行分类，得到卵圆孔闭合状态检测结果，该卵圆孔闭合状态检测结果可以是卵圆孔未闭pfo为阳性时的右向左分流rls程度，例如可以是少量、中量和大量等。
进一步地，在上述实施例的基础上，图4示出了将每一视频帧输入卷积神经网络模型方法的流程示意图，如图4所示，该方法包括：
s301、将每一视频帧输入至第一检测模型中，确定每一视频帧在静息模态和瓦氏模态的阴阳性检测结果。
s302、将呈阳性结果的每一视频帧输入至第二检测模型中，确定检测对象的卵圆孔闭合状态检测结果。
需要说明的是，由于检测对象在不同呼吸状态下采集到超声心动视频图像具有明显的特征差异，因此，对应输入的超声心动视频中的每一视频帧，需要将检测对象在不同呼吸状态下的每一视频帧输入至与呼吸状态对应的神经网络模型进行预测，从而使得检测对象针对不同模态的超声心动视频数据，都具有正确率很高的预测结果。
可选的，上述神经网络模型可以是卷积神经网络模型cnn，还可以是双流网络、也可以是3d卷积网络，还可以是使用静态图像特征聚合方法等，也可以采用双流网络和3d卷积组合而成的i3d网络，又可以采用resnet残差网络。
示例性地，本实施例以卷积神经网络cnn为例，请参见图5所示，在将每一视频帧输入第一检测模型时，可以将检测对象在第一模态modality1的每一视频帧输入与第一模态modality1对应的训练好的卷积神经网络模型cnn1中，从而输出第一预测值prediction1，同时将检测对象在第二模态modality2的每一视频帧输入与第二模态modality2对应的训练好的卷积神经网络模型cnn2中，从而输出第二预测值prediction2，并将检测对象在第三模态modality3的每一视频帧输入与第三模态modality3对应的训练好的卷积神经网络模型cnn3中，从而输出第三预测值prediction3，并对第一预测值prediction1、第二预测值prediction2、第三预测值prediction3进行综合分析，通过模型融合处理，从而得到该检测对象的总预测值prediction。
进一步地，在基于第一预测值、第二预测值、第三预测值进行综合分析时，只要预测值中出现阳性结果时，即确定该检测对象的阴阳性检测结果为阳性，当预测值全为阴性结果时，即确定该检测对象的阴阳性检测结果为阴性。假设预测值为1代表阳性结果，预测值为0代表阴性结果例如第一预测值为1，第二预测值为0，第三预测值为0，则确定该检测对象的总预测值为1，即阴阳性检测结果为阳性；当第一预测值为0，第二预测值为0，第三预测值为0，则确定该检测对象的总预测值为0，即阴阳性检测结果为阴性。
本实施例中采用多模态学习的方案，使得检测对象无论在静息模态还是瓦氏模态拍摄的超声心动视频，都具有很强的适用性，能够针对不同模态的超声心动视频数据，均能得到正确率很高的预测结果。
上述第一检测模型包括静息模态检测子模型和瓦氏模态检测子模型，静息状态检测子模型用于输出检测对象在静息状态的卵圆孔未闭pfo的阴阳性检测结果，瓦氏状态检测子模型用于输出检测对象在瓦氏状态的卵圆孔未闭pfo的阴阳性检测结果。
具体的，可以参见图6所示，其示出了本申请实施例涉及的一种卷积神经网络模型的结构示意图，如图6所示，在对超声心动视频进行预处理，提取到超声心动视频中的每一视频帧10后，将该每一视频帧10输入第一检测模型20中，可以先确定检测对象在静息模态和瓦氏模态对应的每一视频帧，然后并行地将检测对象在静息模态对应的每一视频帧输入至静息模态检测子模型210，得到在静息模态下超声心动视频含有预识别图像特征的第一预测值，以及将检测对象在瓦氏模态对应的每一视频帧输入至瓦氏模态检测子模型220，得到在瓦氏模态下超声心动视频含有预识别图像特征的第二预测值。然后对第一预测值和第二预测值进行综合分析处理，确定每一视频帧在静息模态和瓦氏模态的阴阳性检测结果。并将检测结果呈阳性的每一视频帧输入第二检测模型30中，得到检测对象的卵圆孔闭合状态检测结果40。
在上述实施例的基础上，如图7所示，图7为本申请实施例提供的将检测对象在静息模态对应的每一视频帧输入至静息模态检测自模型方法的流程示意图，该方法包括：
s401、将检测对象在静息状态对应的每一视频帧输入静息模态检测子模型，得到与每一视频帧对应的n维特征向量。
s402、将每一视频帧对应的n维特征向量通过全局分组卷积层进行处理，得到与每一视频帧对应的权重。
s403、利用权重对n维特征向量进行特征融合，得到整体特征表示。
s404、基于整体特征表示，计算超声心动视频含有预识别图像特征的第一预测值。
需要说明的是，对于心脏超声设备的拍摄的超声心动视频，由于探头的位置固定，对于视频中的任意视频帧，各心脏的相对位置始终保持不变。而不同设备对不同病人拍摄的超声心动视频，只要拍摄的切面一致，即本实施例中为a4c切面，所有视频呈现的各心脏相对位置也可以近似看作是不变的。因此，超声视频的图像具有良好的对齐性质(imagealigment)，为了提高模型对于对齐图像的特征提取能力，本实施例中通过设置全局分组卷积层(globalgroupconvolution,ggc)，且ggc卷积核的分组数g与输入特征图的通道数n相等，同时具有与输入特征图相同的尺寸，从而使得ggc可以给输入特征图的每一个位置赋予一个可以学习的权重，得到权重矩阵，例如超声视频中的每一视频帧对应的特征图中的中心位置、边界位置、心腔位置等在模型中具有不同的权重，从而使得模型可以根据不同的任务，更有针对性地提取到图像特征。
示例性地，请参见图8所示，当在输入通道inputchannel-n输入为每一视频帧对应的特征图时，通过卷积通道convchannel-1将卷积核的与特征图的通道进行相乘和相加处理，得到卷积和，从而得到每个特征图中不同位置对应的权重，进而在输出通道outputchannel-n得到输出结果。进一步地，将该输出结果依次通过全连接层和激活函数进行处理，可以先通过全连接层进行处理，得到全连接向量，然后采用激活函数对对全连接向量进行处理，得到预测结果，该预测结果可以是超声心动视频的标签种类的概率，例如可以为预测值。
具体的，在确定出检测对象在静息模态对应的每一视频帧时，可以将检测对象在静息模态对应的每一视频帧输入至静息模态检测子模型中，得到与每一视频帧对应的n维特征向量，并将每一视频帧对应的n维特征向量通过全局分组卷积层进行处理，得到与每一视频帧对应的权重，然后利用权重对n维特征向量进行特征融合，得到整体特征表示，并基于整体特征表示，通过fc全连接层和激活函数计算得到在静息模态下超声心动视频含有预识别特征的第一预测值。其中，该激活函数可以是sigmoid函数，激活函数的作用是用来加入非线性因素，因为线性模型的表达能力不够，能够把输入的连续实值变换为0和1之间的输出。该第一预测值的取值在0到1之间，代表着在静息模态下超声心动视频中存在卵圆孔未闭特征的概率。
同理，在确定出检测对象在瓦氏模态对应的每一视频帧时，可以将检测对象在瓦氏模态对应的每一视频帧输入至瓦氏模态检测子模型中，得到与每一视频帧对应的n维特征向量，并将每一视频帧对应的n维特征向量通过全局分组卷积层进行处理，得到与每一视频帧对应的权重，然后利用权重对n维特征向量进行特征融合，得到整体特征表示，并基于整体特征表示，通过fc全连接层和激活函数计算得到在瓦氏模态下超声心动视频含有预识别特征的第二预测值。第二预测值的取值在0到1之间，代表着在瓦氏模态下超声心动视频中存在卵圆孔未闭特征的概率。
当输出的第一预测值或第二预测值大于预设阈值时，即确定阴阳性检测结果为呈阳性。例如当第一预测值为0.056，预设阈值为0.5，第二预测值为0.0862时，则确定检测对象在静息模态时的检测结果呈阴性，在瓦氏模态时的检测结果呈阳性。
进一步地，将呈阳性检测结果的每一视频帧输入至第二检测模型中，确定检测对象的卵圆孔闭合状态检测结果。其中，该第二检测模型可以是卷积神经网络模型cnn，还可以是双流网络、也可以是3d卷积网络，还可以是使用静态图像特征聚合方法等，也可以采用双流网络和3d卷积组合而成的i3d网络，又可以采用resnet残差网络。
示例性地，以第二检测模型为卷积神经网络cnn为例，可以将检测对象的检测结果呈阳性的每一视频帧输入第二检测模型中，得到与每一视频帧对应的n维特征向量，并将每一视频帧对应的n维特征向量通过全局分组卷积层进行处理，得到与每一视频帧对应的权重，然后利用权重对n维特征向量进行特征融合，得到整体特征表示，并基于整体特征表示，通过fc全连接层和激活函数计算得到检测对象的卵圆孔闭合状态检测结果。其中，检测对象的卵圆孔闭合状态检测结果可以是卵圆孔未闭pfo为阳性时的右向左分流rls程度，例如可以是少量、中量和大量等对应的概率值，将概率值最大的作为检测对象的卵圆孔闭合状态检测结果。
本实施例中在深度神经网络模型的基础上，通过在特征提取器和特征选择器之间加入全局分组卷积层，能够为特征图中的每个位置赋予了可学习的权重，从而提升了模型的表达能力。
上述实施例中的卷积神经网络模型包括预先训练好的第一检测模型和第二检测模型，其中，第一检测模型包括静息模态检测子模型和瓦氏模态检测子模型，以静息模态检测子模型为例进行说明，图9为本申请实施例提供的对静息模态检测子模型训练的方法流程示意图，如图9所示，该方法包括：
s501、构建历史超声视频数据，将历史超声视频数据分为训练集和验证集。
s502、利用训练集对待构建的静息模态检测子模型进行训练，得到待验证的静息模态检测子模型。
s503、利用验证集对待验证的静息模态检测子模型，按照损失函数最小化对待验证的静息模态检测子模型进行优化处理，得到静息模态检测子模型。
需要说明的是，上述历史超声视频数据可以是多个，也可以是一个，其中，每个历史超声视频数据可以包括多个视频帧。由于心脏超声设备拍摄的而超声心动视频通常拥有很大的信息量，在本实实施例中，采用的大多数视频的分辨率为1280*960，帧率为60fps，视频长度在20s以上。对于该历史超声视频数据，如果采用常规的数据标注方式，需要对每一视频帧数据进行人工标注，这回耗费巨大的人工成本和时间成本，本申请中采用弱监督学习的方式，只需对原始的超声视频数据进行类别标注，使得神经网络自动提取视频数据的帧级特征，并生成对视频的特征描述，从而减少了标注工作量，并能够充分、且更有效地利用数据。
请参见图10所示，本实实施例中的该历史超声视频数据可以通过弱监督学习方法进行数据标注，从而得到负样本标签negative为(xi,yi)，正样本标签positive为(xn，yn)，且正样本标签表示为阴性，负样本标签表示为阳性，然后将所有的历史超声视频数据按照比例进行分层抽样，划分为训练集、验证集和测试集。其中，训练集用于对初始静息模态检测子模型进行训练，以得到训练好的静息模态检测子模型，验证集用于对训练好的静息模态检测子模型进行验证，以验证训练好的静息模态检测子模型性能的好坏。
然后将训练集输入待构建的静息模态检测子模型中，依次通过分类器classifier、全局分组卷积层和激活函数softmax等得到负样本标签对应的输出值
可选的，上述对待验证的静息模态检测子模型中的参数进行更新，可以是对待构建的静息模态检测子模型中的权重矩阵以及偏置矩阵等矩阵参数进行更新。其中，上述权重矩阵、偏置矩阵包括但不限于是待验证的静息模态检测子模型中的自注意力层、前馈网络层、全连接层中的矩阵参数。
本实施例中根据该验证集输入待验证的静息模态检测子模型中得到的结果和标注结果之间的差异，对待构建的静息模态检测子模型中的参数进行更新，以实现对静息模态检测子模型进行训练的目的。
其中，通过损失函数对待验证的静息模态检测子模型中的参数进行更新时，可以是根据损失函数确定待验证的静息模态检测子模型未收敛时，通过调整模型中的参数，以使得待验证的静息模态检测子模型收敛，从而得到静息模态检测子模型。待验证的静息模态检测子模型收敛，可以是指待验证的静息模态检测子模型对验证集的输出结果与训练数据的标注结果之间的差值小于预设阈值，或者，输出结果与训练数据的标注结果之间的差值的变化率趋近于某一个较低值。当计算的损失函数较小，或者，与上一轮迭代输出的损失函数之间的差值趋近于0，则认为待验证的静息模态检测子模型收敛。
同理，可以采用与上述静息模态检测子模型的训练过程相同的步骤对初始的瓦氏模态检测子模型中的参数进行训练，得到瓦氏模态检测子模型，以及对初始的第二检测模型中的参数进行训练，得到第二检测模型。
本申请实施例中通过获取检测对象在至少两种模态下的超声心动视频，该超声心动视频包括至少一个切面，并对超声心动视频进行预处理，提取超声心动视频中的每一视频帧，将每一视频帧输入训练好的卷积神经网络模型，确定检测对象的卵圆孔闭合状态检测结果，该卷积神经网络模型包括第一检测模型和与第一检测模型相连的第二检测模型，该第一检测模型用于输出检测对象在至少模态的阴阳性检测结果，第二检测模型用于对检测结果呈阳性的视频帧进行分类，得到卵圆孔闭合状态检测结果。该技术方案无需人工干预，由于使用了第一检测模型和第二检测模型，能够准确且更全面地识别超声心动视频中的心脏影像特征，有效减少医生的工作量，提高了工作效率。
另一方面，图11为本申请实施例提供的一种基于人工智能的卵圆孔闭合检测系统的结构示意图。该装置可以为终端或服务器内的系统，如图11所示，该系统700包括：
获取模块710，用于获取检测对象在至少两种模态下的超声心动视频，超声心动视频包括至少一个切面；
处理模块720，用于对超声心动视频进行预处理，提取超声心动视频中的每一视频帧；
确定模块730，用于将每一视频帧输入训练好的卷积神经网络模型，确定检测对象的卵圆孔闭合状态检测结果，卷积神经网络模型包括第一检测模型和与第一检测模型相连的第二检测模型，第一检测模型用于输出检测对象在至少两种模态的阴阳性检测结果，第二检测模型用于对检测结果呈阳性的视频帧进行分类，得到卵圆孔闭合状态检测结果。
可选的，请参见图12所示，处理模块720，包括：
预处理单元721，用于对超声心动视频进行预处理，得到预处理后的图像；
重排处理单元722，用于将预处理后的图像进行颜色通道的重排处理，得到超声心动视频中的每一视频帧。
可选的，预处理单元721，具体用于：
采用预设的采样率和编码格式对超声心动视频进行处理，得到处理后的超声心动视频；
对处理后的超声心动视频进行抽帧处理，得到所有图像帧；
对所有图像帧中的每个图像帧进行灰度化、标准化、归一化处理，输出与每个图像帧对应的预处理后的图像。
可选的，上述确定模块730，包括：
第一确定单元731，用于将每一视频帧输入至第一检测模型中，确定每一视频帧在静息模态和瓦氏模态的阴阳性检测结果，阴阳性检测结果包括阳性结果；
第二确定单元732，用于将呈阳性结果的每一视频帧输入至第二检测模型中，确定检测对象的卵圆孔闭合状态检测结果。
可选的，第一确定单元731，具体用于：
确定检测对象在静息模态和瓦氏模态对应的每一视频帧；
并行地将检测对象在静息模态对应的每一视频帧输入静息模态检测子模型，得到在静息模态下超声心动视频含有预识别图像特征的第一预测值，以及将检测对象在瓦氏模态对应的每一视频帧输入瓦氏模态检测子模型，得到在瓦氏模态下超声心动视频含有预识别图像特征的第二预测值；
对第一预测值和第二预测值进行综合分析处理，确定每一视频帧在静息模态和瓦氏模态的阴阳性检测结果。
可选的，第一确定单元731，具体用于：
将检测对象在静息状态对应的每一视频帧输入静息模态检测子模型，得到与每一视频帧对应的n维特征向量；
将每一视频帧对应的n维特征向量通过全局分组卷积层进行处理，得到与每一视频帧对应的权重；
利用权重对n维特征向量进行特征融合，得到整体特征表示；
基于整体特征表示，计算在静息模态下超声心动视频含有预识别图像特征的第一预测值。
可选的，静息模态检测子模型按照如下方式构建包括：
构建历史超声视频数据，将历史超声视频数据分为训练集和验证集；
利用训练集对待构建的静息模态检测子模型进行训练，得到待验证的静息模态检测子模型；
利用验证集对待验证的静息模态检测子模型，按照损失函数最小化对待验证的静息模态检测子模型进行优化处理，得到静息模态检测子模型。
可以理解的是，本实施例的基于人工智能的卵圆孔闭合检测系统的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，在此不再赘述。
另一方面，本申请实施例提供的电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如上述的基于人工智能的卵圆孔闭合检测方法。
下面参考图13，图13为本申请实施例的终端设备的计算机系统的结构示意图。
如图13所示，计算机系统300包括中央处理单元(cpu)301，其可以根据存储在只读存储器(rom)302中的程序或者从存储部分303加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram303中，还存储有系统300操作所需的各种程序和数据。cpu301、rom302以及ram303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。
以下部件连接至i/o接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至i/o接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分303从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(cpu)301执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器，包括：获取模块、处理模块和确定模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，获取模块还可以被描述为“用于获取检测对象在至少两种模态下的超声心动视频，所述超声心动视频包括至少一个切面”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的基于人工智能的卵圆孔闭合检测方法：
获取检测对象在至少两种模态下的超声心动视频，所述超声心动视频包括至少一个切面；
对所述超声心动视频进行预处理，提取所述超声心动视频中的每一视频帧；
将所述每一视频帧输入训练好的卷积神经网络模型，确定所述检测对象的卵圆孔闭合状态检测结果，所述卷积神经网络模型包括第一检测模型和与所述第一检测模型相连的第二检测模型，所述第一检测模型用于输出所述检测对象在所述至少两种模态的阴阳性检测结果，所述第二检测模型用于对所述检测结果呈阳性的视频帧进行分类，得到卵圆孔闭合状态检测结果。
综上，本申请实施例中提供的基于人工智能的卵圆孔闭合检测方法方法、装置、设备及存储介质，通过获取检测对象在至少两种模态下的超声心动视频，该超声心动视频包括至少一个切面，并对超声心动视频进行预处理，提取超声心动视频中的每一视频帧，将每一视频帧输入训练好的卷积神经网络模型，确定检测对象的卵圆孔闭合状态检测结果，该卷积神经网络模型包括第一检测模型和与第一检测模型相连的第二检测模型，该第一检测模型用于输出检测对象在至少模态的阴阳性检测结果，第二检测模型用于对检测结果呈阳性的视频帧进行分类，得到卵圆孔闭合状态检测结果。该技术方案无需人工干预，由于使用了第一检测模型和第二检测模型，能够准确且更全面地识别超声心动视频中的心脏影像特征，有效减少医生的工作量，提高了工作效率。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
1.一种基于人工智能的卵圆孔闭合检测方法，其特征在于，包括：
获取检测对象在至少两种模态下的超声心动视频，所述超声心动视频包括至少一个切面；
对所述超声心动视频进行预处理，提取所述超声心动视频中的每一视频帧；
将所述每一视频帧输入训练好的卷积神经网络模型，确定所述检测对象的卵圆孔闭合状态检测结果，所述卷积神经网络模型包括第一检测模型和与所述第一检测模型相连的第二检测模型，所述第一检测模型用于输出所述检测对象在所述至少两种模态的阴阳性检测结果，所述第二检测模型用于对所述检测结果呈阳性的视频帧进行分类，得到卵圆孔闭合状态检测结果。
2.根据权利要求1所述的方法，其特征在于，对所述超声心动视频进行预处理，提取所述超声视频中的每一视频帧，包括：
对所述超声心动视频进行预处理，得到预处理后的图像；
将所述预处理后的图像进行颜色通道的重排处理，得到所述超声心动视频中的每一视频帧。
3.根据权利要求2所述的方法，其特征在于，对所述超声心动视频进行预处理，得到预处理后的图像，包括：
采用预设的采样率和编码格式对所述超声心动视频进行处理，得到处理后的超声心动视频；
对所述处理后的超声心动视频进行抽帧处理，得到所有图像帧；
对所述所有图像帧中的每个图像帧进行灰度化、标准化、归一化处理，输出与所述每个图像帧对应的预处理后的图像。
4.根据权利要求1所述的方法，其特征在于，所述至少两种模态包括静息模态和瓦氏模态，将所述每一视频帧输入训练好的卷积神经网络模型，确定所述检测对象的卵圆孔闭合状态检测结果，包括：
将所述每一视频帧输入至所述第一检测模型中，确定所述每一视频帧在静息模态和瓦氏模态的阴阳性检测结果，所述阴阳性检测结果包括阳性结果；
将所述呈阳性结果的每一视频帧输入至所述第二检测模型中，确定所述检测对象的卵圆孔闭合状态检测结果。
5.根据权利要求4所述的方法，其特征在于，所述第一检测模型包括静息模态检测子模型和瓦氏模态检测子模型，将所述每一视频帧输入至所述第一检测模型中，所述每一视频帧在静息模态和瓦氏模态的阴阳性检测结果，包括：
确定所述检测对象在静息模态和瓦氏模态对应的每一视频帧；
并行地将所述检测对象在静息模态对应的每一视频帧输入所述静息模态检测子模型，得到在静息模态下所述超声心动视频含有预识别图像特征的第一预测值，以及将所述检测对象在瓦氏模态对应的每一视频帧输入所述瓦氏模态检测子模型，得到在瓦氏模态下所述超声心动视频含有预识别图像特征的第二预测值；
对所述第一预测值和所述第二预测值进行综合分析处理，确定所述每一视频帧在静息模态和瓦氏模态的阴阳性检测结果。
6.根据权利要求5所述的方法，其特征在于，将所述检测对象在静息状态对应的每一视频帧输入所述静息模态检测子模型，得到所述超声心动视频含有预识别图像特征的第一预测值，包括：
将所述检测对象在静息状态对应的每一视频帧输入所述静息模态检测子模型，得到与每一视频帧对应的n维特征向量；
将所述每一视频帧对应的n维特征向量通过全局分组卷积层进行处理，得到与所述每一视频帧对应的权重；
利用所述权重对所述n维特征向量进行特征融合，得到整体特征表示；
基于所述整体特征表示，计算在静息模态下所述超声心动视频含有预识别图像特征的第一预测值。
7.根据权利要求5所述的方法，其特征在于，静息模态检测子模型按照如下方式构建包括：
构建历史超声视频数据，将所述历史超声视频数据分为训练集和验证集；
利用所述训练集对待构建的静息模态检测子模型进行训练，得到待验证的静息模态检测子模型；
利用所述验证集对所述待验证的静息模态检测子模型，按照损失函数最小化对所述待验证的静息模态检测子模型进行优化处理，得到所述静息模态检测子模型。
8.一种基于人工智能的卵圆孔闭合检测系统，其特征在于，所述系统包括：
获取模块，用于获取检测对象在至少两种模态下的超声心动视频，所述超声心动视频包括至少一个切面；
处理模块，用于对所述超声心动视频进行预处理，提取所述超声心动视频中的每一视频帧；
确定模块，用于将所述每一视频帧输入训练好的卷积神经网络模型，确定所述检测对象的卵圆孔闭合状态检测结果，所述卷积神经网络模型包括第一检测模型和与所述第一检测模型相连的第二检测模型，所述第一检测模型用于输出所述检测对象在所述至少两种模态的阴阳性检测结果，所述第二检测模型用于对所述检测结果呈阳性的视频帧进行分类，得到卵圆孔闭合状态检测结果。
9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器用于执行所述程序时实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于实现如权利要求1-7任一项所述的方法。
技术总结