本发明涉及图像处理，特别涉及一种医学视频感兴趣区域选取方法、电子设备和存储介质。
背景技术：
1、肝脏肿块的大小、类型与出现位置通常不定，常规检测手段为超声检测与造影检测相结合。基于肝脏肿块的上述特性，检测过程中可能出现肿块边界表现不清晰导致难以发现肿块或无法确定肿块类型的情况。
2、准确在肝脏造影视频与超声视频中选取感兴趣区域(roi)对肿块进行跟踪、定位，是对肝脏肿块进行精细分割并对患者进行后续诊断、治疗的重要前提。因此如何准确在肝脏造影视频与超声视频中选取感兴趣区域(roi)成为亟待解决的技术问题。
3、需要说明的是，公开于该发明背景技术部分的信息仅仅旨在加深对本发明一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
技术实现思路
1、本发明的目的在于提供一种医学视频感兴趣区域选取方法、电子设备和存储介质，可以基于双模态下的医学视频准确地进行感兴趣区域的选取以定位目标组织所在位置，有助于减少医生的工作量。
2、为达到上述目的，本发明提供一种医学视频感兴趣区域选取方法，包括：
3、获取目标组织的第一模态医学视频和第二模态医学视频，其中，所述第一模态医学视频和所述第二模态医学视频通过同一医学影像设备在同一时间段内采集得到，所述第一模态医学视频为普通医学视频，所述第二模态医学视频为造影医学视频；
4、针对所述第一模态医学视频中的每一帧第一模态医学图像，将该帧第一模态医学图像与所述第二模态医学视频中的对应帧的第二模态医学图像同时输入预先训练好的神经网络模型中进行目标组织的粗分割与信任系数的预测，以获取该帧第一模态医学图像与对应帧的第二模态医学图像所对应的目标组织掩膜和信任系数，其中所述信任系数用于表征所述第一模态医学图像与所述第二模态医学图像的清晰度；
5、根据所述第一模态医学图像和对应帧的所述第二模态医学图像的信任系数，从所述第一模态医学视频中确定出第一关键帧，并从所述第二模态医学视频中确定出对应的第二关键帧；
6、根据所述第一关键帧与对应的所述第二关键帧的目标组织掩膜，确定所述第一模态医学视频和所述第二模态医学视频所对应的目标组织感兴趣区域。
7、可选的，所述根据所述第一模态医学图像和对应帧的所述第二模态医学图像的信任系数，从所述第一模态医学视频中确定出第一关键帧，并从所述第二模态医学视频中确定出对应的第二关键帧，包括：
8、若所述第一模态医学图像和对应帧的所述第二模态医学图像的信任系数大于预设阈值，则将该帧第一模态医学图像作为第一关键帧，并将该帧第二模态医学图像作为对应的第二关键帧。
9、可选的，所述根据所述第一关键帧与对应的所述第二关键帧的目标组织掩膜，确定所述第一模态医学视频和所述第二模态医学视频所对应的目标组织感兴趣区域，包括：
10、将所有组相对应的第一关键帧与第二关键帧的目标组织掩膜进行整合，以获取整合后的目标组织掩膜；
11、根据整合后的目标组织掩膜中的目标组织区域的最小外接矩形框确定所述第一模态医学视频和所述第二模态医学视频所对应的目标组织感兴趣区域。
12、可选的，所述神经网络模型包括多个并行设置的子神经网络模型，以实现同时对多组相对应的第一模态医学图像与第二模态医学图像进行目标组织的粗分割与信任系数的预测，其中，每一个子神经网络模型均包括特征提取网络、分割网络和信任系数预测网络，所述特征提取网络用于对所输入的所述第一模态医学图像和所述第二模态医学图像进行目标组织特征的提取，以获取目标组织特征提取结果，所述分割网络用于根据所述目标组织特征提取结果获取对应的目标组织掩膜，所述信任系数预测网络用于根据所述目标组织特征提取结果获取对应的信任系数。
13、可选的，所述信任系数预测网络包括压缩层、全连接层和sigmoid激活层，所述压缩层用于对所述特征提取网络所输出的目标组织特征提取结果进行压缩处理，所述全连接层用于对所述压缩层的输出结果进行线性变换，所述sigmoid激活层用于对所述全连接层的输出结果进行sigmoid函数激活操作，以获取对应的信任系数。
14、可选的，所述神经网络模型的训练过程包括：
15、获取包括多例训练样本的样本集，其中，每一例所述训练样本均包括一组相对应的第一模态医学训练图像与第二模态医学训练图像以及对应的目标组织掩膜标签；
16、根据所述样本集对所述神经网络模型进行预训练，以对所述特征提取网络和所述分割网络的网络参数进行调整，直至满足第一预设训练结束条件；
17、根据所述样本集对预训练后的所述神经网络模型进行终训练，并冻结所述特征提取网络和所述分割网络的网络参数，以对所述信任系数预测网络的网络参数进行调整，直至满足第二预设训练结束条件。
18、可选的，所述第一预设训练结束条件为第一损失函数值收敛至第一预设误差值，所述第一损失函数值的计算公式如下所示：
19、
20、其中，n为所述神经网络模型所包括的子神经网络模型的个数，li为第i个子神经网络模型输出的目标组织掩膜与对应的目标组织掩膜标签之间的损失。
21、可选的，所述第二预设训练结束条件为第二损失函数值收敛至第二预设误差值，所述第二损失函数值的计算公式如下所示：
22、
23、其中，n为所述神经网络模型所包括的子神经网络模型的个数，li为第i个子神经网络模型输出的目标组织掩膜与对应的目标组织掩膜标签之间的损失，ci为第i个子神经网络模型输出的信任系数。
24、可选的，所述获取包括多例训练样本的样本集，包括：
25、获取多组双模态医学训练视频，每一组所述双模态医学训练视频均包括第一模态医学训练视频和对应的第二模态医学训练视频；
26、从所述第一模态医学训练视频中选择预设数量的第一模态医学训练图像作为标注帧进行目标组织的标注，以获取对应的目标组织掩膜标签，其中，相邻的两所述标注帧的帧序号之差大于1；
27、针对每一标注帧，将该标注帧、所述第二模态医学训练视频中的对应的第二模态医学训练图像以及其所对应的目标组织掩膜标签组成第一训练样本；
28、针对位于相邻的两所述标注帧之间的每一帧非标注第一模态医学训练图像，根据该帧非标注第一模态医学训练图像的帧序号以及该相邻的两所述标注帧各自所对应的目标组织掩膜标签，获取该帧非标注第一模态医学训练图像的目标组织掩膜标签；
29、针对每一非标注第一模态医学训练图像，将该帧非标注第一模态医学训练图像、所述第二模态医学训练视频中的对应的第二模态医学训练图像以及其所对应的目标组织掩膜标签组成第二训练样本；
30、根据所述第一训练样本和所述第二训练样本，获取所述样本集。
31、可选的，所述根据该帧非标注第一模态医学训练图像的帧序号以及该相邻的两所述标注帧各自所对应的目标组织掩膜标签，获取该帧非标注第一模态医学训练图像的目标组织掩膜标签，包括：
32、根据以下公式获取该帧非标注第一模态医学训练图像的目标组织掩膜标签：
33、mf＝w1m1+w2m2
34、
35、
36、其中，mf表示该帧非标注第一模态医学训练图像的目标组织掩膜标签，m1表示位于该帧非标注第一模态医学训练图像之前的标注帧的目标组织掩膜标签，m2表示位于该帧非标注第一模态医学训练图像之后的标注帧的目标组织掩膜标签，p1表示位于该帧非标注第一模态医学训练图像之前的标注帧的帧序号，p2表示位于该帧非标注第一模态医学训练图像之后的标注帧的帧序号。
37、为达到上述目的，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上文所述的医学视频感兴趣区域选取方法。
38、为达到上述目的，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的医学视频感兴趣区域选取方法。
39、与现有技术相比，本发明提供的医学视频感兴趣区域选取方法、电子设备和存储介质具有以下优点：
40、本发明提供的医学视频感兴趣区域选取方法通过先获取目标组织的第一模态医学视频和第二模态医学视频，其中，所述第一模态医学视频和所述第二模态医学视频通过同一医学影像设备在同一时间段内采集得到，所述第一模态医学视频为普通医学视频，所述第二模态医学视频为造影医学视频；然后针对所述第一模态医学视频中的每一帧第一模态医学图像，将该帧第一模态医学图像与所述第二模态医学视频中的对应帧的第二模态医学图像同时输入预先训练好的神经网络模型中进行目标组织的粗分割与信任系数的预测，以获取该帧第一模态医学图像与对应帧的第二模态医学图像所对应的目标组织掩膜和信任系数，其中所述信任系数用于表征所述第一模态医学图像与所述第二模态医学图像的清晰度；再根据所述第一模态医学图像和对应帧的所述第二模态医学图像的信任系数，从所述第一模态医学视频中确定出第一关键帧，并从所述第二模态医学视频中确定出对应的第二关键帧；最后根据所述第一关键帧与对应的所述第二关键帧的目标组织掩膜，确定所述第一模态医学视频和所述第二模态医学视频所对应的目标组织感兴趣区域。由此，本发明提供的医学视频感兴趣区域选取方法通过对第一模态医学视频和第二模态医学视频进行同步处理，可以学习的有效信息增加，且不同模态的第一模态医学视频和第二模态医学视频之间可以实现信息互补，从而保证最终获取的目标组织感兴趣区域更加准确，进而根据所获取的目标组织感兴趣区域可以有效定位第一模态医学视频和第二模态医学视频中的目标组织(例如肝脏肿块)的位置，有助于缩小后续精分割的范围，提高下一步精分割模型对目标组织(例如肝脏肿块)真实区域的关注度，进而提高后续目标组织的精分割的效果，有效减少医生的工作量。此外，通过根据信任系数选取关键帧，并根据关键帧的目标组织掩膜来确定医学视频的目标组织感兴趣区域，可以进一步有效保证最终所获取的目标组织感兴趣区域的准确性。
41、由于本发明提供的电子设备和可读存储介质与本发明提供的医学视频感兴趣区域选取方法属于同一发明构思，因此本发明提供的电子设备和可读存储介质具有本发明提供的医学视频感兴趣区域选取方法的所有优点，故在此不再对本发明提供的电子设备和可读存储介质所具有的有益效果进行赘述。
1.一种医学视频感兴趣区域选取方法，其特征在于，包括：
2.根据权利要求1所述的医学视频感兴趣区域选取方法，其特征在于，所述根据所述第一模态医学图像和对应帧的所述第二模态医学图像的信任系数，从所述第一模态医学视频中确定出第一关键帧，并从所述第二模态医学视频中确定出对应的第二关键帧，包括：
3.根据权利要求1所述的医学视频感兴趣区域选取方法，其特征在于，所述根据所述第一关键帧与对应的所述第二关键帧的目标组织掩膜，确定所述第一模态医学视频和所述第二模态医学视频所对应的目标组织感兴趣区域，包括：
4.根据权利要求1所述的医学视频感兴趣区域选取方法，其特征在于，所述神经网络模型包括多个并行设置的子神经网络模型，以实现同时对多组相对应的第一模态医学图像与第二模态医学图像进行目标组织的粗分割与信任系数的预测，其中，每一个子神经网络模型均包括特征提取网络、分割网络和信任系数预测网络，所述特征提取网络用于对所输入的所述第一模态医学图像和所述第二模态医学图像进行目标组织特征的提取，以获取目标组织特征提取结果，所述分割网络用于根据所述目标组织特征提取结果获取对应的目标组织掩膜，所述信任系数预测网络用于根据所述目标组织特征提取结果获取对应的信任系数。
5.根据权利要求4所述的医学视频感兴趣区域选取方法，其特征在于，所述信任系数预测网络包括压缩层、全连接层和sigmoid激活层，所述压缩层用于对所述特征提取网络所输出的目标组织特征提取结果进行压缩处理，所述全连接层用于对所述压缩层的输出结果进行线性变换，所述sigmoid激活层用于对所述全连接层的输出结果进行sigmoid函数激活操作，以获取对应的信任系数。
6.根据权利要求4所述的医学视频感兴趣区域选取方法，其特征在于，所述神经网络模型的训练过程包括：
7.根据权利要求6所述的医学视频感兴趣区域选取方法，其特征在于，所述第一预设训练结束条件为第一损失函数值收敛至第一预设误差值，所述第一损失函数值的计算公式如下所示：
8.根据权利要求6所述的医学视频感兴趣区域选取方法，其特征在于，所述第二预设训练结束条件为第二损失函数值收敛至第二预设误差值，所述第二损失函数值的计算公式如下所示：
9.根据权利要求6所述的医学视频感兴趣区域选取方法，其特征在于，所述获取包括多例训练样本的样本集，包括：
10.根据权利要求9所述的医学视频感兴趣区域选取方法，其特征在于，所述根据该帧非标注第一模态医学训练图像的帧序号以及该相邻的两所述标注帧各自所对应的目标组织掩膜标签，获取该帧非标注第一模态医学训练图像的目标组织掩膜标签，包括：
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至10中任一项所述的医学视频感兴趣区域选取方法。
12.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至10中任一项所述的医学视频感兴趣区域选取方法。
