本说明书实施例涉及人工智能，尤其涉及一种基于多模态计算的脑疾病早期智能分级筛查系统。
背景技术：
1、神经退行性疾病的发病机制高度复杂，诱因多样化，目前已有的神经退行性疾病筛查系统均是对患者的一类数据进行分析，这种筛查系统难以根据一类数据精确地对患者进行神经退行性疾病的早期筛查，导致患者错过最佳治疗机会。
2、如何精确地对患者进行神经退行性疾病的早期筛查是目前亟待解决的问题。
技术实现思路
1、为解决无法精确地对患者进行神经退行性疾病的早期筛查，本说明书实施例提供了一种基于多模态计算的脑疾病早期智能分级筛查系统，基于多模态计算的脑疾病早期智能分级筛查系统能够对目标患者的多模态数据进行特征提取，同时对缺失的模态特征进行生成补全，然后对这些模态特征进行融合，得到融合特征，最后将融合特征输入到基于专家经验知识训练的神经网络模型中进行计算，得到患者的神经退行性疾病的筛查结果。
2、本说明书实施例的具体技术方案如下：
3、一方面，本说明书实施例提供了一种基于多模态计算的脑疾病早期智能分级筛查系统，包括，
4、多模态数据采集单元，用于获取目标患者在指定的筛查等级下的多模态数据，形成筛查数据集；所述筛查等级与所述多模态数据中的模态特征数量相对应，所述多模态数据包括预定的多种模态特征中的至少一种模态特征的数据；
5、多模态特征生成补全和融合计算单元，用于对所述筛查数据集中各模态特征的特征数据进行生成补全，得到完全模态特征，提取所述完全模态特征中的病理特征进行计算，得到第一筛查结果；
6、知识化智能筛查单元，用于将所述筛查数据集中各模态特征的特征数据编码为对应的图结构数据特征，利用经过专家知识优化后的多模态关联图谱对所述图结构数据特征进行匹配，得到知识化的关联特征，根据知识化的关联特征得到第二筛查结果；
7、智能分级筛查单元，用于对所述第一筛查结果和第二筛查结果进行加权计算，得到所述目标患者的最终筛查结果。
8、进一步地，所述多模态特征生成补全和融合计算单元进一步包括：
9、多模态特征生成补全模块，用于使用变分自编码器提取所述筛查数据集中多模态数据的模态特征，使用生成式人工智能算法补全所述筛查数据集中缺失的模态特征，使用绑定模型对补全的模态特征和所述筛查数据集中的多个模态特征进行对齐，得到完全模态特征；
10、多模态数据特征级融合模块，用于根据所述完全模态特征提取特定病理特征，所述特定病理特征为所述完全模态特征中有效的病理特征，对所述特定病理特征进行拼接得到不变病理特征，通过具有跨模态多头注意力机制的模态融合编码器对所述特定病理特征和不变病理特征输入到分类器中进行计算，得到所述第一筛查结果。
11、进一步地，多模态特征生成补全和融合计算单元进一步包括：
12、多模态特征生成补全和融合计算训练模块，用于利用所述多模态数据采集单元采集到的多个患者的历史多模态数据以及所述历史多模态数据对应的脑疾病的临床诊断结果对所述多模态特征生成补全模块和多模态数据特征级融合模块进行训练。
13、进一步地，所述知识化智能筛查单元包括：
14、多模态关联图谱训练模块，用于利用所述历史多模态数据以及所述历史多模态数据对应的所述临床诊断结果训练图神经网络模型，并基于专家知识规则对所述图神经网络模型的训练过程进行约束，得到所述专家知识优化后的多模态关联图谱。
15、进一步地，所述多模态关联图谱训练模块进一步包括：
16、多模态关联图谱构建子模块，用于量化多个患者的历史多模态数据中各模态之间的相关性，根据所述相关性挖掘各模态特征之间的共有特征，根据所述共有特征构建所述关联图谱；
17、专家知识规则提取子模块，用于对专家诊断脑疾病的知识进行规则化，得到知识规则库；
18、图神经网络模型训练子模块，用于针对所述关联图谱中不同模态特征进行图结构学习，通过多个图表示学习与图卷积层通道，对每个模态内部的信息进行聚合，然后利用知识规则库对不同模态之间的信息交互并聚合，提取有效图特征，送入分类模型，得到预测结果，并根据预测结果与相应临床诊断结果计算损失值，根据损失值进行迭代训练，得到所述专家知识优化后的多模态关联图谱。
19、进一步地，所述多模态特征生成补全模块进一步用于对所述历史多模态数据进行多模态特征生成补全，得到历史完全模态特征；
20、多模态关联图谱训练模块进一步用于根据所述历史完全模态特征构建所述专家知识优化后的多模态关联图谱。
21、进一步地，所述历史多模态数据包括有标签历史多模态数据和无标签历史多模态数据，所述有标签历史多模态数据表示有相应临床诊断结果的历史多模态数据，所述无标签历史多模态数据表示没有相应临床诊断结果的历史多模态数据；
22、所述多模态数据采集单元进一步包括：
23、伪标签生成模块，用于根据同一患者的所述有标签历史多模态数据之间的相关性，基于训练好的自监督学习模型生成该患者的无标签历史多模态数据的伪标签，利用所述伪标签对所述无标签历史多模态数据进行标记；
24、所述多模态特征生成补全和融合计算训练模块进一步用于，用于所述有标签历史多模态数据对应的临床诊断结果和所述无标签历史多模态数据对应的伪标签训练所述多模态特征生成补全模块和多模态数据特征级融合模块进行训练；
25、所述多模态关联图谱训练模块进一步用于，根据所述有标签历史多模态数据对应的临床诊断结果和所述无标签历史多模态数据对应的伪标签训练所述图神经网络模型。
26、进一步地，所述系统还包括动态增量学习单元，用于利用所述目标患者的最终筛查结果以及所述目标患者的临床诊断结果对所述基于多模态计算的脑疾病早期智能分级筛查系统进行优化。
27、进一步地，所述多模态数据采集单元进一步包括：
28、多模态数据预处理模块，用于对所述多模态数据进行预处理，根据预处理后的多模态数据形成所述筛查数据集。
29、进一步地，所述多种模态特征包括问卷特征、行为特征、脑电特征和影像特征；
30、所述多模态数据预处理模块进一步包括：
31、问卷特征数据预处理子模块，用于对所述问卷特征的数据进行数据清洗和数据缺失处理，并对所述数据清洗和数据缺失处理后的所述问卷特征的数据进行向量化，得到词向量；
32、行为特征数据预处理子模块，用于提取所述行为特征的数据中的动作特征；
33、脑电和影像特征数据预处理子模块，用于对所述脑电特征的数据和所述影像特征的数据进行去噪、消除伪影，并进行标准化。
34、利用本说明书实施例的基于多模态计算的脑疾病早期智能分级筛查系统，首先多模态数据采集单元获取目标患者在指定的筛查等级下的多模态数据，与现有技术相比，本说明书实施例无需获取目标患者的所有模态下的数据进行筛查，从而有效地降低了神经退行性疾病大规模筛查的成本，提供更加个性化的筛查流程，自适应于用户的需求和各种输入模式，提升用户体验，并提高了脑疾病早期筛查的精度。
35、然后本说明书实施例的多模态特征生成补全和融合计算模块对筛查数据集中各模态特征的特征数据进行生成补全，解决了现有技术中在多模态数据不完整时无法实现精确筛查的局限性，解决了脑疾病早期多模态数据的模态缺失无法精确筛查的问题。同时，多模态特征生成补全和融合计算模块通过不同的脑疾病早期病理特征编码器提取各模态特异性病理特征，同时确保不同模态间的一致性，充分利用了脑疾病早期多模态数据的信息，用病理特征中心矩差距离约束的训练策略减少模态间的差异，提高神经退行性疾病模态间融合的效率，得到多模态数据对应的第一筛查结果。
36、并且本说明书实施例的知识化智能筛查单元利用脑疾病早期病理图神经网络深度挖掘多模态数据的高阶拓扑特征，有效区分并表达出了脑疾病早期病理特征的相关信息，有效提升了脑疾病早期筛查的准确率，促进了脑疾病早期发病机制的探索和生物标志物的识别，并且结合脑疾病早期病理特征特异性图匹配和病理子图挖掘算法，精准抽取病理知识规则，提升了脑疾病早期多模态辅助诊断框架的病理知识嵌入能力
37、最后，本说明书实施例的智能分级筛查单元对第一筛查结果和第二筛查结果进行加权计算，得到最终筛查结果，使得最终筛查结果具有一致性，系统可以从不同的角度、不同的特征提取方式等多方面对目标患者进行评估，这种互补性可以增加系统对你在问题的检测能力，同时使用多模态特征生成补全和融合计算单元和知识化智能筛查单元进行筛查可以增加结果的可靠性和准确性，如果两种方法都给出了相似的结果，那么可以更加自信地确定患者的状况。另外，如果两个单元的筛查结果之间存在差异，系统可以更深入地分析这些差异，并提供更全面的评估。两个单元对不同类型的疾病或异常有不同的敏感性和特异性。通过同时使用这两个单元进行筛查，可以减少误诊和漏诊的风险。如果两个筛查结果不一致，系统可以提醒医生进行更进一步的检查或评估，以减少潜在的错误及风险。
1.一种基于多模态计算的脑疾病早期智能分级筛查系统，其特征在于，所述系统包括：
2.根据权利要求1所述的系统，其特征在于，所述多模态特征生成补全和融合计算单元进一步包括：
3.根据权利要求2所述的系统，其特征在于，多模态特征生成补全和融合计算单元进一步包括：
4.根据权利要求3所述的系统，其特征在于，所述知识化智能筛查单元包括：
5.根据权利要求4所述的系统，其特征在于，所述多模态关联图谱训练模块进一步包括：
6.根据权利要求4所述的系统，其特征在于，所述多模态特征生成补全模块进一步用于对所述历史多模态数据进行多模态特征生成补全，得到历史完全模态特征；
7.根据权利要求4所述的系统，其特征在于，所述历史多模态数据包括有标签历史多模态数据和无标签历史多模态数据，所述有标签历史多模态数据表示有相应临床诊断结果的历史多模态数据，所述无标签历史多模态数据表示没有相应临床诊断结果的历史多模态数据；
8.根据权利要求1所述的系统，其特征在于，所述系统还包括动态增量学习单元，用于利用所述目标患者的最终筛查结果以及所述目标患者的临床诊断结果对所述基于多模态计算的脑疾病早期智能分级筛查系统进行优化。
9.根据权利要求1所述的系统，其特征在于，所述多模态数据采集单元进一步包括：
10.根据权利要求9所述的系统，其特征在于，所述多种模态特征包括问卷特征、行为特征、脑电特征和影像特征；
