图像配准方法及相关装置、电子设备、存储介质与流程

1.本申请涉及图像处理技术领域，特别是涉及一种图像配准方法及相关装置、电子设备、存储介质。


背景技术：

2.图像配准是图像处理研究领域中的重要一环，其目的在于比较或融合针对同一对象在不同条件下获取的图像。目前，图像配准在计算机视觉、医学图像处理、遥感等诸多领域得到了广泛的应用。
3.然而，现有的图像配准方式配准精度较低，导致其应用效果较差。故此，如何提高图像配准精度成为极具研究价值的课题。


技术实现要素：

4.本申请提供一种图像配准方法及相关装置、电子设备、存储介质。
5.本申请第一方面提供了一种图像配准方法，包括：对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图；融合第一特征图和第二特征图，得到速度场；分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图；其中，新的第一特征图的分辨率不同于本次解码前的第一特征图的分辨率，且新的第二特征图的分辨率不同于本次解码前的第二特征图的分辨率；利用已得到的速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场；基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。
6.因此，通过对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图，从而融合第一特征图和第二特征图，得到速度场，并分别对第一特征图和第二特征图进行解码，得到新的第一特征图和第二特征图，且新的第一特征图的分辨率不同于本次解码前的第一特征图的分辨率，新的第二特征图的分辨率不同于本次解码前的第二特征图的分辨率，进而利用已得到速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场，并基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。故此，通过在多个阶段分别融合不同分辨率的特征图，能够得到不同尺度的速度场，从而能够基于不同尺度的速度场，提高配准参数的精度，进而有利于提高配准精度。此外，由于在多个阶段分别得到不同尺度的速度场，从而能够有利于得到用于将第一图像正向地配准至第二图像的配准参数，也能够有利于得到用于将第二图像反向地配准至第一图像的配准参数，进而能够有利于满足微分同胚。
7.其中，对第一图像进行编码，得到第一特征图，或者，对第二图像进行编码，得到第二特征图，包括：对图像进行特征提取，得到多个通道特征图；基于各个通道特征图在多个通道特征图中的重要程度，得到对应通道特征图的注意力权重；分别利用每一通道特征图的注意力权重对对应通道特征图进行加权处理，得到图像的特征图；其中，在图像为第一图像的情况下，通过上述步骤得到的特征图为第一特征图；或者在图像为第二图像的情况下，
通过上述步骤得到的特征图为第二特征图。
8.因此，通过对图像进行特征提取，得到多个通道特征图，并基于各个通道特征图在多个通道特征图中的重要程度，得到对应通道特征图的注意力权重，从而分别利用每一通道特征图的注意力权重对对应通道特征图进行加权处理，得到图像的特征图。故此，通过各个通道特征图在多个通道特征图中的重要程度而得到的注意力权重，来对对应通道特征图进行加权处理，能够有利于弱化多个通道特征图中表现较强的特征图，或者强化多个通道特征图中表现较弱的特征图，从而能够有利于使不同模态的图像经编码后，得到相近的特征图，进而能够有利于满足多模态图像的配准，拓宽适用范围。
9.其中，在对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图之前，方法还包括：获取待配准的多个图像；将多个图像中的一个作为第一图像，并分别将剩余的至少一个图像作为第二图像。
10.因此，在利用上述方式进行图像编码之前，先获取待配准的多个图像，再将多个图像中的一个作为第一图像，并分别将剩余的至少一个图像作为第二图像。故此，在满足“微分同胚”的基础上，能够使两个图像仅需一次配准流程，即可实现正向和反向的配准，故能够有利于减少配准次数，而在进一步满足“多模态配准”的基础上，能够仅需少量配准次数即可实现多模态图像配准。
11.其中，多个图像均为医学图像，且多个图像满足以下任一者：多个图像是由不同种类的医疗设备扫描得到的，多个图像是由同一种医疗设备在不同扫描时间扫描得到的。
12.因此，通过将多个图像均设置为医学图像，且多个图像满足以下任一者：多个图像是由不同种类的医疗设备扫描得到的，多个图像是由同一种医疗设备在不同扫描时间扫描得到的。故此，能够有利于实现多模态的医学图像配准。
13.其中，利用已得到的速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场，包括：对已得到的速度场进行转换，得到位移场；利用位移场对新的第一特征图进行变形，得到变形特征图；融合变形特征图和新的第二特征图，再次得到速度场。
14.因此，通过对已得到的速度场进行转换，得到位移场，并利用位移场对新的第一特征图进行变形，得到变形特征图，从而融合变形特征图和新的第二特征图，再次得到速度场，能够通过已得到的速度场，得到位移场，并利用经位移场变形得到的变形特征图和新的第二特征图的再次融合，得到速度场，从而能够有利于在已得到的速度场的基础上，再次得到速度场，进而能够有利于通过“多阶段”优化速度场，有利于提高速度场的精度。
15.其中，融合第一特征图和第二特征图，得到速度场，包括：将第一特征图和第二特征图进行拼接，得到拼接特征图；对拼接特征图进行特征提取，得到速度场。
16.因此，通过对第一特征图和第二特征图进行拼接，得到拼接特征图，并对拼接特征图进行特征提取，得到速度场，能够有利于简化获取速度场的过程，提高获取速度场的效率。
17.其中，在基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数之前，方法还包括：在满足预设条件的情况下，基于最新得到的第一特征图和第二特征图，重新执行分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图的步骤以及后续步骤，其中，新的第一特征图的分辨率大于本次解码前的第一特征图的分辨率，且新的第二特征图的分辨率大于本次解码前的第二特征图的分辨率。
18.因此，在满足预设条件的情况下，基于最新得到的第一特征图和第二特征图，重新执行分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图的步骤以及后续步骤，且通过将新的第一特征图的分辨率设置为大于本次解码前的第一特征图的分辨率，并将新的第二特征图的分辨率设置为大于本次解码前的第二特征图的分辨率，能够有利于在特征图分辨率由低到高的过程中，得到尺度由小到大的速度场，从而能够有利于实现“由粗到细”多阶段的配准，进而能够有利于提高配准精度。
19.其中，预设条件包括以下任一者：执行解码的次数小于预设阈值，最近一次执行解码得到的第一特征图或第二特征图的分辨率小于预设分辨率。
20.因此，通过将预设条件设置为以下任一者：执行解码的次数小于预设阈值，最近一次执行解码得到的第一特征图或第二特征图的分辨率小于预设分辨率，能够有利于以解码次数或特征图分辨率为参考维度，不断迭代优化速度场。
21.其中，在基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数之后，方法还包括以下至少一者：利用配准参数对第一图像进行处理，得到第一图像的配准图像；利用配准参数对第二图像进行处理，得到第二图像的配准图像；利用配准参数对第一图像中至少一个第一像素点进行处理，基于处理后的至少一个第一像素点，得到第二图像中分别与至少一个第一像素点对应的至少一个第二像素点；利用配准参数对第二图像中至少一个第二像素点进行处理，基于处理后的至少一个第二像素点，得到第一图像中分别与至少一个第二像素点对应的至少一个第一像素点。
22.因此，通过利用配准参数第一图像进行处理，得到第一图像的配准图像，或者利用配准参数对第二图像进行处理，得到第二图像的配准图像，能够实现第一图像和第二图像中全部像素点的配准，有利于从整体层面实现图像配准，而通过利用配准参数对第一图像中至少一个第一像素点进行处理，基于处理后的至少一个第一像素点，得到第二图像中分别与至少一个第一像素点对应的至少一个第二像素点，或者利用配准参数对第二图像中至少一个第二像素点进行处理，基于处理后的至少一个第二像素点，得到第一图像中分别与至少一个第二像素点对应的至少一个第一像素点，能够实现第一图像和第二图像中至少一个像素点的配准，有利于从局部层面实现图像配准。
23.其中，对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图，包括：利用图像配准模型的第一编码子网络对第一图像进行编码，得到第一特征图，并利用图像配准模型的第二编码子网络对第二图像进行编码，得到第二特征图；融合第一特征图和第二特征图，得到速度场，包括：利用图像配准模型的速度场子网络融合第一特征图和第二特征图，得到速度场；分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图，包括：利用图像配准模型的第一解码子网络对第一特征图进行解码，得到新的第一特征图，并利用图像配准模型的第二解码子网络对第二特征图进行解码，得到新的第二特征图。
24.因此，通过利用图像配准模型的第一编码子网络对第一图像进行编码，得到第一特征图，并利用图像配准模型的第二编码子网络对第二图像进行编码，得到第二特征图，并利用图像配准模型的速度场子网络融合第一特征图和第二特征图，得到速度场，利用图像配准模型的第一解码子网络对第一特征图进行解码，得到新的第一特征图，并利用图像配准模型的第二解码子网络对第二特征图进行解码，得到新的第二特征图，能够利用图像配
准模型实现编码、融合和解码等，从而能够有利于提高图像配准的效率。
25.本申请第二方面提供了一种图像配准装置，包括图像编码模块、第一融合模块、图像解码模块、第二融合模块和参数获取模块，图像编码模块用于对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图；第一融合模块用于融合第一特征图和第二特征图，得到速度场；图像解码模块用于分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图；其中，新的第一特征图的分辨率大于本次解码前的第一特征图的分辨率，且新的第二特征图的分辨率大于本次解码前的第二特征图的分辨率；第二融合模块用于利用已得到的速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场；参数获取模块用于基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。
26.本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的图像配准方法。
27.本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的图像配准方法。
28.上述方案，通过对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图，从而融合第一特征图和第二特征图，得到速度场，并分别对第一特征图和第二特征图进行解码，得到新的第一特征图和第二特征图，且新的第一特征图的分辨率不同于本次解码前的第一特征图的分辨率，新的第二特征图的分辨率不同于本次解码前的第二特征图的分辨率，进而利用已得到速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场，并基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。故此，通过在多个阶段分别融合不同分辨率的特征图，能够得到不同尺度的速度场，从而能够基于不同尺度的速度场，提高配准参数的精度，进而有利于提高配准精度。此外，由于在多个阶段分别得到不同尺度的速度场，从而能够有利于得到用于将第一图像正向地配准至第二图像的配准参数，也能够有利于得到用于将第二图像反向地配准至第一图像的配准参数，进而能够有利于满足微分同胚。
附图说明
29.图1是本申请图像配准方法一实施例的流程示意图；
30.图2是图像配准模型一实施例的框架示意图；
31.图3是利用速度场进行图像配准一实施例的状态示意图；
32.图4是利用速度场进行图像配准另一实施例的状态示意图；
33.图5是本申请图像配准方法另一实施例的流程示意图；
34.图6本申请图像配准方法一实施例的状态示意图；
35.图7是域注意力块一实施例的框架示意图；
36.图8是图像配准模型的训练方法一实施例的流程示意图；
37.图9是本申请图像配准装置一实施例的框架示意图；
38.图10是本申请电子设备一实施例的框架示意图；
39.图11是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
40.下面结合说明书附图，对本申请实施例的方案进行详细说明。
41.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
42.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
43.请参阅图1，图1是本申请图像配准方法一实施例的流程示意图。
44.具体而言，可以包括如下步骤：
45.步骤s11：对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图。
46.在一个实施场景中，第一图像和第二图像为同一对象在不同条件下的图像。以第一图像和第二图像均是医学图像为例，第一图像和第二图像可以是由不同种类的医疗设备对同一对象(如，同一患者的腹部、胸部等)扫描得到的，例如，第一图像和第二图像分别是对患者的腹部扫描得到的ct(computed tomography，计算机断层扫描)图像、mr(magnetic resonance，核磁共振)图像；或者，第一图像和第二图像也可以是由同一种医疗设备在不同扫描时间扫描得到的。具体地，扫描时间可以对应于一次扫描过程中的不同造影时长，例如，第一图像和第二图像分别是对患者肝部进行ct(或，mr)扫描得到的平扫期图像、动脉期图像、门脉期图像、延迟期图像中的任意两者；此外，扫描时间也可以对应于不同次的扫描，例如，第一图像是在一月份扫描得到的，而第二图像是在二月份扫描得到的。在第一图像和第二图像为医学图像之外的其他类型图像的情况下，可以以此类推，在此不再一一举例。
47.在一个实施场景中，具体可以分别对第一图像和第二图像进行特征提取，得到第一图像的多个通道特征图，并得到第二图像的多个通道特征图。具体地，第一图像的多个通道特征图中通常存在至少一个表现较强(或表现较弱)的通道特征图，能够反映第一图像的风格，而与之类似地，第二图像的多个通道特征图中通常也存在至少一个表现较强(或表现较弱)的通道特征图，能够反映第二图像的风格。仍以医学图像为例，例如，第一图像为ct图像，则ct图像中至少存在一个表现较强的通道特征图，能够反映ct图像的灰度特征，或者，ct图像中至少存在一个表现较弱的通道特征图，能够反映ct图像的纹理特征；或者，第二图像为mr图像，则mr图像中至少存在一个表现较强的通道特征图，能够反映mr图像的纹理特征，或者，mr图像中至少存在一个表现较弱的通道特征图，能够反映mr图像的灰度特征，其他情况可以以此类推，在此不再一一举例。在此情形下，可以根据各个通道特征图在多个通道特征图中的重要程度，得到对应通道特征图的注意力权重，并利用该注意力权重对对应的通道特征图进行加权处理，以得到第一图像的第一特征图，以及第二图像的第二特征图。具体地，可以为表现较强的通道特征图赋予较小的注意力权重，或者，为表现较弱的通道特征图赋予较大的注意力权重，或者，同时为表现较强的通道特征图赋予较小的注意力权重，并为表现较弱的通道特征图赋予较大的注意力权重，从而使得第一特征图和第二特征图相近。例如，第一图像为ct图像，且其中n1个通道特征图反映了ct图像的纹理特征，剩余n2个通道特征图反映了ct图像的灰度特征，则可以为上述n1个通道特征图赋予较大的注意力权
重，为上述n2个通道特征图赋予较小的注意力权重，从而可以弱化ct图像的灰度特征，并强化ct图像的纹理特征；而对于第二图像为mr图像的情况，在其中m1个通道特征图反映了mr图像的纹理特征，剩余m2个通道特征图反映了mr图像的灰度特征的情况下，可以对上述m1个通道特征图赋予较小的注意力权重，并为上述m2个通道特征图赋予较大的注意力权重，从而可以弱化mr图像的纹理特征，并强化mr图像的灰度特征，进而可以使得不同模态的ct图像和mr图像最终编码得到的第一特征图和第二特征图相近，进而能够有利于满足多模态图像的配准，拓宽适用范围。此外，当第一图像和第二图像为其他图像时，可以以此类推，在此不再一一举例。
48.在一个实施场景中，为了提高图像配准效率，可以预先训练一图像配准模型，且该图像配准模型包括用于编码的第一编码子网络和第二编码子网络，从而可以利用第一编码子网络对第一图像进行编码，得到第一特征图，并利用第二编码子网络对第二图像进行编码，得到第二特征图。图像配准模型的训练过程可以参阅本申请图像配准模型的训练方法实施例中的步骤，在此暂不赘述。
49.在一个具体的实施场景中，请结合参阅图2，图2是图像配准模型一实施例的框架示意图，如图2所示，第一编码子网络可以包括至少一个顺序连接的特征提取层，每个特征提取层能够对应提取到不同分辨率的特征图，并将最后一个特征提取层提取得到的特征图，作为第一图像的第一特征图，类似地，第二编码子网络也可以包括至少一个顺序连接的特征提取层，每个特征提取层能够对应提取到不同分辨率的特征图，并将最后一个特征提取层提取得到的特征图，作为第二特征图。具体地，特征提取层至少可以包括卷积层。
50.在另一个具体的实施场景中，为了使第一编码子网络和第二编码子网络能够适用于不同模态的图像，第一编码子网络中相邻特征提取层之间还可以设有第一域注意力块，且第二编码子网络中相邻特征提取层之间还设有第二域注意力块，第一域注意力块和第二域注意力块均用于将特征提取层提取得到的特征图进行域转换，以使第一特征图和第二特征图相近。第一域注意力块和第二域注意力块的具体结构在此暂不赘述。
51.需要说明的是，在本公开实施例步骤s11之前，还可以先对第一图像和第二图像进行线性配准。线性配准具体可以包括但不限于：刚体配准、仿射配准，在此不做限定。在此之后，再利用线性配准之后的第一图像和第二图像，执行本公开实施例中步骤。通过上述方式，能够进一步提高配准的准确性。特别地，在第一图像的对象和第二图像中的对象各自的相对位置不同的情况下(如，在对同一对象的胸部进行ct扫描时，该对象可能在扫描过程中移动)，通过先执行线性配准，能够大大提高配准准确性。
52.步骤s12：融合第一特征图和第二特征图，得到速度场。
53.本公开实施例中，速度场可以是由每一时刻、每一点上的速度矢量组成的物理场。具体地，以线性插值为例，速度场中的每一元素表示第一图像中与该元素对应的至少一个像素点的中心像素点在变形时的速度矢量，其他像素点在变形时的速度矢量可以通过插值计算得到，在计算其他像素点的速度矢量时，可以获取距离该像素点最近的若干个中心像素点的速度矢量，并获取与各个中心像素点的速度矢量对应的权重，从而利用获取到的权重对对应的中心像素点的速度矢量进行加权处理，得到该像素点的速度矢量。需要说明的是，与中心像素点的速度矢量对应的权重和该像素点至对应中心像素点的距离成反比，即距离越小，权重越大，距离越大，权重越小。例如，第一图像是分辨率为480*480的图像，速度
场为48*48的物理场，则该速度场中每一元素对应于第一图像的10*10区域的中心像素点在变形时的速度矢量，其他像素点在变形时的速度矢量可以通过上述插值计算得到；或者，第一图像是分辨率为720*720*720的图像，速度场为72*72*72的物理场，则该速度场中每一元素对应于第一图像的10*10*10区域的中心像素点在变形时的速度矢量，其他像素点在变形时的速度矢量可以通过上述插值计算得到。其他情况可以以此类推，在此不再一一举例。
54.在一个实施场景中，可以将第一特征图和第二特征图进行拼接，得到拼接特征图，并对拼接特征图进行特征提取，得到速度场。具体地，可以将第一特征图和第二特征图在通道维度进行拼接，从而得到通道数翻倍且分辨率不变的拼接特征图。例如，第一特征图和第二特征图均是分辨率为w*h且通道数为c的特征图，则将第一特征图和第二特征图拼接，可以得到通道数为2c，且分辨率仍为w*h的特征图。此外，对拼接特征图进行特征提取，可以使得拼接特征图的通道数减半。上述方式，通过将第一特征图和第二特征图进行拼接，得到拼接特征图，并对拼接特征图进行特征提取，得到速度场，能够有利于简化获取速度场的过程，提高获取速度场的效率。
55.在另一个实施场景中，为了提高配准效率，可以预先训练一图像配准模型，且该图像配准模型包括速度场子网络，从而可以利用图像配准模型的速度场子网络融合第一特征图和第二特征图，得到速度场。具体地，速度场子网络可以包括顺序连接的拼接处理层和特征提取层，其中，拼接处理层用于将第一特征图和第二特征图进行拼接，得到拼接特征图，而特征提取层用于对拼接特征图进行特征提取，得到速度场。此外，特征提取层至少可以包括卷积层。
56.步骤s13：分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图。
57.本公开实施例中，新的第一特征图的分辨率不同于本次解码前的第一特征图的分辨率，且新的第二特征图的分辨率不同于本次解码前的第二特征图的分辨率。例如，新的第一特征图的分辨率可以大于本次解码前的第一特征图的分辨率，且新的第二特征图的分辨率可以大于本次解码前的第二特征图的分辨率。
58.在一个实施场景中，为了提高配准效率，可以预先训练一图像配准模型，且该图像配准模型包括第一解码子网络，第一解码子网络用于对第一特征图进行解码，此外，该图像配准模型还包括第二解码子网络，第二解码子网络用于对第二特征图进行解码，从而可以利用图像配准模型的第一解码子网络对第一特征图进行解码，得到新的第一特征图，并利用图像配准模型的第二解码子网络对第二特征图进行解码，得到新的第二特征图。具体地，第一解码子网络可以包括至少一个顺序连接的解码处理层。解码处理层具体可以包括以下任一者：反卷积层、上采样层，在此不做限定。
59.步骤s14：利用已得到的速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场。
60.需要说明的是，本次得到的速度场是基于新的第一特征图和新的第二特征图得到的，而新的第一特征图的分辨率不同于本次解码前的第一特征图的分辨率，新的第二特征图的分辨率不同于本次解码前的第二特征图的分辨率，故本次得到的速度场不同于前一次得到的速度场。具体地，每次解码之后，特征图的分辨率均会有所提高，导致速度场的尺寸也有所增大，即在特征图分辨率由低到高的过程中，可以得到尺度由小到大的速度场。
61.在一个实施场景中，可以对已得到的速度场进行转换，得到位移场，并利用位移场对新的第一特征图进行变形，得到变形特征图，从而可以融合变形特征图和新的第二特征图，再次得到速度场。上述方式，能够通过已得到的速度场，得到位移场，并利用经位移场变形得到的变形特征图和新的第二特征图的再次融合，得到速度场，从而能够有利于在已得到的速度场的基础上，再次得到速度场，进而能够有利于通过“多阶段”优化速度场，有利于提高速度场的精度。
62.在一个具体的实施场景中，具体可以将变形特征图和新的第二特征图进行拼接，对应得到一拼接特征图，并对该拼接特征图进行特征提取，从而再次得到速度场。具体地，融合变形特征图和新的第二特征图的具体方式可以参阅前述关于融合第一特征图和第二特征图的描述，在此不再赘述。
63.在另一个具体的实施场景中，可以分别将已得到的速度场进行转换，得到与速度场对应的位移场，再将与已得到的速度场对应的位移场进行融合(如，在通道维度进行堆叠)，得到用于对新的第一特征图进行变形的位移场。具体地，可以基于差分方式，将速度场迭代预设次数，得到与速度场对应的位移场。预设次数至少为1次，例如，1次、2次、3次、4次等，在此不做限定。为了便于描述，速度场可以记为vf，与速度场vf对应的位移场可以记为df，则速度场与位移场之间可以用常微分方程表示为：
[0064][0065]
上述公式(1)中，t表示时间，故可以记最小时间单位为dt，则可以得到速度场vf对应该最小时间单位的位移vfdt，为了便于描述，记n个最小时间单位下的位移为df
(n)
，则从而可以根据位移的复合规则，得到其中，表示对后者应用前者变换，进而迭代n次即可得到速度场vf对应的位移场df。例如，速度场vf对应128(即2的7次方)个最小时间单位，则需迭代7次。其他情况可以以此类推，在此不再一一举例。
[0066]
此外，具体可以将已得到的速度场进行尺度归一化，再通过下式，对尺度归一化后已得到的速度场进行转换，得到位移场：
[0067][0068]
上述公式(2)中，vf1、vf2表示尺度归一化后已得到的速度场，f()表示将速度场转换为位移场的转换函数，具体可以参阅前述描述，在此不再赘述。
[0069]
在又一个具体的实施场景中，请结合参阅图2，图像配准模型还可以包括变形层，用于对已得到的速度场进行转换，得到位移场，并利用位移场对新的第一特征图进行变形，得到变形特征图。变形层具体执行内容可以参阅前述描述，在此不再赘述。
[0070]
在一个实施场景中，在再次得到速度场之后，可以检测是否满足预设条件，并在满足预设条件的情况下，可以基于最新得到的第一特征图和第二特征图，重新执行上述步骤s13以及后续步骤，且新的第一特征图的分辨率大于本次解码前的第一特征图的分辨率，新的第二特征图的分辨率大于本次解码前的第二特征图的分辨率。上述方式，能够有利于在特征图分辨率由低到高的过程中，得到尺度由小到大的速度场，从而能够有利于实现“由粗到细”多阶段的配准，进而能够有利于提高配准精度。
[0071]
请继续结合参阅图2，在第一阶段：利用第一编码子网络对第一图像01进行编码，可以得到第一特征图01_1，利用第二编码子网络对第二图像02进行编码，可以得到第二特征图02_1，利用速度场子网络1融合第一特征图01_1和第二特征图02_1，可以得到速度场vf1。在第二阶段：利用解码处理层11对第一特征图01_1进行解码，得到新的第一特征图01_2，并利用解码处理层21对第二特征图02_1进行解码，得到新的第二特征图02_2，利用变形层1对速度场vf1进行转换，得到位移场f(vf1)，利用位移场f(vf1)对新的第一特征图01_2进行变形，得到变形特征图01_2’，利用速度场子网络2将变形特征图01_2’和新的第二特征图02_2进行融合，可以得到速度场vf2，此时最新得到的第一特征图即为第一特征图01_2，而最新得到的第二特征图即为第二特征图02_2。在第三阶段：利用解码处理层12对第一特征图01_2进行解码，得到新的第一特征图01_3，并利用解码处理层22对第二特征图02_2进行解码，得到新的第二特征图02_3，利用变形层2对速度场vf2进行转换，得到位移场f(vf2)，利用位移场f(vf2)对新的第一特征图01_3进行变形，得到变形特征图01_3’，利用速度场子网络3将变形特征图01_3’和新的第二特征图02_3进行融合，得到速度场vf3。故此，通过上述三个阶段，可以得到速度场vf1、vf2和vf3。在上述各个阶段中，f表示将速度场变换为位移场的转换函数。此外，在图像配准模型中的速度场子网络多于(或少于)图2所示的图像配准模型的情况下，可以以此类推，在此不再一一举例。
[0072]
需要说明的是，各个速度场子网络的网络结构可以相同，以图2为例，速度场子网络1、速度场子网络2和速度场子网络3可以均包括一个拼接处理层和一个卷积层。此外，也可以根据神经网络的实际设计情况，将各个速度场子网络设置为具有不同的网络结构，在此不做限定。
[0073]
在一个实施场景中，预设条件包括以下任一者：执行解码的次数小于预设阈值，最近一次执行解码得到的第一特征图或第二特征图的分辨率小于预设分辨率。具体地，当预设条件包括：执行解码的次数小于预设阈值时，预设阈值可以设置为至少为2次，例如，2次、3次、4次等，在此做限定。此外，当预设条件包括：最近一次解码得到的第一特征图或第二特征图的分辨率小于预设分辨率时，预设分辨率可以设置为第一图像或第二图像的原始分辨率，此外预设分辨率也可以小于原始分辨率，或者大于原始分辨率，在此不做限定。
[0074]
在一个具体的实施场景中，请结合参阅图2，在由图像配准模型的第一解码子网络执行对第一特征图的解码，并由图像配准模型的第二解码子网络执行对第二特征图的解码的情况下，预设条件可以包括以下任一者：执行解码的为第一解码子网络最后一个解码处理层，执行解码的为第二解码子网络的最后一个解码处理层。
[0075]
在另一个实施场景中，在检测不满足预设条件的情况下，可以执行本公开实施例中下述步骤s15，以基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。
[0076]
步骤s15：基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。
[0077]
在一个实施场景中，可以对多次融合得到的速度场进行转换，得到位移场，从而可以将该位移场作为用于配准第一图像和第二图像的配准参数。需要说明的是，“融合得到的速度场”具体指的是通过融合特征图所得到的速度场，具体可以参阅前述相关描述。具体地，可以对历次融合所得到的速度场进行转换，得到位移场，在此基础上，可以将该位移场
作为用于配准第一图像和第二图像的配准参数；或者，也可以在历次融合得到的速度场中选择部分速度场，并对所选择的速度场进行转换，得到位移场，从而可以将该位移场作为用于配准第一图像和第二图像的配准参数，具体可以根据实际应用需要进行设置。例如，在对配准参数的准确性要求较高的情况下，可以基于历次融合得到的速度场，得到配准参数；而在配准参数的准确性要求相对宽松的情况下，可以在历次融合得到的速度场中选择部分速度场，并基于选择的速度场，得到配准参数。
[0078]
请参阅图3，图3是利用速度场进行图像配准一实施例的状态示意图。具体地，图3是“单阶段”的图像配准状态示意图。如图3所示，式子表示利用速度场v转换得到的位移场f(v)对原始图像x(即图3左侧所示的同心圆图像)进行变形，得到变形图像(即图3中间所示的变形图像)，而式子表示对速度场v取反后转换得到的位移场f(
‑
v)对变形图像x(即图3中间所示的变形图像)进行变形，仍然能够还原得到原始图像(即同心圆图像)，而式子表示对速度场v转换得到的位移场f(v)取反得到新的位移场
‑
f(v)，利用新的位移场对变形图像x(即图3中间所示的变形图像)进行变形，不能得到原始图像(即同心圆图像)。由此可见，在“单阶段”的图像配准中，直接基于位移场的图像配准，无法满足微分同胚，而基于速度场的图像配准，能够满足微分同胚。故此，基于融合得到的速度场，既能够得到用于将第一图像配准至第二图像的正向配准参数，也能够得到用于将第二图像配准至第一图像的配准参数。
[0079]
请继续参阅图4，图4是利用速度场进行图像配准另一实施例的状态示意图。具体地，图4是“多阶段”的图像配准状态示意图。如图4所示，图4左上角同心圆图像为原始图像，利用尺度由小变大的速度场之后，分别得到位于左上角原始图像同一行右侧的四个图像，如前所述，尺度较小的速度场中每一元素对应于图像的像素区域较大，而尺度较大的速度场中每一元素对应于图像的像素区域较小，故原始图像应用尺度较小的速度场，能够在原始图像整体层面进行变形，即变形尺度较“粗放”，而应用尺度较大的速度场，能够在原始图像局部层面进行变形，即变形尺度较“细致”，即图4第一行“正向”所示的“由粗到细”的变化过程；与之相反，图4右下角图像利用尺度由大变小且取反后的速度场之后，可以得到位于图4右下角图像同一行左侧的四个图像，即图4第三行“反向”所示的变化过程。在此基础上，将同一列中分别位于正向行和反向行的图像进行差异分析，可以得到图4中第二行的图像，显然，图4中间行各个图像的灰度值基本保持不变。故此，在“多阶段”的图像配准中，基于速度场的图像配准，仍然能够满足微分同胚。
[0080]
在一个具体的实施场景中，可以将历次融合得到的速度场进行尺度归一化，从而可以利用下式，通过尺度归一化后多次融合得到的速度场，生成位移场，并将该位移场作为用于将第一图像配准至第二图像的正向配准参数：
[0081][0082]
上述公式(3)中，df
forward
表示正向配准参数，vf1、vf2、
…
、vf
n
分别表示尺度归一化后历次融合得到的速度场，f()表示用于将速度场转换为位移场的函数，具体可以参阅前述描述，在此不再赘述。
[0083]
在另一个具体的实施场景中，还可以将历次融合得到的速度场进行尺度归一化，
并进行取反，从而可以利用下式，通过尺度归一化取反后的多次融合得到的速度场，生成位移场，并将还位移场作为用户将第二图像配准至第一图像的反向配准参数：
[0084][0085]
上式公式(4)中，df
backward
表示反向配准参数，符号“—”表示取反操作。
[0086]
在另一个实施场景中，也可以将历次融合得到的速度场的集合，作为用于配准第一图像和第二图像的配准参数，从而在需要将第一图像配准至第二图像的情况下，可以通过上述公式(3)，得到用于将第一图像配准至第二图像的正向配准参数，而在需要将第二图像配准至第一图像的情况下，可以通过上述公式(4)，得到用于将第二图像配准至第一图像的反向配准参数。
[0087]
在一个实施场景中，在得到配准参数之后，可以利用配准参数对第一图像进行处理，得到第一图像的配准图像。具体地，在得到上述正向配准参数之后，可以利用正向配准参数对第一图像进行处理，得到第一图像的配准图像。以第一图像和第二图像均为医学图像为例，通过正向配准参数可以实现不同种类设备扫描得到的图像(如，ct图像、mr图像)间的配准，或者实现同一扫描设备对应于不同扫描时间的图像(如，对应于不同造影时长的平扫期图像、动脉期图像、门脉期图像、延迟期图像)间的配准。上述方式，能够实现第一图像和第二图像中全部像素点的配准，有利于从整体层面实现图像配准。
[0088]
在另一个实施场景中，在得到配准参数之后，可以利用配准参数对第二图像进行处理，得到第二图像的配准图像。具体地，在得到上述反向配准参数之后，可以利用反向配准参数对第二图像进行处理，得到第二图像的配准图像。以第一图像和第二图像均为医学图像为例，通过反向配准参数可以实现不同种类设备扫描得到的图像(如，ct图像、mr图像)间的配准，或者实现同一扫描设备对应于不同扫描时间的图像(如，对应于不同造影时长的平扫期图像、动脉期图像、门脉期图像、延迟期图像)间的配准。上述方式，能够实现第一图像和第二图像中全部像素点的配准，有利于从整体层面实现图像配准。
[0089]
在又一个实施场景中，在得到配准参数之后，利用配准参数对第一图像中至少一个第一像素点进行处理，从而可以基于处理后的至少一个第一像素点，得到第二图像中分别与至少一个第一像素点对应的至少一个第二像素点。具体地，在得到上述正向配准参数之后，可以利用正向配准参数对第一图像中至少一个第一像素点进行处理，从而可以基于处理后的至少一个第一像素点，得到第二图像中分别与至少一个第一像素点对应的至少一个第二像素点。以第一图像和第二图像均为医学图像为例，通过正向配准参数可以实现不同种类设备扫描得到的图像(如，ct图像、mr图像)像素点间的配准，或者实现同一扫描设备对应于不同扫描时间的图像(如，对应于不同造影时长的平扫期图像、动脉期图像、门脉期图像、延迟期图像)像素点间的配准。上述方式，能够实现第一图像和第二图像中至少一个像素点的配准，有利于从局部层面实现图像配准。
[0090]
在又一个实施场景中，在得到配准参数之后，还可以利用配准参数对第二图像中至少一个第二像素点进行处理，从而可以基于处理后的至少一个第二像素点，得到第一图像中分别与至少一个第二像素点对应的至少一个第一像素点。具体地，在得到上述反向配准参数之后，可以利用反向配准参数对第二图像中至少一个第二像素点进行处理，从而可以基于处理后的至少一个第二像素点，得到第一图像中分别与至少一个第二像素点对应的至少一个第一像素点。以第一图像和第二图像均为医学图像为例，通过反向配准参数可以
实现不同种类设备扫描得到的图像(如，ct图像、mr图像)像素点间的配准，或者实现同一扫描设备对应于不同扫描时间的图像(如，对应于不同造影时长的平扫期图像、动脉期图像、门脉期图像、延迟期图像)像素点间的配准。上述方式，能够实现第一图像和第二图像中至少一个像素点的配准，有利于从局部层面实现图像配准。
[0091]
上述方案，通过对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图，从而融合第一特征图和第二特征图，得到速度场，并分别对第一特征图和第二特征图进行解码，得到新的第一特征图和第二特征图，且新的第一特征图的分辨率不同于本次解码前的第一特征图的分辨率，新的第二特征图的分辨率不同于本次解码前的第二特征图的分辨率，进而利用已得到速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场，并基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。故此，通过在多个阶段分别融合不同分辨率的特征图，能够得到不同尺度的速度场，从而能够基于不同尺度的速度场，提高配准参数的精度，进而有利于提高配准精度。此外，由于在多个阶段分别得到不同尺度的速度场，从而能够有利于得到用于将第一图像正向地配准至第二图像的配准参数，也能够有利于得到用于将第二图像反向地配准至第一图像的配准参数，进而能够有利于满足微分同胚。
[0092]
请参阅图5，图5是本申请图像配准方法另一实施例的流程示意图。具体而言，可以包括如下步骤：
[0093]
步骤s51：获取待配准的多个图像，并将多个图像中的一个作为第一图像，并分别将剩余的至少一个图像作为第二图像。
[0094]
在一个实施场景中，多个图像均为医学图像，且多个图像满足以下任一者：多个图像是由不同种类的医疗设备扫描得到的，多个图像是由同一种医疗设备在不同扫描时间扫描得到的。具体可以参阅前述公开实施例中的相关描述，在此不再赘述。
[0095]
请结合参阅图6，图6是本申请图像配准方法一实施例的状态示意图，如图6所示，多个图像包括：图像a、图像b、图像c、图像d，则可以将图像a作为第一图像，图像b、图像c、图像d分别作为第二图像。例如，图像a为门脉期图像、图像b为平扫期图像、图像c为动脉期图像、图像d为延迟期图像，则可以将门脉期图像作为第一图像，并分别将平扫期图像、动脉期图像、延迟期图像作为第二图像。其他情况可以以此类推，在此不再一一举例。
[0096]
步骤s52：对图像进行特征提取，得到多个通道特征图。
[0097]
本公开实施例中，在图像为第一图像的情况下，多个通道特征图为第一图像对应的通道特征图，在图像为第二图像的情况下，多个通道特征图为第二图像对应的通道特征图。具体地，可以分别对第一图像进行特征提取，得到第一图像的多个通道特征图，对第二图像进行特征提取，得到第二图像的多个通道特征图。此外，提取通道特征图的具体方式，可以参阅前述公开实施例中的相关描述，在此不再赘述。
[0098]
步骤s53：基于各个通道特征图在多个通道特征图中的重要程度，得到对应通道特征图的注意力权重。
[0099]
在一个实施场景，请结合参阅图2，如前述公开实施例所述，第一编码子网络中相邻特征提取层之间还可以设有第一域注意力块，且第二编码子网络中相邻特征提取层之间还设有第二域注意力块，则第一图像的多个通道特征图的注意力权重可以通过第一域注意力块得到，而第二图像的多个通道特征图的注意力权重可以通过第二域注意力块得到。第
一域注意力块和第二域注意力块可以具有相同的网络结构，为了便于描述，本公开实施例中，将第一域注意力块和第二域注意力块统称为域注意力块。
[0100]
在一个具体的实施场景中，请结合参阅图7，图7是域注意力块一实施例的框架示意图。如图7所示，域注意力块包括域适配模块和多个通道注意力模块，每个通道注意力模块分别获取对全体通道特征图的通道注意力表示，域适配模块用于对这些注意力表示进行加权处理，得到各个通道特征图的注意力权重。以通道特征图通道数为c，分辨率为h*w为例，在通道注意力模块有k个的情况下，每个通道注意力模块对c*h*w的通道特征图进行处理，可以得到c*1的通道注意力表示，从而可以分别得到第1个通道注意力表示、第2个通道注意力表示、
……
、第k个通道注意力表示，而域适配模块对c*h*w的通道特征图进行处理，可以得到k*1的权重组合，进而可以将各个通道注意力模块输出的c*1的通道注意力表示进行拼接，得到c*k的通道注意力表示，并将拼接后的c*k的通道注意力表示与k*1的权重组合进行点积运算(即图7中运算)，即可得到c*1的注意力权重，即c个通道特征图中每一通道特征图的注意力权重。具体地，域适配模块可以包括顺序连接的全局平均池化(global average pooling，gap)层、全连接(fully connected，fc)层和softmax。此外，通道注意力模块具体可以为se(sequeze and excitation)block。如前述公开实施例所述，诸如ct图像、mr图像等不同模态图像的特征往往不尽相同，如ct图像往往灰度特征(如骨骼和软组织的边界)较为明显，而纹理特征(如软组织内部的精细结构)较为薄弱，mr图像往往灰度特征较为薄弱且纹理特征较为明显，而无论是ct图像，还是mr图像，通过特征提取层都可以提取到多个通道特征图，域注意力块通过多个通道注意力模块得到自适应的通道注意力表示(即全体通道特征图的通道注意力表示)，再通过域适配模块根据通道注意力表示给不同通道特征图予不同的权重，从而能够尽可能地较弱不同模态图像之间特征差异，进而能够提高图像配准模型的跨域适应力，有利于实现不同模态图像在同一图像配准模型内实现配准。
[0101]
步骤s54：分别利用每一通道特征图的注意力权重对对应通道特征图进行加权处理，得到图像的特征图。
[0102]
本公开实施例中，利用每一通道特征图的注意力权重对对应通道特征图进行加权处理，可以得到图像的特征图。具体地，在图像为第一图像的情况下，图像的特征图为第一特征图，在图像为第二图像的情况下，图像的特征图为第二特征图。
[0103]
在一个实施场景中，在执行下述步骤s55之前，还可以检测是否满足预设条件，预设条件可以包括：执行步骤s52所述的特征提取的次数小于预设阈值，最近一次执行步骤s52的特征提取得到的通道特征图的分辨率大于预设分辨率，在此情形下，可以将加权处理得到的图像，作为步骤s52所述的特征处理的输入图像，并重新执行步骤s52以及后续步骤。上述方式，通过多次编码，能够进一步提高第一特征图和第二特征图相近的程度。具体地，预设阈值可以设置为至少1次，例如，1次、2次、3次等，在此不做限定；预设分辨率可以根据实际应用需要设置，例如，可以设置为第一图像或第二图像原始分辨率的一半、三分之一等，在此不做限定。
[0104]
在另一个实施场景中，请结合参阅图2，在由图像配准模型的第一编码子网络中的特征提取层执行特征提取操作，并由图像配准模型的第二编码子网络中的特征提取层执行特征提取操作的情况下，预设条件可以包括以下任一者：执行特征提取的为第一编码子网
络最后一个特征提取层，执行特征提取的为第二编码子网络最后一个特征提取层。
[0105]
步骤s55：融合第一特征图和第二特征图，得到速度场。
[0106]
具体可以参阅前述公开实施例中的相关步骤，在此不再赘述。
[0107]
步骤s56：分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图。
[0108]
本公开实施例中，新的第一特征图的分辨率不同于本次解码前的第一特征图的分辨率，且新的第二特征图的分辨率不同于本次解码前的第二特征图的分辨率。具体可以参阅前述公开实施例中的相关步骤，在此不再赘述。
[0109]
步骤s57：利用已得到的速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场。
[0110]
具体可以参阅前述公开实施例中的相关步骤，在此不再赘述。
[0111]
步骤s58：基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。
[0112]
具体可以参阅前述公开实施例中的相关步骤，在此不再赘述。
[0113]
需要说明的是，基于步骤s52至步骤s54，能够使得第一图像的第一特征图和第二图像的第二特征图相近，从而能够适用于多模态图像间配准，而如前所述，基于速度场的配准，能够满足微分同胚。因此，通过本公开实施例中的步骤，不仅能够适用于多模态图像间配准，且能够减少配准次数，请结合参阅图6，对于图像a、图像b、图像c、图像d，任意两者之间均须执行1次配准，而对于这四个图像仅需1个图像配准模型即可，即对于n个图像而言，仅需训练1个图像配准模型，共需执行n
‑
1次配准即可；而在不适用“多模态”，且不满足“微分同胚”的情况下，对于图像a、图像b、图像c、图像d，任意两者之间均须执行2次配准，或需2个图像配准模型，以得到其中一个图像配准至另一个图像的正向配准参数和反向配准参数，即对于n个图像而言，共需执行n(n
‑
1)次配准，或需训练n(n
‑
1)个图像配准模型。
[0114]
区别于前述实施例，在利用上述方式进行图像编码之前，先获取待配准的多个图像，再将多个图像中的一个作为第一图像，并分别将剩余的至少一个图像作为第二图像。故此，在满足“微分同胚”的基础上，能够使两个图像仅需一次配准流程，即可实现正向和反向的配准，故能够有利于减少配准次数，而在进一步满足“多模态配准”的基础上，能够仅需少量配准次数即可实现多模态图像配准。
[0115]
请参阅图8，图8是图像配准模型的训练方法一实施例的流程示意图。具体而言，可以包括如下步骤：
[0116]
步骤s81：利用图像配准模型的第一编码子网络对第一样本图像进行编码，得到第一样本特征图，并利用图像配准模型的第二编码子网络对第二样本图像进行编码，得到第二样本特征图。
[0117]
具体可以参阅前述公开实施例中的相关步骤，在此不再赘述。
[0118]
步骤s82：利用图像配准模型的速度场子网络融合第一样本特征图和第二样本特征图，得到样本速度场。
[0119]
具体可以参阅前述公开实施例中的相关步骤，在此不再赘述。
[0120]
步骤s83：利用图像配准模型的第一解码子网络对第一样本特征图进行解码，得到新的第一样本特征图，并利用图像配准模型的第二解码子网络对第二样本特征图进行解
码，得到新的第二样本特征图。
[0121]
本公开实施例中，新的第一样本特征图的分辨率不同于本次解码前的第一样本特征图的分辨率，且新的第二样本特征图的分辨率不同于本次解码前的第二样本特征图的分辨率。具体可以参阅前述公开实施例中的相关步骤，在此不再赘述。
[0122]
步骤s84：基于图像配准模型的速度场子网络，利用已得到的样本速度场，对新的第一样本特征图和新的第二样本特征图进行融合，以再次得到样本速度场。
[0123]
具体可以参阅前述公开实施例中的相关步骤，在此不再赘述。
[0124]
步骤s85：基于历次得到的样本速度场，得到用于配准第一样本图像和第二样本图像的样本配准参数。
[0125]
如前述公开实施例所述，可以基于历次得到的样本速度场，得到用于将第一样本图像配准至第二样本图像的正向样本配准参数。具体可以参阅前述公开实施例中的相关步骤，在此不再赘述。此外，在一个实施场景中，也可以基于历次得到的样本速度场，得到用于将第二样本图像配准至第一样本图像的反向样本配准参数，在此不做限定。
[0126]
步骤s86：利用样本配准参数对第一样本图像进行处理，得到第一样本图像的样本配准图像。
[0127]
本公开实施例中，样本配准参数具体可以是正向样本配准参数，则在此情形下，可以利用正向样本配准参数对第一样本图像进行处理，得到第一样本图像的样本配准图像。具体可以参阅前述公开实施例中的相关步骤，在此不再赘述。此外，在样本配准参数为反向样本配准参数的情况下，可以利用反向样本配准参数对第二图像进行处理，得到第二样本图像的样本配准图像，在此不做限定。
[0128]
步骤s87：基于第二样本图像和样本配准图像之间的差异，调整图像配准模型的网络参数。
[0129]
具体地，可以计算第二样本图像和样本配准图像之间损失值，并根据损失值调整图像配准模型的网络参数。
[0130]
在一个实施场景中，可以采用随机梯度下降(stochastic gradient descent，sgd)、批量梯度下降(batch gradient descent，bgd)、小批量梯度下降(mini
‑
batch gradient descent，mbgd)等方式，利用损失值对图像配准模型的网络参数进行调整，其中，批量梯度下降是指在每一次迭代时，使用所有样本来进行参数更新；随机梯度下降是指在每一次迭代时，使用一个样本来进行参数更新；小批量梯度下降是指在每一次迭代时，使用一批样本来进行参数更新，在此不再赘述。
[0131]
在一个实施场景中，还可以设置一训练结束条件，当满足训练结束条件时，可以结束对图像配准模型的训练。具体地，训练结束条件可以包括：损失值小于一预设损失阈值；当前训练次数达到预设次数阈值(例如，500次、1000次等)，在此不做限定。
[0132]
此外，在样本配准参数为反向样本配准参数的情况下，可以利用反向样本配准参数对第二图像进行处理，得到第二样本图像的样本配准图像，从而可以基于第一样本图像和第二样本图像的样本配准图像之间的差异，调整图像配准模型的网络参数。
[0133]
区别于前述实施例，通过在多个阶段分别融合不同分辨率的样本特征图，能够得到不同尺度的样本速度场，从而能够基于不同尺度的样本速度场，提高样本配准参数的精度，进而有利于提高图像配准模型的精度。此外，由于在多个阶段分别得到不同尺度的样本
速度场，从而能够有利于得到用于将第一样本图像正向地配准至第二样本图像的样本配准参数，也能够有利于得到用于将第二样本图像反向地配准至第一样本图像的样本配准参数，进而能够有利于满足微分同胚。
[0134]
请参阅图9，图9是本申请图像配准装置90一实施例的框架示意图。图像配准装置90包括图像编码模块91、第一融合模块92、图像解码模块93、第二融合模块94和参数获取模块95，图像编码模块91用于对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图；第一融合模块92用于融合第一特征图和第二特征图，得到速度场；图像解码模块93用于分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图；其中，新的第一特征图的分辨率大于本次解码前的第一特征图的分辨率，且新的第二特征图的分辨率大于本次解码前的第二特征图的分辨率；第二融合模块94用于利用已得到的速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场；参数获取模块95用于基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。
[0135]
上述方案，通过对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图，从而融合第一特征图和第二特征图，得到速度场，并分别对第一特征图和第二特征图进行解码，得到新的第一特征图和第二特征图，且新的第一特征图的分辨率不同于本次解码前的第一特征图的分辨率，新的第二特征图的分辨率不同于本次解码前的第二特征图的分辨率，进而利用已得到速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场，并基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。故此，通过在多个阶段分别融合不同分辨率的特征图，能够得到不同尺度的速度场，从而能够基于不同尺度的速度场，提高配准参数的精度，进而有利于提高配准精度。此外，由于在多个阶段分别得到不同尺度的速度场，从而能够有利于得到用于将第一图像正向地配准至第二图像的配准参数，也能够有利于得到用于将第二图像反向地配准至第一图像的配准参数，进而能够有利于满足微分同胚。
[0136]
在一些公开实施例中，图像编码模块91包括特征提取子模块，用于对图像进行特征提取，得到多个通道特征图，图像编码模块91包括权重获取子模块，用于基于各个通道特征图在多个通道特征图中的重要程度，得到对应通道特征图的注意力权重，图像编码模块91特征图加权子模块，用于分别利用每一通道特征图的注意力权重对对应通道特征图进行加权处理，得到图像的特征图，其中，在图像为第一图像的情况下，通过上述步骤得到的特征图为第一特征图；在图像为第二图像的情况下，通过上述步骤得到的特征图为第二特征图。
[0137]
在一些公开实施例中，图像配准装置90包括图像获取模块，用于获取待配准的多个图像；以及用于将多个图像中的一个作为第一图像，并分别将剩余的至少一个图像作为第二图像。
[0138]
在一些公开实施例中，多个图像均为医学图像，且多个图像满足以下任一者：多个图像是由不同种类的医疗设备扫描得到的，多个图像是由同一种医疗设备在不同扫描时间扫描得到的。
[0139]
在一些公开实施例中，第二融合模块94包括转换子模块，用于对已得到的速度场进行转换，得到位移场，第二融合模块94包括变形子模块，用于利用位移场对新的第一特征
图进行变形，得到变形特征图，第二融合模块94包括融合子模块，用于融合变形特征图和新的第二特征图，再次得到速度场。
[0140]
在一些公开实施例中，第一融合模块92包括拼接子模块，用于将第一特征图和第二特征图进行拼接，得到拼接特征图，第一融合模块92包括提取子模块，用于对拼接特征图进行特征提取，得到速度场。
[0141]
在一些公开实施例中，图像配准装置90包括条件检测模块，用于检测是否满足预设条件，图像解码模块93、第二融合模块94还用于在满足预设条件的情况下，基于最新得到的第一特征图和第二特征图，重新执行分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图的步骤以及后续步骤，新的第一特征图的分辨率大于本次解码前的第一特征图的分辨率，且新的第二特征图的分辨率大于本次解码前的第二特征图的分辨率。
[0142]
在一些公开实施例中，预设条件包括以下任一者：执行解码的次数小于预设阈值，最近一次执行解码得到的第一特征图或第二特征图的分辨率小于预设分辨率。
[0143]
在一些公开实施例中，图像配准装置90包括图像处理模块，用于执行以下至少一者：利用配准参数对第一图像进行处理，得到第一图像的配准图像；利用配准参数对第二图像进行处理，得到第二图像的配准图像；利用配准参数对第一图像中至少一个第一像素点进行处理，基于处理后的至少一个第一像素点，得到第二图像中分别与至少一个第一像素点对应的至少一个第二像素点；利用配准参数对第二图像中至少一个第二像素点进行处理，基于处理后的至少一个第二像素点，得到第一图像中分别与至少一个第二像素点对应的至少一个第一像素点。
[0144]
在一些公开实施例中，图像编码模块91具体用于利用图像配准模型的第一编码子网络对第一图像进行编码，得到第一特征图，并利用图像配准模型的第二编码子网络对第二图像进行编码，得到第二特征图，第一融合模块92具体用于利用图像配准模型的速度场子网络融合第一特征图和第二特征图，得到速度场，图像解码模块93具体用于利用图像配准模型的第一解码子网络对第一特征图进行解码，得到新的第一特征图，并利用图像配准模型的第二解码子网络对第二特征图进行解码，得到新的第二特征图。
[0145]
请参阅图10，图10是本申请电子设备100一实施例的框架示意图。电子设备100包括相互耦接的存储器101和处理器102，处理器102用于执行存储器101中存储的程序指令，以实现上述任一图像配准方法实施例中的步骤。在一个具体的实施场景中，电子设备100可以包括但不限于：微型计算机、服务器，此外，电子设备100还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
[0146]
具体而言，处理器102用于控制其自身以及存储器101以实现上述任一图像配准方法实施例中的步骤。处理器102还可以称为cpu(central processing unit，中央处理单元)。处理器102可能是一种集成电路芯片，具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field
‑
programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器102可以由集成电路芯片共同实现。
[0147]
上述方案，能够提高图像配准精度。
[0148]
请参阅图11，图11为本申请计算机可读存储介质110一实施例的框架示意图。计算机可读存储介质110存储有能够被处理器运行的程序指令111，程序指令111用于实现上述任一图像配准方法实施例中的步骤。
[0149]
上述方案，能够提高图像配准精度。
[0150]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0151]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
[0152]
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
[0153]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0154]
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0155]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

技术特征：
1.一种图像配准方法，其特征在于，包括：对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图；融合所述第一特征图和所述第二特征图，得到速度场；分别对所述第一特征图和所述第二特征图进行解码，得到新的第一特征图和新的第二特征图，其中，所述新的第一特征图的分辨率不同于本次解码前的第一特征图的分辨率，且所述新的第二特征图的分辨率不同于本次解码前的第二特征图的分辨率；利用已得到的所述速度场，对所述新的第一特征图和所述新的第二特征图进行融合，以再次得到速度场；以及基于多次所述融合得到的速度场，生成用于配准所述第一图像和所述第二图像的配准参数。2.根据权利要求1所述的方法，其特征在于，所述对第一图像进行编码，得到第一特征图，或者，所述对第二图像进行编码，得到第二特征图，包括：对图像进行特征提取，得到多个通道特征图；基于各个所述通道特征图在所述多个通道特征图中的重要程度，得到对应所述通道特征图的注意力权重；分别利用每一所述通道特征图的注意力权重对对应所述通道特征图进行加权处理，得到所述图像的特征图；其中，在所述图像为所述第一图像的情况下，通过上述步骤得到的所述特征图为所述第一特征图；或者在所述图像为第二图像的情况下，通过上述步骤得到的所述特征图为所述第二特征图。3.根据权利要求2所述的方法，其特征在于，在所述对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图之前，所述方法还包括：获取待配准的多个图像；将所述多个图像中的一个作为所述第一图像，并分别将剩余的至少一个图像作为所述第二图像。4.根据权利要求3所述的方法，其特征在于，所述多个图像均为医学图像，且所述多个图像满足以下任一者：所述多个图像是由不同种类的医疗设备扫描得到的，所述多个图像是由同一种医疗设备在不同扫描时间扫描得到的。5.根据权利要求1至4任一项所述的方法，其特征在于，所述利用已得到的所述速度场，对所述新的第一特征图和所述新的第二特征图进行融合，以再次得到速度场，包括：对已得到的所述速度场进行转换，得到位移场；利用所述位移场对所述新的第一特征图进行变形，得到变形特征图；融合所述变形特征图和所述新的第二特征图，再次得到速度场。6.根据权利要求1至5任一项所述的方法，其特征在于，所述融合所述第一特征图和所述第二特征图，得到速度场，包括：将所述第一特征图和所述第二特征图进行拼接，得到拼接特征图；对所述拼接特征图进行特征提取，得到所述速度场。7.根据权利要求1至6任一项所述的方法，其特征在于，在所述基于多次所述融合得到的速度场，生成用于配准所述第一图像和所述第二图像的配准参数之前，所述方法还包括：
在满足预设条件的情况下，基于最新得到的第一特征图和第二特征图，重新执行所述分别对所述第一特征图和所述第二特征图进行解码，得到新的第一特征图和新的第二特征图的步骤以及后续步骤。8.根据权利要求7所述的方法，其特征在于，所述预设条件包括以下任一者：执行所述解码的次数小于预设阈值，最近一次执行所述解码得到的所述第一特征图或所述第二特征图的分辨率小于预设分辨率；和/或，所述新的第一特征图的分辨率大于本次解码前的第一特征图的分辨率，且所述新的第二特征图的分辨率大于本次解码前的第二特征图的分辨率。9.根据权利要求1至8任一项所述的方法，其特征在于，在所述基于多次所述融合得到的速度场，生成用于配准所述第一图像和所述第二图像的配准参数之后，所述方法还包括以下至少一者：利用所述配准参数对所述第一图像进行处理，得到所述第一图像的配准图像；利用所述配准参数对所述第二图像进行处理，得到所述第二图像的配准图像；利用所述配准参数对所述第一图像中至少一个第一像素点进行处理，基于处理后的所述至少一个第一像素点，得到所述第二图像中分别与所述至少一个第一像素点对应的至少一个第二像素点；或者利用所述配准参数对所述第二图像中至少一个第二像素点进行处理，基于处理后的所述至少一个第二像素点，得到所述第一图像中分别与所述至少一个第二像素点对应的至少一个第一像素点。10.根据权利要求1至9任一项所述的方法，其特征在于，所述对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图，包括：利用图像配准模型的第一编码子网络对第一图像进行编码，得到第一特征图，并利用所述图像配准模型的第二编码子网络对第二图像进行编码，得到第二特征图；所述融合所述第一特征图和所述第二特征图，得到速度场，包括：利用所述图像配准模型的速度场子网络融合所述第一特征图和所述第二特征图，得到速度场；所述分别对所述第一特征图和所述第二特征图进行解码，得到新的第一特征图和新的第二特征图，包括：利用所述图像配准模型的第一解码子网络对所述第一特征图进行解码，得到新的第一特征图，并利用所述图像配准模型的第二解码子网络对所述第二特征图进行解码，得到新的第二特征图。11.一种图像配准装置，其特征在于，包括：图像编码模块，用于对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图；第一融合模块，用于融合所述第一特征图和所述第二特征图，得到速度场；图像解码模块，用于分别对所述第一特征图和所述第二特征图进行解码，得到新的第一特征图和新的第二特征图；其中，所述新的第一特征图的分辨率大于本次解码前的第一特征图的分辨率，且所述新的第二特征图的分辨率大于本次解码前的第二特征图的分辨率；
第二融合模块，用于利用已得到的所述速度场，对所述新的第一特征图和所述新的第二特征图进行融合，以再次得到速度场；参数获取模块，用于基于多次所述融合得到的速度场，生成用于配准所述第一图像和所述第二图像的配准参数。12.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至10任一项所述的图像配准方法。13.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至10任一项所述的图像配准方法。
技术总结
本申请公开了一种图像配准方法及相关装置、电子设备、存储介质，其中，图像配准方法包括：对第一图像进行编码，得到第一特征图，并对第二图像进行编码，得到第二特征图；融合第一特征图和第二特征图，得到速度场；分别对第一特征图和第二特征图进行解码，得到新的第一特征图和新的第二特征图；利用已得到的速度场，对新的第一特征图和新的第二特征图进行融合，以再次得到速度场；基于多次融合得到的速度场，生成用于配准第一图像和第二图像的配准参数。上述方案，能够提高图像配准精度，具体可以应用于对医学图像进行配准，以提高医学图像的配准精度。配准精度。配准精度。


技术研发人员：黄烨翀 叶宇翔 朱雅靖 陈翼男
受保护的技术使用者：上海商汤智能科技有限公司
技术研发日：2021.03.26
技术公布日：2021/6/29