本发明主要涉及用于对图像(例如活标本的显微图像)降噪的机器学习算法的训练的系统和方法、经训练的机器学习模型以及用于应用这种机器学习模型的系统和方法。
背景技术：
1、在生命科学和生物学领域，但也在其他领域中，例如医学领域中，活体样本或其他样本或显微样本可以例如通过显微镜进行检查。为了最大限度减少光漂白和光毒性，例如，可以尽量减少能量输入(如激光功率)，减少帧速率、曝光时间或增益——然而，代价是增加噪声量和不足以进行动力学分析的时间分辨率。
技术实现思路
1、鉴于上述情况，在对图像降噪方面还需要改进。根据本发明实施例，提出了一种具有独立权利要求的特征的用于训练用于对图像降噪的机器学习算法的系统和方法、经训练的机器学习模型以及应用该机器学习模型的系统和方法。有利的进一步发展形成从属权利要求和随后的描述的主题。
2、本发明的实施例涉及包括一个或多个处理器和一个或多个存储设备的系统，用于训练机器学习算法，例如人工神经网络。系统被配置为：接收训练数据，基于训练数据调整机器学习算法的权重，并提供经调整(经训练)的机器学习模型。训练数据包括从一个或多个连续图像序列获得的多个图像集，其中每个图像集包括从一个连续图像序列或从多个连续图像序列中的同一序列获得的多个，例如，三个或更多个，图像。每个图像集的多个图像包括初始图像、中间图像和最后图像。值得注意的是，由于多个图像是连续图像序列的一部分，集的图像由于序列的连续特性而隐含地具有顺序。调整机器学习算法的权重(即训练机器学习算法)以获得经训练的机器学习模型。调整是基于机器学习算法的输出图像和目标图像。通过使用初始图像和最后图像作为输入图像获得机器学习算法的输出图像，并且目标图像基于中间图像。
3、这样，使用图像集来训练机器学习算法，其中此集的两个图像用作输入来产生输出图像，并且图像集合的第三个图像用作目标图像，特别是使得输出图像与目标匹配。
4、一般来说，图像降噪的任务是从图像中去除噪声，同时保留尽可能多的真实信号(来自图像)。通常，由图像传感器采集的数据集会受到噪声的污染。不完善的仪器、数据采集过程中的问题以及干扰自然现象都会破坏感兴趣的数据。因此，减噪(即降噪)是图像分析中的一项重要技术，并且通常是图像被(进一步)分析之前要采取的第一步。
5、图像降噪的方法可以包括空间滤波、变换域滤波和小波阈值方法。另一种图像降噪方法是基于深度学习(dl)的方法，或者一般来说，使用机器学习算法和模型的方法，包括使用卷积神经网络(cnn)的监督方法和自监督方法，如噪声对噪声(或noise2noise)和例如噪声对空洞(或noise2void)。即使干净的参考图像不可用(即自监督学习)，深度学习(dl)方法通常也非常有效地完成图像降噪任务。noise2noise只需要噪声图像对(而不需要干净的图像)来训练机器学习算法，如用于降噪的深度卷积网络，它已被证明产生了与使用有噪图像和干净图像的对的方法(noise to clean或noise2clean)一样好的结果。
6、事实证明，当训练数据量减少时，噪声对噪声的降噪性能下降，限制了其在实际场景中的能力。现在，发明人已经认识到，使用连续图像序列，如来自延时成像，可以提供大的数据集，此外，允许多次使用单个图像。一组图像，例如三个图像，允许使用第一个和最后一个图像作为输入图像来生成输出图像，并且中间的图像用来定义用于训练的目标图像。由于集合可以重叠，例如，一个集合的模型图像可以作为另一个集合的第一个图像。例如，如果每个图像集包括3个图像，则每个图像可以是3个不同图像集的一部分。因此，使用例如延时图像的时间帧(图像)允许显著增加用于dl训练的训练样本的量。
7、此外，机器学习算法的训练(dl模型训练)通常是非常耗时的过程，需要繁琐的工作来创建训练数据和大量的工作来优化经训练的模型。此外，即使是工作流程中早期机器学习模型的一个小更改也可能对机器学习模型的性能产生巨大影响。以自监督的方式使用延时数据(或连续图像的其他类似序列)训练单个机器学习算法可以解决这个问题。
8、在本发明的实施例中，系统被配置为基于机器学习算法的输出图像和目标图像，通过最小化输出图像和目标图像之间的差来调整机器学习算法的权重，以获得经训练的机器学习模型。这是一种简单有效的匹配输出图像和目标图像的方法。
9、在本发明的实施例中，系统进一步被配置为通过对中间图像应用随机移位从中间图像获得目标图像。使用集合中的两个图像作为输入意味着只有噪声图像用于训练，即这是一种噪声对噪声的方法。然而，噪声对噪声降噪不能消除潜在的所谓的来自图像的非i.i.d.(独立且同分布)噪声。然而，对中间图像应用随机移位(这导致目标图像中的随机移位，目标图像基于中间图像)也允许考虑这种非i.i.d.噪声，即以这种方式训练或实现的机器学习模型允许去除这种非i.i.d.噪音。
10、在本发明的实施例中，每个图像集的多个图像为相应的连续图像序列的(例如，三个)连续图像(或帧)。这样，这些图像之间的偏差保持在最小。例如，在活体样本的延时成像序列中，连续图像之间的偏差比其他图像之间的偏差小，因为活体样本很可能移动得更少。这样，用作训练的输入图像的两个图像将几乎相同，从而产生更好的降噪。
11、在本发明的实施例中，一个或多个连续图像序列从以下中的至少一个获得：延时成像，以及一个或多个视频。如前所述，延时成像提供了大量的连续图像，允许增加训练数据。视频通常包括甚至更连续的图像，例如每秒60或120个图像(如果视频的帧速率是60或120fps，即每秒帧)。
12、在本发明的实施例中，机器学习算法包括或基于卷积网络(卷积神经网络，cnn)或深度卷积(神经)网络。这种cnn的示例是rcan(残差通道注意力网络)和u-net。u-net是一种基于全卷积网络的卷积神经网络，其架构经过修改和扩展，以使用更少的训练图像并产生更精确的分割。例如，在现代gpu上，分割512×512图像的时间不到一秒。这些类型的机器学习模型已被证明对所描述的方法特别有利。
13、本发明的另一个实施例涉及用于训练用于对图像降噪的机器学习算法的计算机实现方法，其中，机器学习算法被配置为基于两个输入图像生成输出图像。方法包括接收训练数据，调整机器学习算法的权重以获得经训练的机器学习模型，以及提供经训练的机器学习模型。训练数据包括从一个或多个连续图像序列获得的多个图像集，其中每个图像集包括从一个连续图像序列或多个连续图像序列中的同一序列获得的多个图像，其中每个图像集的多个图像包括初始图像、中间图像和最后图像。调整机器学习算法的权重是基于机器学习算法的输出图像和目标图像，其中，通过使用初始图像和最后图像作为输入图像，获得机器学习算法的输出图像。目标图像基于中间图像。
14、本发明的另一个实施例涉及用于对图像降噪的经训练的机器学习模型。通过接收训练数据并调整机器学习算法的权重以获得经训练的机器学习模型来训练或实现机器学习模型。训练数据包括从一个或多个连续图像序列获得的多个图像集，其中每个图像集包括从一个连续图像序列或从多个连续图像序列中的同一序列获得的多个图像，其中每个图像集的多个图像包括初始图像、中间图像和最后图像。调整机器学习算法的权重是基于机器学习算法的输出图像和目标图像，其中，通过使用初始图像和最后图像作为输入图像，获得机器学习算法的输出图像。目标图像基于中间图像。
15、关于用于机器学习算法的序列的方法和经训练的机器学习模型的进一步实施例和优点，参考上面提供的用于机器学习算法的训练的系统的描述，在此相应适用。
16、本发明的另一个实施例涉及包括一个或多个处理器和一个或多个存储设备的系统，通过应用机器学习模型，用于为一个或多个活体样本的例如延时成像生成降噪图像。系统被配置为接收输入数据，其中输入数据包括从连续图像序列，例如，从延时成像，获得的两个输入图像。系统进一步被配置为将机器学习模型应用于两个输入图像以获得降噪图像，并提供输出数据，其中输出数据包括降噪的图像。在实施例中，经训练的机器学习模型可以是上述的任何一个，或由上述的任何一个实施例获得。以此方式，可以容易且非常有效地对原始图像或连续图像序列的帧进行降噪。
17、在本发明的实施例中，系统旨在或用于从个体图像生成降噪的图像，其中两个输入图像是该个体图像的两个副本。如上所述，机器学习模型通过处理两个输入图像来生成降噪的输出图像。因此，使用同一图像的两个副本作为两个输入图像，可以使用高效和有效的机器学习模型对单个图像进行降噪。
18、在本发明的实施例中，该系统旨在或用于将降噪的图像生成为插值图像，即对要获得的图像进行降噪和插值。在这种情况下，两个输入图像是两个不同的图像(来自时间序列)。如上所述，机器学习模型通过处理两个输入图像来生成降噪的输出图像。因此，使用两个不同的图像作为两个输入图像，得到的图像不仅被降噪，而且同时在两个输入图像之间进行插值。
19、在本发明的实施例中，两个输入图像为图像的时间序列的两个连续图像(或帧)。这允许在没有获得真实图像的位置(两个连续位置之间)生成额外的图像或帧。
20、在本发明的实施例中，从延时成像或从视频获得两个输入图像。通过这种方式，产生的延时数据集或视频可以具有更高的帧率。
21、在本发明的实施例中，可以将一个或多个其他降噪方法应用于已降噪(以及可能的插值)的图像，如上文所述。在本发明的另一个或附加实施例中，可以在上文所述的降噪(以及可能的插值)之前，将一个或多个其他降噪方法应用于用作输入图像的序列的图像。这允许进一步改善降噪。
22、本发明的另一个实施例涉及通过应用机器学习模型对图像降噪的计算机实现方法。该方法包括接收输入数据，其中输入数据包括从连续图像的序列获得的两个输入图像。方法进一步包括将机器学习模型应用于两个输入图像以获得降噪的图像，提供输出数据，其中输出数据包括降噪的图像。
23、关于应用机器学习模型的方法的进一步实施例和优点，参考上述的应用机器学习模型的系统的描述，此处也相应适用。
24、本发明的进一步实施例涉及具有用于当计算机程序在处理器上运行时执行上述方法中的一个或多个的程序代码的计算机程序。
25、本发明的进一步优点和实施例从描述和附图中将是显而易见的。
26、应当注意的是，上述特征和将在下文进一步描述的特征，不仅可以在分别表示的组合中使用，还可以在进一步的组合中使用或单独使用，而不偏离本发明的范围。
1.一种用于训练用于对图像降噪的机器学习算法(160)的系统(150)，系统(150)包括一个或多个处理器(152)和一个或多个存储设备(154)，其中机器学习算法被配置为基于两个输入图像生成输出图像，其中系统(150)被配置为：
2.如权利要求1所述的系统(150)，被配置为基于机器学习算法的输出图像(168)和目标图像(164)，通过最小化输出图像(168)和目标图像(164)之间的差来调整机器学习算法(160)的权重以获得经训练的机器学习模型(170)。
3.如上述权利要求中任何一个所述的系统(150)，其中每个图像集(140)的多个图像是相应的连续图像序列(120，122)的连续图像。
4.如上述权利要求中任何一个所述的系统(150)，其中一个或多个连续图像序列(120，122)从以下中的至少一个获得：延时成像和一个或多个视频。
5.如上述权利要求中任何一个所述的系统(150)，其中训练数据仅包括噪声图像。
6.如上述权利要求中任何一个所述的系统(150)，其中机器学习算法(160)包括或基于卷积网络或深度卷积网络。
7.一种用于训练用于对图像降噪的机器学习算法的计算机实现方法，其中机器学习算法被配置为基于两个输入图像生成输出图像，方法包括：
8.一种用于对图像降噪的经训练的机器学习模型(170)，通过以下训练：
9.一种用于通过应用机器学习模型(270，370)生成降噪图像的系统(250，350)，包括一个或多个处理器(252，352)和一个或多个存储设备(254，354)，其中系统(250，350)被配置为：
10.如权利要求9所述的系统(350)，用于将降噪图像生成为插值图像(365)，其中两个输入图像是两个不同的图像。
11.如权利要求10所述的系统(350)，其中两个输入图像(344，346)是图像(320)的时间序列的两个连续图像。
12.如权利要求9至11中任何一个所述的系统(250、350)，其中两个输入图像从延时成像或从视频获得。
13.如权利要求9至12中任何一个所述的系统(250，350)，其中两个输入图像从一个或多个活体样本的延时成像获得。
14.如权利要求9至13中任何一个所述的系统(250，350)，其中使用如权利要求8所述的经训练的机器学习模型。
15.一种通过应用机器学习模型对图像降噪的计算机实现方法，包括：
16.一种计算机程序，具有当计算机程序在处理器上运行时，用于执行如权利要求7或15所述的方法的程序代码。
