基于结构光照明的超分辨扫描光场成像系统和方法与流程

1.本技术涉及计算成像技术领域，尤其涉及一种基于结构光照明的超分辨扫描光场成像系统和方法。


背景技术：

2.光学分辨率存在衍射极限的限制，在空间中位置靠得很近的两个点，无法被光学系统所分辨。这种分辨率的限制，通常在200nm左右，影响了显微系统对生物组织细胞的观测效果。例如，常规光学显微镜无法观测到线粒体、溶酶体等重要细胞器的内部清晰结构。研究人员一直在努力研究超分辨显微的方法，到目前为止，相关技术主要包括以下几种成像方法。
3.第一种方法是，基于荧光淬灭的受激发射损耗显微技术。通过将光斑外围的光晕淬灭，实现超分辨率的成像，理论上可以实现10
‑
20 nm的分辨率。但这样方法缺点同样明显，需要很强的光毒性才能实现，会对样本造成严重的光损伤，无法实现长时间的观测。
4.第二种方法是，随机光学重建显微。通过随机点亮部分荧光分子，实现精确的荧光定位。但这种方法需要拍摄上百张的图像才能重建一张超分辨图像，严重降低了成像速度，而且要求特殊的荧光蛋白，对实验带来很大的不便。
5.第三种方法是，结构光超分辨显微技术。通过结构光技术，可以将传统光学极限分辨率扩展一倍。结构光技术的光毒性较弱，适合长时间的活细胞成像，是目前观测动态样本的最有效技术之一。不过，细胞在物理空间中都是三维分布的。结构光技术要实现三维成像，需要轴向扫描样本，大大降低了成像速度，难以应用于快速的成像应用中。


技术实现要素：

6.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
7.为此，本技术的第一个目的在于提出一种基于结构光照明的超分辨扫描光场成像系统，解决了现有显微技术成像速度低的问题，还解决了现有显微技术光毒性强，无法实现长时间观测的问题，通过结构光照明扩展两倍的频谱探测范围，提升空间分辨率，使用亚像素扫描光场采集三维图像，解决空间分辨率和时间分辨率的矛盾，且具有结构简单、成本低、快速、适用于活细胞显微观测、多细胞器互作观测等优点。
8.本技术的第二个目的在于提出一种基于结构光照明的超分辨扫描光场成像方法。
9.本技术的第三个目的在于提出一种非临时性计算机可读存储介质。
10.为达上述目的，本技术第一方面实施例提出了一种基于结构光照明的超分辨扫描光场成像系统，包括：结构光照明模块、成像镜头、二维扫描系统、微透镜阵列、图像传感器、控制系统、重建模块，其中，结构光照明模块，用于生成正弦周期的照明调制，照射目标样本；成像镜头，包括显微领域的物镜、管镜，用于放大目标样本，并成像于二维扫描系统的图像平面上；二维扫描系统，包括二维扫描振镜和中继透镜对，二维扫描振镜放置于中继透镜对的频域平面内，二维扫描振镜，用于在频域平面内旋转光路角度，以亚像素平移图像平
面，中继透镜对，用于匹配物镜和微透镜阵列之间的数值孔径，并放大或缩小图像平面；微透镜阵列，用于在后焦平面上调制不同的光束，并根据经过亚像素平移图像平面调制得到多个调制图像；图像传感器，用于记录多个调制图像；控制系统，用于同步触发结构光照明模块、二维扫描系统和图像传感器；重建模块，用于获取图像传感器记录的多个调制图像，并通过三维重建算法、频域融合算法实现超分辨三维成像。
11.可选地，在本技术的一个实施例中，结构光照明模块，在目标样本三维平面内生成均一的正弦周期照明图样，用于实现超过10微米轴向范围的条纹照明。
12.可选地，在本技术的一个实施例中，二维扫描振镜包括x方向扫描振镜和y方向扫描振镜，以频域平面建立坐标系，以像素分辨率为最小扫描单位，对第一图像平面进行快速振动。
13.可选地，在本技术的一个实施例中，微透镜阵列与图像传感器通过成像相机镜头耦合。
14.可选地，在本技术的一个实施例中，控制系统，用于同时触发空间光调制器、二维扫描振镜和图像传感器，实现当二维振镜扫描到一个具体位置时，空间光调制器顺序依次输出9张正弦图像，在同步的过程中，设置延迟时间，保证在相机采集的过程中，空间光调制器和二维振镜保持稳定状态。
15.可选地，在本技术的一个实施例中，三维重建算法为：分别对不同结构光信息的9组扫描光场图像，融合多角度信息重建三维图像；频域融合算法具体为：将带有结构光信息的9张三维图像合成为1张超分辨三维图像。
16.为达上述目的，本技术第二方面实施例提出了一种基于结构光照明的超分辨扫描光场成像方法，包括：通过空间光调制器，生成正弦周期的照明调制，并通过涡旋半波片调整照明的偏振方向，使其与正弦照明条纹的方向一致，用该偏振正弦结构光来照射目标样本；通过成像镜头放大目标样本，在成像系统的第一图像平面后加入中继透镜，在频域平面内加入二维扫描振镜旋转光路角度；在中继透镜后焦面放置微透镜阵列，在微透镜阵列的后焦平面上放置相机；使用控制系统同步控制振镜扫描与空间光调制器图像切换，实现结构光扫描光场图像的采集；使用三维重建算法、频域融合算法对光场图像进行处理，生成超分辨三维图像。
17.为了实现上述目的，本技术第三方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，能够执行一种基于结构光照明的超分辨扫描光场成像方法。
18.本技术实施例的基于结构光照明的超分辨扫描光场成像系统、基于结构光照明的超分辨扫描光场成像方法和非临时性计算机可读存储介质，解决了现有显微技术成像速度低的问题，还解决了现有显微技术光毒性强，无法实现长时间观测的问题，通过结构光照明扩展两倍的频谱探测范围，提升空间分辨率，使用亚像素扫描光场采集三维图像，解决空间分辨率和时间分辨率的矛盾，且具有结构简单、成本低、快速、适用于活细胞显微观测、多细胞器互作观测等优点。
19.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
20.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本技术实施例一所提供的一种基于结构光照明的超分辨扫描光场成像系统的结构示意图；图2为本技术实施例的基于结构光照明的超分辨扫描光场成像系统的系统框图；图3为本技术实施例的从商用荧光显微镜到超分辨扫描光场成像系统的改装重建过程框图；图4为本技术实施例的二所提供的一种基于结构光照明的超分辨扫描光场成像方法的流程图；图5为本技术实施例的二所提供的基于结构光照明的超分辨扫描光场成像方法的另一个流程图。
具体实施方式
21.下面详细描述本技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
22.下面参考附图描述本技术实施例的基于结构光照明的超分辨扫描光场成像系统和方法。
23.图1为本技术实施例一所提供的一种基于结构光照明的超分辨扫描光场成像系统的结构示意图。
24.如图1所示，该基于结构光照明的超分辨扫描光场成像系统，包括：结构光照明模块10、成像镜头20、二维扫描系统30、微透镜阵列40、图像传感器50、控制系统60、重建模块70，其中，结构光照明模块10，用于生成正弦周期的照明调制，照射目标样本；成像镜头20，包括显微领域的物镜、管镜，用于放大目标样本，并成像于二维扫描系统的图像平面上；二维扫描系统30，包括二维扫描振镜和中继透镜对，二维扫描振镜放置于中继透镜对的频域平面内，二维扫描振镜，用于在频域平面内旋转光路角度，以亚像素平移图像平面，中继透镜对，用于匹配物镜和微透镜阵列之间的数值孔径，并放大或缩小图像平面；微透镜阵列40，用于在后焦平面上调制不同的光束，并根据经过亚像素平移图像平面调制得到多个调制图像；图像传感器50，用于记录多个调制图像；控制系统60，用于同步触发结构光照明模块、二维扫描系统和图像传感器；重建模块70，用于获取图像传感器记录的多个调制图像，并通过三维重建算法、频域融合算法实现超分辨三维成像。
25.本技术实施例的基于结构光照明的超分辨扫描光场成像系统，包括：结构光照明模块、成像镜头、二维扫描系统、微透镜阵列、图像传感器、控制系统、重建模块，其中，结构光照明模块，用于生成正弦周期的照明调制，照射目标样本；成像镜头，包括显微领域的物
镜、管镜，用于放大目标样本，并成像于二维扫描系统的图像平面上；二维扫描系统，包括二维扫描振镜和中继透镜对，二维扫描振镜放置于中继透镜对的频域平面内，二维扫描振镜，用于在频域平面内旋转光路角度，以亚像素平移图像平面，中继透镜对，用于匹配物镜和微透镜阵列之间的数值孔径，并放大或缩小图像平面；微透镜阵列，用于在后焦平面上调制不同的光束，并根据经过亚像素平移图像平面调制得到多个调制图像；图像传感器，用于记录多个调制图像；控制系统，用于同步触发结构光照明模块、二维扫描系统和图像传感器；重建模块，用于获取图像传感器记录的多个调制图像，并通过三维重建算法、频域融合算法实现超分辨三维成像。由此，能够解决现有显微技术成像速度低的问题，还可以解决现有显微技术光毒性强，无法实现长时间观测的问题，通过结构光照明扩展两倍的频谱探测范围，提升空间分辨率，使用亚像素扫描光场采集三维图像，解决空间分辨率和时间分辨率的矛盾，且具有结构简单、成本低、快速、适用于活细胞显微观测、多细胞器互作观测等优点。
26.本技术结合扫描光场显微镜和结构光照明技术，通过加入结构光照明，将样本信息倍频，在原有扫描光场显微的基础上，增加了照明调制光路，使成像分辨率突破衍射极限，在照明光路中加入空间光调制器、空间掩膜、涡旋半波片等器件即可实现，并且配合一台普通计算机进行数据处理即可实现，从而可以超分辨率的四维空间角度信息，并进行频域信息的融合，具有简单的结构，并具有低成本、快速的优点。
27.本技术可以仅通过几次拍摄来实现对样本的超分辨成像，这取决于振镜的扫描和空间光调制器的变化，它的速度比成像系统轴向平面聚焦速度快，因此，成像速度很快。此外，适用于真实场景的成像。
28.本技术使用空间光调制器生成三方向的正弦周期图样进行照明，使用普通的成像镜头，在傅里叶平面上添加扫描振镜，进一步通过微透镜传输光束具有极限分辨率的透镜阵列，并在微透镜阵列调制后实现不同角度的光束，之后，调整对应于图像传感器上每个微透镜的像素范围，使图像传感器获得不同亚像素偏移的图像每次的位置。最后同步控制空间光调制器和扫描振镜，实现倍频的四维空间角度信息采集，具有超分辨率、快速成像的特点。
29.相关技术的扫描光场显微镜所采集的扫描光场图像，可被看作是高分辨率的维格纳离散分布函数；而本技术可以通过结构光照明样本的方式，采集到超分辨率的维格纳离散分布函数。
30.进一步地，在本技术实施例中，结构光照明模块，在目标样本三维平面内生成均一的正弦周期照明图样，用于实现超过10微米轴向范围的条纹照明。
31.结构光照明模块通过干涉的形式依次输出三方向的照明图样。结构光照明模块包括空间光调制器、空间掩膜、涡旋半波片，其中，空间光调制器，以空间平面建立坐标系，以空间光调制器像素分辨率的两倍为最小正弦周期。结构光照明模块产生三方向正弦周期条纹，以便对样本信息的倍频采集。
32.空间光调制器上加载二值周期条纹图案，该二值条纹图案的周期应合理设置，使得其在物镜像面处形成的条纹图像的频率应该等于或略小于物镜允许通过的最大频率。空间光调制器放在一个透镜的焦距处，当线偏振激光被空间光调制器调制后即可在空间光调制器对应的傅里叶面处形成衍射级次。将空间掩膜放在空间光调制器的傅里叶面处，只允许正负一级衍射级次通过。在空间掩膜后放置涡旋半波片，使得正负一级衍射光的偏振方
向在垂直于光轴的平面内垂直于正负一级光的连线方向。通过调节空间光调制器上加载条纹的方向和相位即可改变结构光照明条纹的方向和相位。
33.成像镜头包括显微镜物镜、管镜，其中，物镜的数值孔径决定衍射极限分辨率，本技术能够实现的分辨率是极限分辨率的2倍。成像镜头可以为商用显微镜，或者成像镜头。成像镜头配置为放大样品并将样品成像到成像系统的图像平面上，以便从图像平面的输出端口输出。
34.进一步地，在本技术实施例中，二维扫描振镜包括x方向扫描振镜和y方向扫描振镜，以频域平面建立坐标系，以像素分辨率为最小扫描单位，对第一图像平面进行快速振动。
35.二维扫描系统能够在空间平面上在预设角度内进行扫描。
36.二维扫描振镜包括驱动板、驱动板和振镜。二维扫描振镜在频域平面内旋转光路的角度，即通过x方向扫描振镜沿x轴方向旋转光束，且通过y方向扫描振镜沿y轴方向旋转光束，相当于空间平面上的水平移动，实现亚像素移位。二维扫描振镜对第一图像平面进行快速振动，用于提升空间采样分辨率，解决空间分辨率与角度分辨率的矛盾。
37.中继透镜对包括前级透镜和后级透镜，其中，第一图像平面位于第一透镜的前焦平面上时，放大或缩小的第一图像平面位于第二透镜后焦平面上，中继透镜对的放大或缩小第一图像平面的比率根据第一透镜焦距和第二透镜焦距之间的比率确定。中继透镜对的前级透镜和xy方向扫描振镜匹配成像镜头和微透镜阵列之间的数值孔径。前级透镜和后级透镜也可以称为主级透镜和第二级透镜，或者，称为初级透镜和次级透镜。
38.进一步地，在本技术实施例中，微透镜阵列与图像传感器通过成像相机镜头耦合。
39.微透镜阵列，设置在4f系统的图像平面处，用于在微透镜阵列的后焦平面上调制预设角度光束到目标空间位置，并根据经过亚像素平移第一图像平面调制得到多个调制图像。微透镜阵列以衍射极限分辨率调制得到多个调制图像。
40.4f系统可以是透镜或成像相机透镜。也就是说，用于耦合的所有阶段的4f系统可以通过透镜实现，也可以通过成像透镜实现。为了确保以衍射极限分辨率对图像平面进行采样，可能需要相应地匹配所有4f系统中的光学元件的放大率和数值孔径。
41.图像传感器可以为科研型互补金属氧化物半导体晶体管scmos、单色传感器或电荷耦合器件ccd或互补金属氧化物半导体晶体管cmos。图像传感器能够采集微透镜后焦面被调制到不同空间位置的光束，设置在成像相机镜头的图像平面上，用于在微透镜阵列的后焦平面上记录与调制光束对应的图像。
42.进一步地，在本技术实施例中，控制系统，用于同时触发空间光调制器、二维扫描振镜和图像传感器，实现当二维振镜扫描到一个具体位置时，空间光调制器顺序依次输出9张正弦图像，在同步的过程中，设置延迟时间，保证在相机采集的过程中，空间光调制器和二维振镜保持稳定状态。
43.控制器系统用于连接结构光照明模块、扫描振镜和相机，提供了准确的同时触发，为空间光调制器、振镜和驱动板输出特定电压。控制器系统包括硬件程序、控制器和导线。硬件程序由labview软件实现，输出空间光调制器变化所需的电压、扫描振镜所需的电压和触发相机的脉冲电压。控制器和导线将信号从计算机传送到相应的设备。其中，控制器可以是控制卡或电压信号发生器。
44.进一步地，在本技术实施例中，三维重建算法为：分别对不同结构光信息的9组扫描光场图像，融合多角度信息重建三维图像；频域融合算法具体为：将带有结构光信息的9张三维图像合成为1张超分辨三维图像。
45.三维重建算法将扫描光场图像重建为三维体积；频域融合算法将不同频率的样本信息进行融合，实现倍频的效果。
46.重建模块可以通过从图像传感器记录的图像中提取像素来获得样本的一组成像堆栈，其中每个成像堆栈对应于不同相位结构光下的每个亚像素移位的光场，然后对像素进行重新排列得到相空间图像，通过使用三维重建算法、频域融合算法可以重建超分辨三维结构，可以消除样品对焦点外的平面上的信号的影响。
47.图2为本技术实施例的基于结构光照明的超分辨扫描光场成像系统的系统框图。
48.如图2所示，该基于结构光照明的超分辨扫描光场成像系统10包括：结构光照明模块100、成像镜头200、二维扫描系统300、微透镜阵列400、相机500、控制系统600、和重建模块，其中，结构光照明模块100包括空间掩膜110、空间光调制器120和涡旋半波片130，以及图中未具体标识的激光、透镜、波片等，用于产生干涉，实现三方向正弦周期的照明图样。成像镜头200包括图中未具体标识的物镜和管镜，用于放大目标样本，并成像于显微镜的第一图像平面上。二维扫描系统300包括中继透镜对的前级透镜310、xy方向扫描振镜320、中继透镜对的后级透镜330，用于在空间上亚微透镜阵列扫描图像，得到扫描光场图像，xy方向扫描振镜320包括驱动板321、驱动板322和振镜323。微透镜阵列400用于在微透镜阵列400的后焦平面上调制预设角度光束到目标空间位置，以根据经过亚像素平移第一图像平面调制得到多个调制图像。图像传感器500与微透镜阵列400通过成像相机镜头耦合，且设置在成像相机透镜的图像平面上，用于记录多个调制图像。控制系统包括硬件程序610、控制器620和连接设备的导线630，用于同步触发空间光调制器120、扫描振镜320和图像传感器500。重建模块用于获取图像传感器500记录的多个调制图像，并通过多个调制图像重建目标样本的超分辨三维结构。
49.本技术的主要目的是提供一种用于细胞生物学应用的超分辨率、快速三维显微镜。扫描光场是用于三维成像的快速拍摄方法，但有光学衍射极限分辨率的限制。本技术的一个实际目的是将扫描光场显微镜的分辨率超越衍射极限。
50.为了解决上述问题，本技术加入结构光照明装置，使用空间光调制器打出三个方向的模式图样，依次干涉形成结构光照明，同步实现了结构光照明和扫描光场成像，并通过三维重建算法、频域融合算法重建超分辨的三维图像。
51.图3为本技术实施例的从商用荧光显微镜到超分辨扫描光场成像系统的改装重建过程框图。
52.如图3所示，从商用荧光显微镜到超分辨扫描光场成像系统的改装重建包括：步骤101，建立结构光照明装置，在空间光调制器上加载不同的模式图样，实现九个不同的正弦结构光照明，它们分为三个不同方向，每个方向对应三个不同相位。
53.步骤102，使用微透镜阵列和二维振镜系统构建传统的光场成像系统。频域上的角度扫描对应于图像平面上的水平移动。使用微透镜阵列后面的亚像素的大小以及频域平面和后焦平面之间的距离来计算频域上的扫描的角度范围。使用控制卡来控制二维扫描振镜
和摄像机以同时触发。调节中继透镜放大率，使成像系统的数值孔径与微透镜的数值孔径相匹配。
54.步骤103，使用控制器实现振镜、相机、空间光调制器的同步触发，实现每当二维振镜扫描到一个具体位置时，空间光调制器顺序依次输出9张正弦图像（3个方向、3个相位），相机进行同步采集。在同步的过程中，设置延迟时间，保证在相机采集的过程中，空间光调制器和二维振镜保持稳定状态。
55.步骤104，捕获经结构光调制的亚像素移动光场堆栈并将其转换为高分辨率wdf，准备合适的样本进行成像，根据步骤103中的同步程序，遍历二维振镜的不同位置，采集9
×
9张结构光扫描光场图像，并转化为带有结构光调制的空间角度四维信息。
56.步骤105，使用三维重建算法进行重建，获得9张带有结构光调制的表示三维样本的三维图像。
57.步骤106，使用频域融合算法进行重建，将9张带有结构光调制的三维图像，通过频谱分离、频率平移、频谱融合的方式，得到1张超分辨率的三维图像。
58.为了使结构光提升的分辨率达到极限，需要设定正弦周期的频率，实现最高分辨率的成像，包括：在空间光调制器上加载二值周期条纹，应合理设置该二值条纹的频率，使得该条纹在显微物镜像平面上形成的条纹图案的频率等于或略小于物镜允许通过的最大空间频率；将空间光调制器放在一个透镜的焦距处，透镜另一侧的焦距位置即为该空间光调制器平面对应的傅里叶面，将线偏振激光打到空间光调制器上，经过其调制后激光会在傅里叶面出形成多级衍射级次；在空间光调制器的傅里叶面处放置空间掩膜，该掩膜只允许正负一级衍射级次通过；在掩膜后面放置涡旋半波片，调剂正负一级衍射级次的偏振方向，使得正负一级光的偏振方向在垂直于光轴的平面上垂直于它们连线的方向；改变空间光调制器上加载的二值条纹的方向和相位，即可得到不同方向、不同相位的结构光照明图案。
59.本技术结构简单，成本低廉，而且不需要在成像过程中轴向扫描，因此成像速度快，图像分辨率高。总之，本技术可以获取样本超分辨率、快速的三维数据，与传统扫描方法相比，结合了光学设计和计算重建，减少了采集时间。
60.图4为本技术实施例的二所提供的一种基于结构光照明的超分辨扫描光场成像方法的流程图。
61.如图4所示，该基于结构光照明的超分辨扫描光场成像方法，包括：步骤201，通过空间光调制器，生成正弦周期的照明调制，并通过涡旋半波片调整照明的偏振方向，使其与正弦照明条纹的方向一致，用该偏振正弦结构光来照射目标样本；步骤202，通过成像镜头放大目标样本，在成像系统的第一图像平面后加入中继透镜，在频域平面内加入二维扫描振镜旋转光路角度；步骤203，在中继透镜后焦面放置微透镜阵列，在微透镜阵列的后焦平面上放置相机；步骤204，使用控制系统同步控制振镜扫描与空间光调制器图像切换，实现结构光扫描光场图像的采集；步骤205，使用三维重建算法、频域融合算法对光场图像进行处理，生成超分辨三维图像。
62.本技术实施例的基于结构光照明的超分辨扫描光场成像方法，包括：通过空间光调制器，生成正弦周期的照明调制，并通过涡旋半波片调整照明的偏振方向，使其与正弦照明条纹的方向一致，用该偏振正弦结构光来照射目标样本；通过成像镜头放大目标样本，在成像系统的第一图像平面后加入中继透镜，在频域平面内加入二维扫描振镜旋转光路角度；在中继透镜后焦面放置微透镜阵列，在微透镜阵列的后焦平面上放置相机；使用控制系统同步控制振镜扫描与空间光调制器图像切换，实现结构光扫描光场图像的采集；使用三维重建算法、频域融合算法对光场图像进行处理，生成超分辨三维图像。由此，能够解决现有显微技术成像速度低的问题，还可以解决现有显微技术光毒性强，无法实现长时间观测的问题，通过结构光照明扩展两倍的频谱探测范围，提升空间分辨率，使用亚像素扫描光场采集三维图像，解决空间分辨率和时间分辨率的矛盾，且具有结构简单、成本低、快速、适用于活细胞显微观测、多细胞器互作观测等优点。
63.图5为本技术实施例的二所提供的基于结构光照明的超分辨扫描光场成像方法的另一个流程图。
64.如图5所示，该基于结构光照明的超分辨扫描光场成像方法，包括：步骤s301，通过空间光调制器，生成正弦周期的照明调制，照射样本；步骤s302，通过成像镜头放大目标样本，在成像系统的第一图像平面后加入中继透镜，在频域平面内加入二维扫描振镜旋转光路角度；步骤s303，在中继透镜后焦面放置微透镜阵列，在微透镜阵列的后焦平面上放置相机；步骤s304，使用控制系统同步控制振镜扫描与空间光调制器图像切换，实现结构光扫描光场图像的采集；步骤s305，三维重建算法处理得到三维结构光物体；步骤s306，频谱融合算法处理得到三维超分辨物体。
65.为了实现上述实施例，本技术还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的基于结构光照明的超分辨扫描光场成像方法。
66.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、
ꢀ“
示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
67.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
68.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
69.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
70.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
71.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
72.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
73.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。