用于观察包括目标的场景的设备和方法与流程

用于观察包括目标的场景的设备和方法
1.本发明涉及成像和捕获图像的领域。更具体而言，本发明涉及用于观察包括反射激光束的目标的场景，以及用于在场景的图像中观察由激光束在目标上形成的光斑的设备和方法。


背景技术：

2.当今，大多数观察设备包含图像捕获设备，该图像捕获设备包括具有确定被观察场景的场的光学和电子(或“光电”)传感器。光电传感器通常是互补金属氧化物半导体(cmos)或电荷耦合器件(ccd)类型的，包括连续地布置以形成矩阵并且被布置成收集由存在于每一感测元件的场中的场景部分所反射或发射的光的感测元件(感测元件更通常被称为“像素”，其是术语“图像元素”的缩写)。由每一感测元件接收的光通量的光子使得在感测元件中产生电荷，该电荷在以代表光通量的电信号的形式收集之前在所谓的“积分”时间内在感测元件中累积。与传统摄影中的曝光时间一样，积分时间(对于所有感测元件都是相同的)取决于场景的亮度：场景的亮度越低，所选择的积分时间越长。
3.在某些应用中，必须能够查看场景和由激光束在要在场景中找到的目标上反射而产生的光斑。在非常明亮的场景中，诸如阳光明媚的场景，场景的所有细节都会出现，并且难以从中区分出激光光斑。在不太明亮的场景中，诸如在多云的天空下、在黎明或黄昏、或在夜间，在不借助诸如光电二极管之类的附加放大器件的情况下，难以获得清楚地示出光斑和场景细节的图像。然而，在某些条件下，此类设备具有产生伪像(诸如晕染)或者实际上因使其遭受过多光通量而损坏传感器的缺陷。
4.已经提议求助于如下观察装置：该观察装置包括用于在第一显示器上再现场景的第一图像捕获设备、向要在场景中找到的目标发射激光束并用于在目标上形成光斑的激光发射器，以及用于在第二显示器上再现该光斑的第二图像捕获设备，第一捕获设备和第二捕获设备具有可以彼此交叠的场。用于第一图像捕获设备的积分时间被选择成示出场景的细节，并且用于第二图像捕获设备的积分时间被选择成获得合理直径的光斑。由第一图像捕获设备产生的图像被显示在第一显示器上，并且由第二图像捕获设备产生的图像被显示在第二显示器上。然而，以这种方式在两个显示器上显示并不非常实际。
5.发明目的
6.本发明的目的是使得能够在单个图像中显示光斑和场景的细节，并且在相对较宽的亮度范围内这样做。


技术实现要素：

7.为此，本发明提供了一种观察和指定装置，其包括连接到与显示器相连接的电子图像处理器电路的第一图像传感器和第二图像传感器，第一图像传感器和第二图像传感器被布置成提供交叠的场，以便分别提供同一场景的至少第一图像和第二图像，并且该装置还包括用于将位于预定波长范围内的激光束发射到第二传感器的场的预定区域中的激光发射器。感兴趣区域滤光器在第二传感器前方延伸，感兴趣区域滤光器具有与场的预定区
域相对应的第一区域、包围第一区域的第二区域以及包围第二区域的第三区域，该滤光器被布置成在第二区域中阻挡来自场景的基本上所有光通量，在第一区域中衰减位于预定波长范围之外的光通量，并且在第三区域中透过最大量的光通量。电子处理器电路被布置成通过使用与滤光器的第三区域相对应的第二图像的区域来相对于第一图像在空间上配准第二图像，来叠加这两个图像。
8.第一区域执行光谱滤光以衰减或甚至消除白天太阳通量对查看该区域的传感器的照明的贡献：激光束的贡献随后成为查看第一区域的第二传感器区域中的主要贡献，从而使激光束在目标上形成的光斑能够被清晰地看到。第三区域允许正查看第三区域的传感器的第二区域收集最大量的光通量：这使得在第二图像的相应区域中具有最大量的细节成为可能。第二区域防止来自由滤光器的第三区域所覆盖的场部分的倾斜光线撞击正在查看第一区域的第二传感器的区域，并从而防止它们污染第二图像的相应区域中的光斑的观看。因此，获得使得能够观看光斑和场景的细节的第二图像是可能的。然而，该图像没有使得观看紧邻光斑附近的目标的那些部分成为可能。第二图像中可见的细节用于使得能够通过将这两个图像相对于彼此精确地配准来叠加这两个图像，从而获得经组合图像，其中光斑(在第二图像中可见)与其所有细节(包括目标的细节)一起定位在第一图像上。
9.本发明还提供了一种观察场景和指定场景中存在的目标的方法，该方法包括以下步骤：
10.·
将预定波长范围内的激光束投射到目标上，以在目标上形成光斑；
11.·
使用第一图像传感器捕获来自场景的光通量以形成第一图像；
12.·
使用第二图像传感器捕获光通量，同时对该光通量进行滤光以形成场景的第二图像，滤光是通过定义包含光斑的第一滤光区域、包围第一区域的第二滤光区域以及包围第二区域的第三滤光区域来执行的，在第二区域中执行滤光以阻挡来自场景的基本上所有光通量，在第一区域中执行滤光以衰减预定波长范围之外的光通量，并且在第三区域中执行滤光以透过最大量的光通量；以及
13.·
通过使用对应于第三区域的第二图像的区域来相对于第一图像在空间上配准第二图像，来叠加这两个图像，以形成单个图像。
14.优选地，激光束具有预定理论波长，并且在第一区域中，滤光器具有以该预定理论波长为中心的10纳米(nm)的通带。
15.在阅读了以下对本发明的特定且非限制性实施例的描述之后，本发明的其他特征及优点将变得显而易见。
附图说明
16.参考附图，在附图中：
17.图1是本发明的装置的图解透视图；以及
18.图2是该装置中使用的滤光器的图解正视图。
具体实施方式
19.参考图1，本发明的观察和指定装置用于观看其中存在目标t的场景s，目标t上出现由激光束l的至少部分反射所形成的光斑p。
20.为此目的，本发明的观察和指定装置(给出总体附图标记1)包括：
21.·
两个第一图像传感器，即布置成在白天观察场景s的传感器10和布置成在夜间观察场景s的传感器20，传感器10和20具有各自相同的场c10和c20；
22.·
第二图像传感器，即传感器30，其更具体而言被布置成观察光斑p并且具有场c30；
23.·
激光发射器50，用于向传感器30的场c30的预定区域发射激光束l，在本示例中具体而言是中心区域；以及
24.·
连接到显示器70(例如，液晶显示器(lcd)屏幕)的电子图像处理器电路60。
25.这一示例中，传感器10是cmos传感器，其被布置成对可见光范围内的波长处的辐射敏感。传感器10具有1200像素
×
1600像素(间距(pitch)在3微米(μm)到5μm的范围内)的分辨率。传感器10被布置成提供代表场景的图像的电信号。
26.在这一示例中，传感器20是cmos传感器，其被布置成对红外范围内的波长处的辐射敏感。传感器20具有512像素
×
640像素(间距在15μm到20μm的范围内)的分辨率。传感器20被布置成提供代表场景的图像的电信号。
27.在这一示例中，传感器30是cmos传感器，其被布置成对红外范围内和可见光范围内的波长处的辐射敏感。传感器30具有1024像素
×
1280像素(间距为5.3μm)的分辨率。传感器30被布置成提供代表场景的图像的电信号。
28.传感器10、20和30通过光电机械来协调，以使得场c30叠加在场c10和c20上。在每一传感器10、20和30的前方，安装有用于将光线聚焦在所述传感器上的保护窗和光学单元(附图中未示出这些元件)。传感器10、20和30本身是已知的，并且它们中的每一者还包括相应的电子接口电路，用于与电子图像处理器电路60对接并且尤其用于格式化信号以供传输到电子图像处理器电路60。
29.激光发射器50被布置成发射预定波长范围内的激光脉冲。更确切而言，激光脉冲的波长是1064nm。激光发射器50和传感器30相互协调，优选通过光电机械来协调。
30.电子图像处理器电路60是包括处理器、存储器和输入/输出模块的已知计算机单元，其连接到传感器10、20和30以及激光发射器50以便：
31.·
使激光发射器50与传感器10、20和30同步(应观察到，此同步是有利的，但不是必要的)；
32.·
处理来自传感器10、20和30的信号，以形成适合在显示器70上显示的图像；
33.·
因变于场景s的照明条件来选择传感器10或传感器20；以及
34.·
执行具有布置成执行本发明的方法的指令的程序。
35.光学滤光器40安装在传感器30的前方，在所述传感器和光学单元之间。在这一示例中，滤光器40被制作在玻璃板上，该玻璃板具有与传感器30的尺寸相对应的尺寸h和且厚度为3.5毫米(mm)
±
0.5mm。
36.滤光器40，更具体而言是感兴趣区域(roi)滤光器，其具有与向其发射激光束l的场的预定区域相对应的第一区域41、包围第一区域41的第二区域42和包围第二区域42的第三区域43。滤光器40被布置成：
37.·
在第二区域42中，阻挡来自场景s的基本上所有光通量；
38.·
在第一区域41中，衰减预定波长范围之外的光通量；以及
39.·
在第三区域43中，透过最大量的光通量。
40.更确切而言，滤光器40被布置成提供：
41.·
在第一区域41中，除了以波长1064nm为中心的10nm通带外，对于0.3μm至1.2μm的范围内的波长而言是不透明的，以便消除场景的背景并仅保留激光光斑；
42.·
在第二区域42中，对于0.3μm至1.2μm的范围中的波长而言是不透明的，以阻挡所有光线；以及
43.·
在第三区域43中，对0.4μm到1.1μm的范围中的波长没有滤光，以便在宽光谱上保留最大量的光通量以及细节(动态范围、梯度、对比度、反转、
……
)。
44.在第一区域41中，滤光器40提供通带中大约85％的透过率。第一区域的通带的宽度在其最大值的一半处测得(称为“半最大值全宽”(fwhm))。通带的中心在
±
2nm的公差内，且其带宽在
±
2nm的公差内。
45.滤光器40的第一区域41的形状是以传感器30的中心为中心的正方形，并且其对应于传感器30的具有约220像素
×
220像素的分辨率的第一区域(中心区域)。
46.滤光器40的第二区域42面向传感器30的第二区域延伸，并且具有以传感器30的中心为中心并且宽度等于大约95像素的框的形状。内框具有220像素的内部尺寸，以便精确配合在第一区域41周围。为了计算第二区域42的宽度，所考虑的滤光器的厚度为4mm(允许公差)，这是使倾斜光线通过第三区域43以到达朝向第一区域41的传感器30的区域的最有利情况(这用于消除传感器的第一区域和传感器30的第三区域之间的光谱串扰的风险)。
47.第一区域41覆盖角度小于1
°
的场并且第二区域42覆盖具有基本等于2.9
°
的角度的场.
48.因此，第三区域42面向传感器30的第三区域延伸，从传感器30的外边缘延伸到传感器30的第二区域的外边界。
49.电子处理器电路60被编程来执行本发明的观察和指定方法。该方法包括以下步骤：
50.·
将激光束脉冲l投射到目标t上，以在目标t上形成光斑p；
51.·
使用传感器10和20中的一者来捕获来自场景s的光通量，以形成称为“支持”图像的第一图像；
52.·
使用传感器30捕获来自场景s的光通量，同时对该光通量进行滤光以形成场景s的第二图像，称为“激光”图像；
53.·
叠加这两个图像，利用与滤光器40的第三区域43相对应的激光图像区域，以相对于支持图像在空间上配准激光图像；和
54.·
合并这两个图像以形成单个经组合图像。为了观看由合并产生的经组合图像，仅保留中心区域是可能的。
55.电子处理器电路60使图像捕获操作与激光脉冲的发射同步。应当观察到，传感器30和所选择的传感器10或20的积分时间是因变于场景s中的环境亮度条件以常规方式确定的。在失去同步的情况下，积分时间可以延长，以确保存在由至少一个激光脉冲形成的光斑(积分时间将长于激光脉冲发射周期)。
56.优选地，通过使用“全局快门”采集模式来执行图像捕获，然而，“滚动快门”采集模式同样可以用于静态场景。
57.图像叠加包括以下步骤：
58.·
确立支持图像的梯度的第一图像和激光图像的梯度的第二图像；
59.·
将梯度的这两个图像归一化；以及
60.·
检测梯度的这两个图像之间的相关性，以确立用于在空间上相对于彼此配准这两个图像的配准参数。配准参数是在对相关性进行加权的操作之后确定的，以优先考虑与图像中的水平中间带相关的相关性。具体地，认为图像的这些中间部分是最重要的，因为这是要找到目标t的地方。
61.因此，确定具有单应性矩阵的查找表，以将对应于第三区域43的激光图像部分与支持图像的对应部分相匹配。为了能够使激光图像变形，优选地选择具有大于场c10和c20的场的传感器30。
62.图像合并本身是已知的。在这一示例中，它是使用“覆盖”技术来执行的。
63.在一变型中，形成“色图(colormap)”型的合并是可能的。然后，通过沿一个轴定义代表支持图像的亮度的灰度级以及沿另一个轴定义依赖于激光图像的颜色的颜色强度级来形成经组合图像。
64.自然地，本发明不限于所描述的实施例，而是涵盖了落入如由权利要求书限定的本发明范围内的任何变型。
65.具体而言，感兴趣区域滤光器可以具有三个以上的区域，并且第一区域不必位于滤光器的中心。
66.滤光器的各个区域的尺寸可能与所描述的不同。举例而言，第一区域41可对应于172像素
×
172像素的区域。
67.传感器可以是cmos以外的类型，例如ccd。传感器可具有1024x 1280像素以外的分辨率和/或5.3μm以外的间距。
68.该装置可以具有用于提供支持图像的仅一个传感器：例如，用于白天观察的传感器或用于夜间观察的传感器。

技术特征：
1.一种观察和指定装置，包括连接到与显示器相连接的电子图像处理器电路的第一图像传感器和第二图像传感器，所述第一图像传感器和所述第二图像传感器被布置成提供交叠的场，以分别提供同一场景的至少第一图像和第二图像，并且所述装置还包括用于将位于预定波长范围内的激光束发射到所述第二传感器的场的预定区域中的激光发射器；感兴趣区域滤光器在所述第二传感器前方延伸，所述感兴趣区域滤光器具有与所述场的所述预定区域相对应的第一区域、包围所述第一区域的第二区域以及包围所述第二区域的第三区域，所述滤光器被布置成在所述第二区域中阻挡来自场景的基本上所有光通量，在所述第一区域中衰减位于所述预定波长范围之外的光通量，并且在所述第三区域中透过最大量的光通量；所述电子处理器电路被布置成通过以下操作来叠加这两个图像：使用与滤光器的第三区域相对应的所述第二图像的区域来相对于所述第一图像在空间上配准所述第二图像。2.如权利要求1所述的装置，其特征在于，所述激光束具有预定理论波长，并且在所述第一区域中，所述滤光器具有以所述预定理论波长为中心的10nm的通带。3.如权利要求2所述的装置，其特征在于，在所述第一区域中，所述滤光器提供所述通带中约85％的透过率。4.如任一前述权利要求所述的装置，其特征在于，所述第二传感器具有1024x1280像素的分辨率。5.如权利要求4所述的装置，其特征在于，所述滤光器的第一区域与所述第二传感器的具有约220x220像素的分辨率的区域相对应。6.如权利要求4或5所述的装置，其特征在于，所述滤光器的第二区域的宽度等于约95像素。7.如任一前述权利要求所述的装置，其特征在于，所述第一区域定位成面向所述第二传感器的中心区域。8.如任一前述权利要求所述的装置，其特征在于，具有两个第一传感器，其中之一被布置成拍摄白天图像而另一者被布置成拍摄夜间图像。9.一种观察场景和指定所述场景中存在的目标的方法，所述方法包括以下步骤：将预定波长范围内的激光束投射到所述目标上，以在所述目标上形成光斑；使用第一图像传感器捕获来自所述场景的光通量以形成第一图像；使用第二图像传感器捕获所述光通量，同时对所述光通量进行滤光以形成所述场景的第二图像，所述滤光是通过定义包含所述光斑的第一滤光区域、包围第一区域的第二滤光区域以及包围第二区域的第三滤光区域来执行的，在所述第二区域中执行滤光以阻挡来自所述场景的基本上所有光通量，在所述第一区域中执行滤光以衰减预定波长范围之外的光通量，并且在所述第三区域中执行滤光以透过最大量的光通量；以及通过使用对应于所述第三区域的第二图像的区域来相对于所述第一图像在空间上配准所述第二图像，来叠加这两个图像以形成单个图像。10.如权利要求9所述的方法，其特征在于，叠加图像包括以下步骤：确立分别对应于所述第一图像和所述第二图像的、梯度的第一图像和梯度的第二图像；将这两个梯度图像归一化；以及
检测这两个图像之间的相关性，以确立用于在空间上相对于彼此配准这两个图像的配准参数。11.如权利要求10所述的方法，其特征在于，包括如下操作：对相关性进行加权以利于涉及图像的水平中间带的相关性。
技术总结
一种观察和指定装置，包括连接到与显示器相连接的电子图像处理器电路的第一图像传感器和第二图像传感器，所述第一图像传感器和所述第二图像传感器被布置成提供交叠的场，以分别提供同一场景的至少第一图像和第二图像，并且所述装置还包括用于将位于预定波长范围内的激光束发射到所述第二传感器的场的预定区域中的激光发射器；感兴趣区域滤光器在所述第二传感器前方延伸，以在第一区域中衰减位于所述预定波长范围之外的光通量，以在第二区域中阻挡来自场景的基本上所有光通量，并且在第三区域中透过最大量的光通量；所述电子处理器电路被布置成通过以下操作来叠加这两个图像：使用与滤光器的第三区域相对应的所述第二图像的区域来相对于所述第一图像在空间上配准所述第二图像。一种利用此类滤光的观察和指定方法。法。法。


技术研发人员：N
受保护的技术使用者：赛峰电子与防务公司
技术研发日：2019.11.20
技术公布日：2021/6/29