本技术涉及光谱成像,特别是一种涉及非扫描式机载光谱成像系统、方法及其应用。
背景技术:
1、光谱成像技术,作为一种利用对目标物体在不同光谱波段进行成像以实现物质识别与成像的前沿科技,在多个领域展现出了显著的应用价值。具体涉及但不限于农业与林业中的病虫害监测、水质及土壤环境监测、食品安全及工业产品检测,以及医疗领域的人体组织病理变化检测,乃至无人机遥感等诸多方面。随着农林病虫害监测需求日益增长,对于高效、低成本且能实现数字化、自动化检测的方法需求迫切。传统依赖人工经验进行病虫害早期预防等检测手段存在效率低下、精确度不高的问题。
2、采用搭载光谱相机的无人机系统,能够一次性完成大面积植被的快速采集与精准分析,从而大幅度提高检测效率并有效降低成本。然而,在民用领域中,为了适应无人机系统挂载重量轻量化、飞行续航时间长、操作简便、飞行效率高以及系统可靠性强和成本控制严格的要求,现有的光谱成像技术解决方案面临严峻挑战。现有技术方案主要包括:
3、当前广泛应用的光谱成像系统大多采用扫描式结构设计,例如基于内置或外置推扫式光谱相机,其工作原理是通过狭缝对空间一维轴线进行扫描;又如基于多滤光片结构的光谱相机,借助滤光片的切换来实现在波长维度上的扫描,以此收集不同波段的光谱图像。
4、然而,此类方案存在明显的局限性:推扫式光谱相机因其复杂的结构设计与控制系统,导致成像速度较慢,同时体积较大、重量重且功耗较高;而基于多滤光片的光谱相机同样需要进行多次曝光,成像速度较低,此外受制于滤光片的高昂成本,往往难以实现大量的通道数。两种扫描式光谱相机共有的主要缺点是成像速度缓慢,系统复杂度高,当应用于机载场景时,相机通常需要保持悬停状态进行拍摄,并依赖惯性导航系统确保稳定性,这不仅降低了工作效率,还使得系统整体成本居高不下。
技术实现思路
1、本技术实施例提供了非扫描式机载光谱成像系统、方法及其应用,针对目前技术存在成像速度慢、系统复杂度高、体积重量大、功耗高、通道数有限、依赖复杂控制系统及稳定装置,以及成本高昂等问题。
2、本发明核心技术主要是基于掩码调制与棱镜色散的双路成像系统,通过非扫描的方式实现对光谱图像的采集,并通过图像融合算法获得高质量的光谱图像。
3、第一方面,本技术提供了非扫描式机载光谱成像系统,所述系统包括依次设置的目镜、分光棱镜、掩码、第二目镜、色散棱镜、第三目镜以及第二探测器;还包括设于分光棱镜一侧的第一目镜和第一探测器;
4、掩码包含反射和透光两部分,使得目标场景的光谱图像通过目镜和分光棱镜成像到掩码上,以通过掩码将图像调制并往两个不同方向传播,一部分作为反射路反射经过分光棱镜和第一目镜成像到第一探测器上,另一部分作为透射路透射经过第二目镜、色散棱镜以及第三目镜成像到第二探测器上;
5、其中,掩码在色散方向维度上相邻两个透光像素间距大于等于光谱图像的待测光谱通道数;掩码为周期性图案,且该周期性图案的周期参数与待测光谱通道数均为偶数。
6、进一步地,两个探测器的像素尺寸与掩码的像素尺寸的尺寸比为1:1。
7、进一步地,第一探测器和第二探测器均为灰度相机传感器。
8、进一步地,掩码在色散方向维度上相邻两个透光像素间距等于光谱图像的待测光谱通道数。
9、进一步地,周期参数与待测光谱通道数的关系满足:
10、
11、其中,t为周期函数,nc为待测光谱通道数,lcm为求t和nc该两个数的最小公倍数函数,lcm(nc,t)/t x nc为掩码的最小重复单元尺寸。
12、第二方面,本技术提供了非扫描式机载光谱成像系统的图像成像方法,包括以下步骤:
13、s00、通过宽谱均匀光源照明系统,采集反射路图像并计算出掩码反射像素在第一探测器平面的坐标集合c1{x*,y*};
14、s10、通过中心波长为λc的单色光照明系统,采集透射路图像并计算出掩码透射像素在第二探测器平面波长为λc的坐标集合c2{x*,y*,λ};
15、s20、将c1{x*,y*}与c2{x*,y*,λ}一一映射,以建立映射关系。
16、进一步地,还包括模型训练流程和模型推理流程;
17、其中,模型训练流程包括以下步骤:
18、s00、通过将光谱图像数据集sn进行波长维度相加,生成高分辨率灰度图;
19、s10、将光谱图像数据集sn与非扫描式机载光谱成像系统标定的掩码相乘,得到采样光谱图像;
20、s20、换和输入至深度神经网络进行前向传播,以获得网络输出;
21、s30、将光谱图像数据集sn与网络输出输入损失函数进行反向传播;
22、s40、循环s00~s30步骤,直至损失函数的损失值小于设定目标损失值后完成模型的训练。
23、进一步地,模型推理流程包括以下步骤:
24、s00、将第一探测器采集的图像的坐标集合c1{x*,y*}位置进行图像填充,得到高分辨率灰度图;
25、s10、将实际采集的透射路输出图像进行二维转三维操作,将第二探测器采集的图像坐标集合c2{x*,y*,λ}的数据进行提取,以将掩码透光像素因色散展开的光谱信息从透射路输出图像中提取出来;
26、s20、根据c1{x*,y*}与c2{x*,y*,λ}的映射关系生成尺寸与第一探测器图像尺寸相同的采样光谱图像;
27、s30、将高分辨率灰度图和采样光谱图像输入至模型训练流程训练得到的模型中,得到最终重建的光谱图像。
28、第三方面,本技术提供了一种电子装置,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为运行计算机程序以执行上述的非扫描式机载光谱成像方法。
29、第四方面,本技术提供了一种可读存储介质,可读存储介质中存储有计算机程序,计算机程序包括用于控制过程以执行过程的程序代码,过程包括根据上述的非扫描式机载光谱成像方法。
30、本发明的主要贡献和创新点如下:1、与现有技术相比,本发明采用基于掩码调制与棱镜色散的双路成像技术,摒弃了传统的扫描方式,实现了对光谱图像的高速非扫描采集。这一创新设计极大地提升了光谱图像的获取速度,尤其适用于三维光谱图像的实时捕获;
31、2、与现有技术相比,本发明系统结构简洁,复杂度较低。由于取消了扫描机构,而且本发明在搭载于无人机或其他移动平台时,无需额外配置惯性导航系统以保证稳定成像,有效地减轻了体积、重量和功耗,符合现代机载应用场景对轻量化、节能化的需求。
32、3、与现有技术相比,在实际应用中,本发明显著提高了机载场景下的飞行采集效率。无人机可在飞行过程中即时拍摄,无需进行繁琐的悬停和精确校准步骤,极大提升了作业效率和灵活性。
33、4、与现有技术相比,本发明的数据采集机制优化了数据量,使得传输至远端进行重建和分析时对带宽的需求降低,有利于实现图像信息的实时传输和处理。
34、5、在光学器件的选择与加工方面,本发明采用了易于加工且成本较低的玻璃材质制作掩码,结合简单的光学设计,使得掩码图案实现反射与透射功能,降低了系统总体成本。同时,第一探测器和第二探测器均采用灰度相机传感器,进一步节省了硬件成本,体现了本发明在实用性和经济性方面的突出优势。
35、本技术的一个或多个实施例的细节在以下附图和描述中提出,以使本技术的其他特征、目的和优点更加简明易懂。
1.非扫描式机载光谱成像系统,其特征在于,包括依次设置的目镜、分光棱镜、掩码、第二目镜、色散棱镜、第三目镜以及第二探测器;还包括设于所述分光棱镜一侧的第一目镜和第一探测器;
2.如权利要求1所述的非扫描式机载光谱成像系统,其特征在于,两个探测器的像素尺寸与所述掩码的像素尺寸的尺寸比为1:1。
3.如权利要求1所述的非扫描式机载光谱成像系统,其特征在于,所述第一探测器和所述第二探测器均为灰度相机传感器。
4.如权利要求1所述的非扫描式机载光谱成像系统,其特征在于,所述掩码在色散方向维度上相邻两个透光像素间距等于光谱图像的待测光谱通道数。
5.如权利要求1所述的非扫描式机载光谱成像系统,其特征在于,所述周期参数与所述待测光谱通道数的关系满足:
6.如权利要求1-5任意一项所述的非扫描式机载光谱成像系统的图像成像方法,其特征在于,包括以下步骤:
7.如权利要求6所述的非扫描式机载光谱成像系统的图像成像方法,其特征在于,还包括模型训练流程和模型推理流程;
8.如权利要求7所述的图像成像方法,其特征在于,所述模型推理流程包括以下步骤:
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求6至8任一项所述的图像成像方法。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序包括用于控制过程以执行过程的程序代码,所述过程包括根据权利要求6至8任一项所述的图像成像方法。