本申请涉及图像处理领域,更具体地,涉及应用于车载系统的虹膜关键点检测方法、装置及计算机可读存储介质。
背景技术:
1、随着信息技术的不断发展,虹膜检测在身份识别、智能人机交互、虚拟现实、汽车安全驾驶、航空航天/核电厂等操作人员的状态监测等安全应用及娱乐应用领域具有越来越广阔的应用前景。
2、目前,车内智慧座舱的很多应用都需要获取虹膜关键点信息,以进行视线估计、眼动追踪、注意力判断等,例如,在行车过程中,可以通过对车内的驾驶员进行视线方面的监测,基于虹膜关键点检测估算驾驶员视线方向或者落点位置,以便对其疲劳程度进行监测。
3、但是,现有的虹膜检测技术在应用于车载系统中时一般存在如下问题:在使用已有的虹膜关键点检测模型对人脸图像进行特征提取时,为了保证精度,往往计算量较大,模型推演速度比较慢,非常占用车载芯片的允许内存,因此,对于车载芯片的硬件要求和处理能力较高,需要车载芯片具有较高的算力和充足的内存空间。此外,还存在有些虹膜关键点检测模型的部分功能车载系统不支持,因此无法部署和适用于车载芯片。
技术实现思路
1、本申请实施方式的一个目的在于提供一种应用于车载系统的虹膜关键点检测方法、装置及计算机可读存储介质,将待检测图像输入虹膜关键点检测模型,使用具有多级瓶颈残差块的主干网络进行特征提取,通过在传统主干网络中引入多级瓶颈残差块,能够降低计算量和参数量,加快模型推演速度,减少占用车载芯片的内存空间,从而能够更好地部署和适用于车载芯片。
2、本申请实施方式的另一个目的在于提供一种应用于车载系统的虹膜关键点检测方法、装置及计算机可读存储介质,使用具有多级瓶颈残差块的主干网络进行特征提取,分别输出三个尺度的特征图并进行特征融合,根据融合后的特征得到虹膜关键点信息,其中通过在主干网络中引入的多级瓶颈残差块,能够减小所提取特征的特征图输出尺度,从而减少模型参数,降低计算量,提高模型精度。
3、本申请实施方式的另一个目的在于提供一种应用于车载系统的虹膜关键点检测方法、装置及计算机可读存储介质,在瓶颈残差块中引入se注意力控制单元,对通道特征进行校正,通过对通道进行加权,最大限度地保留有价值特征。
4、本申请实施方式的另一个目的在于提供一种应用于车载系统的虹膜关键点检测方法、装置及计算机可读存储介质,通过将3级瓶颈残差块的输出结果输入到辅助训练网络,实现三维视线变量vector的输出,该辅助训练网络能够加快整个虹膜关键点检测模型的收敛速度。
5、为实现上述目的,依据本申请的第一方面,提供了一种应用于车载系统的虹膜关键点检测方法,所述方法包括:
6、从车辆运行中获取的视频数据确定出待检测图像;
7、将所述待检测图像输入虹膜关键点检测模型,使用所述虹膜关键点检测模型的、具有多级瓶颈残差块的主干网络对所述待检测图像进行多维度特征提取,以输出多个维度的特征图;以及
8、将所述多个维度的特征图进行特征融合,并根据融合后的特征得到虹膜关键点信息。
9、在一些实施方式中,所述虹膜关键点检测模型的主干网络包括依次连接的:
10、第一卷积单元,对所述待检测图像进行第一特征提取处理,并将得到的特征图输入所述多级瓶颈残差块;
11、多级瓶颈残差块,对经过所述第一特征提取处理后的特征图进行多级瓶颈残差处理,以输出第一维度特征图;
12、第二卷积单元,对经过所述多级瓶颈残差处理后的特征图进行第二特征提取处理,以输出第二维度特征图;
13、第三卷积单元,对经过所述第二特征提取处理后的特征图进行第三特征提取处理,以输出第三维度的特征图;
14、其中,所述第二维度小于所述第一维度,所述第三维度小于所述第二维度。
15、在一些实施方式中,所述多级瓶颈残差块包括:
16、多组残差单元,每组所述残差单元包括所述多级瓶颈残差块中的一级或连续多级,其中所述残差单元用于调整输出的特征图尺度。
17、在一些实施方式中,每级所述瓶颈残差块包括:
18、升维卷积单元,包括依次连接的1×1扩张层、批量归一化层、以及relu层;
19、深度卷积单元,包括n×n深度卷积层,所述n为大于等于3的整数;以及
20、降维卷积单元,包括依次连接的1×1投影层、批量归一化层、以及relu层,
21、其中,所述深度卷积单元与所述降维卷积单元之间介入有se注意力控制单元,用于对通道特征进行校正。
22、在一些实施方式中,所述se注意力控制单元包括依次连接的平均池化层、第一卷积层、relu层、第二卷积层、h_sigmoid激活函数层、以及multiply函数层。
23、在一些实施方式中,所述方法还包括:
24、将所述主干网络具有的m级瓶颈残差块的其中至少n级瓶颈残差块的输出结果输入辅助训练网络,以对所述虹膜关键点检测模型进行辅助训练,并得到三维视线变量预测结果,其中,m,n为正整数,且m≥3,m≥n≥2。
25、在一些实施方式中,将所述主干网络具有的m级瓶颈残差块的其中至少n级瓶颈残差块的输出结果输入辅助训练网络,以对所述虹膜关键点检测模型进行辅助训练的步骤包括:
26、将所述主干网络的其中3级瓶颈残差块的输出结果输入所述辅助训练网络,对所述虹膜关键点检测模型进行辅助训练,其中,所述辅助训练网络包括4级串接的卷积结构、最大池化层、第一全链接层、以及第二全链接层,其中每级所述卷积结构包括卷积层、批量归一化层、以及relu层。
27、在一些实施方式中,从车辆运行中获取的视频数据确定出待检测图像,包括:
28、从车辆运行中拍摄的视频数据中得到待处理图像;
29、对所述待处理图像进行人脸检测分析,得出人脸区域信息及人脸关键点信息;以及,
30、基于所述人脸关键点信息提取所述待处理图像中的人脸眼部区域信息,得到所述待检测图像。
31、依据本申请的第二方面,还提供了一种应用于车载系统的虹膜关键点检测装置,所述装置包括:
32、至少一个处理器;以及
33、与所述至少一个处理器通信连接的存储器;其中,
34、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请的第一方面所述的虹膜关键点检测方法。
35、依据本申请的第三方面,还提供了一种非瞬态计算机可读存储介质,其上存储有机器可执行指令,所述机器可执行指令在被执行时使机器执行本申请的第一方面所述的虹膜关键点检测方法。
36、应当理解,本部分所描述的内容并非旨在标识本申请的实施方式的关键特征或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过下文中的描述而变得容易理解。
1.一种应用于车载系统的虹膜关键点检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的虹膜关键点检测方法,其中,所述虹膜关键点检测模型的主干网络包括依次连接的:
3.根据权利要求2所述的虹膜关键点检测方法,其中,所述多级瓶颈残差块包括:
4.根据权利要求1-3中的任一项所述的虹膜关键点检测方法,其中,每级所述瓶颈残差块包括:
5.根据权利要求4所述的虹膜关键点检测方法,其中,所述se注意力控制单元包括依次连接的平均池化层、第一卷积层、relu层、第二卷积层、h_sigmoid激活函数层、以及multiply函数层。
6.根据权利要求5所述的虹膜关键点检测方法,其中,所述方法还包括:
7.根据权利要求6所述的虹膜关键点检测方法,其中,将所述主干网络具有的m级瓶颈残差块的其中至少n级瓶颈残差块的输出结果输入辅助训练网络,以对所述虹膜关键点检测模型进行辅助训练的步骤包括:
8.根据权利要求1所述的虹膜关键点检测方法,其中,从车辆运行中获取的视频数据确定出待检测图像,包括:
9.一种应用于车载系统的虹膜关键点检测装置,其特征在于,所述装置包括:
10.一种非瞬态计算机可读存储介质,其上存储有机器可执行指令,所述机器可执行指令在被执行时使机器执行权利要求1至8中的任一项所述的方法。