一种基于光流改进与Yolov3的烟雾检测方法与流程

一种基于光流改进与yolov3的烟雾检测方法
技术领域
1.本发明属于视频分析领域，具体涉及一种视频中根据烟雾识别来预警火灾的方法。


背景技术：

2.烟雾检测是防范早期火灾的一种有效手段，目前阶段烟雾检测主要采用烟雾特征、分类辨别、动态目标提取等方法。对烟雾的有效识别可以大程度减少火灾带来的影响。目前，基于视频的烟雾检测方法正成为国内外学者的研究热点。
3.在国外学者对烟雾检测进行了研究并实现了相关场景的应用。dimitropoulos等人利用统计特征的方式，提出了利用hsv颜色模型中的3个通道以及hog特征形成4维3d块组成一个张量，然后提出高阶线性动态系统(h
‑
lds)进行分析；yin等人提出了基于循环神经网络的烟雾检测网络；qureshi
16.等人采用背景建模的方法，提取前景目标检测和分割移动区域。对于广阔开放空间的烟雾检测，verstockt等人利用专门的深度成像相机进行视频信息采集并提出了一种多模态的烟雾检测算法。
4.在国内，李笋等人提出了一种基于烟雾色彩图像增强和mser检测的烟雾算法，通过增强色彩变换突出烟雾区域用于图像分割并检测；yuan
19.等人通过分析烟雾的亮度和饱和度，利用积分图提取haar特征进行烟雾检测；通过大量特征提取和分类的文献表明，通过提取单独一个或者多个特征和图像预处理方面的增强并不能满足综合复杂环境的烟雾检测。随着深度学习方法在目标识别领域的广泛应用，通过大数据样本训练、自学习，以实现特征提取和分类器的联合优化，弥补了目标复杂特征刻画带来的不足。陈俊周
20.等人采用时空卷积网络进行烟雾检测，其中空域cnn和时域cnn分别关注静态纹理和动态纹理，后者基于前者二次识别；从文献实验结果可观察，深度学习方法相较于特征提取方法有着更好的准确性。
5.综上所述，现有的烟雾检测技术取得了快速的发展，但是在识别效果上也常常存在着不确定性。烟雾形态变化频繁，如淡薄烟雾和浓烟在特征上呈现差异较大，这导致特征不能反应烟雾本质而造成识别上的误检；不同算法在不同场景下识别效果各异；烟雾的识别通常需要很强的场景针对性，针对不同场景情况下需要依据优化算法和模型或特定的识别策略来提升识别效率。


技术实现要素：

6.为了克服已有技术的不足，本发明提供了一种基于光流改进与yolov3的烟雾检测方法，基于改进的光流算法提取图像的动态前景，然后利用训练好的网络模型进行烟雾检测，最终确定图像中的烟雾，为安防系统提供早期火灾检测。
7.本发明解决其技术问题所采用的技术方案是：
8.一种基于光流改进与yolov3的烟雾检测方法，包括以下步骤：
9.1)改进光流动态区域一次筛选：利用改进的光流算法对图像中的动态前景进行框
定，过滤掉静态背景并减少静态背景的误检；
10.2)模型训练：收集大量的数据样本，对样本进行标定，对不同参数设定下的模型进行对比选定最终训练参数和模型，为后续烟雾二次筛选做准备；
11.3)yolov3模型二次筛选：对获取到的动态前景输入到训练好的网络模型，进行烟雾的二次筛选并最终框定烟雾区域。
12.进一步，所述步骤1)的处理过程为：
13.1.1)输入视频帧，对视频中的图像以左上角为原点o建立直角坐标系，计算超定方程组，记录下每一个特征点横坐标放入特征点坐标集合x:{x1,x2,x3,...,x
n
}纵坐标放入y：{y1,y2,y3,...,y
n
}。估计光流的运动轨迹，同时显示光流的运动轨迹；
14.1.2)通过集合x计算出相对于y轴的最近距离x
min
和最远距离x
max
，同理，通过集合y计算出相对于x轴的最近距离y
min
和最远距离y
max
；
15.1.3)通过(x
min
,y
min
)和(x
max
,y
max
)两组坐标划定动态区域[x
max
:x
min
,y
max
:y
min
]为烟雾动态前景区域，考虑到由于烟雾本身的如浓度、速度等形态学特征导致光流算法特征点的漏检情况，引进α和β两个调节量用于扩大动态前景区，改进后的动态前景区域为[x
max
β:x
min
‑
β,y
max
α:y
min
‑
α]，当烟雾应用场景为室外等受风影响较大烟雾变化较快的场景α和β需设定较小，动态区域明显；当烟雾检测应用场景为室内等受风影响较小烟雾变化缓慢的场景α和β需设定较大来防止前景区域过小来带的检测不准的情况；经实验发现根据α和β两个调节量的改变可以更好地适合不同烟雾场景下的检测以达到更好的效果；
[0016]
1.4)将划定后的区域作为第一次烟雾的疑似区域进行图像分割，在原图的基础上提取出图片中的动态前景区域，通过大量实验表明，改进的光流算法可以有效准确地完成图片的动态前景的提取。
[0017]
所述步骤2)中，模型训练的过程如下：
[0018]
2.1)实验数据集准备
[0019]
该实验的数据集一共含有6000张图片，其中训练集有4800张测试集1200张。数据集制作场景选取了操场、室内、树林、大楼火灾常发地点，利用烟饼道具制作烟雾，同时为了提高数据集的全面性，也加入了来源于网络且符合实验要的烟雾图片；
[0020]
2.2)实验环境
[0021]
本章实验仿真结果基于inter(r)core(tm)i7
‑
7700hq@2.80ghz处理器，16gb内存，同时在硬件基础上搭建了实验所需的软件环境：操作系统ubuntu 16.04，编程语言python 3.6、使用pycharm 2018开发环境、opencv、cuda和keras；
[0022]
2.3)模型训练
[0023]
通过对常见的火灾场景进行数据采集和检测实验，最终选定4个场景的烟雾视频进行切分成视频帧、标定并制作成烟雾数据集；数据集中一共有4800张不同分辨率且场景各异的烟雾图片，然后输入到yolov3网络模型中进行训练，步骤如下：
[0024]
2.3.1数据集制作：首先在不同场景进行烟雾的视频录制，对录制完成的视频进行视频帧抽取；然后，对数据集图片进行图片预处理包括图像增强、滤波去噪、图片筛选等操作；最后，对数据集图片的烟雾区域标定和对应的烟雾坐标信息作为训练模型的输入；
[0025]
2.3.2模型训练：反复多次训练模型和参数调整，结合同步训练结果和网络本身结构设定网络参数，通过图可以看出当训练轮越多时，损失函数越小和期望输出也就越接近。
[0026]
所述步骤3)中，将通过光流改进算法获取到的动态前景图片输入到的yolov3网络进烟雾二次识别；然而随着网络深度的增加，导致网络退化和梯度爆炸的问题，从而引进残差网络保证深层次的特征提取，在烟雾检测中使用darknet
‑
53进行特征提取。
[0027]
本发明的技术构思为：视频烟雾检测主要是针对火灾的前期特征烟雾进行分析识别，提取图像中的烟雾信息用于火灾防范和预警。近年来，校园火灾给师生的生命财产造成了严重的威胁，整体形势不容乐观。利用视频分析技术对烟雾进行自动识别和报警成为校园火灾安防的重点。同时，烟雾作为火灾前期的一个重要特征，对烟雾的有效识别可以防止火灾蔓延，为火灾救援赢得黄金时间。根据火灾烟雾检测在校园安防中的重要性，提出了一种基于传统光流改进与yolov3的烟雾检测的技术路线；整个技术路线包括：改进光流算法动态前景初筛、模型训练、yolov3烟雾二次筛选。
[0028]
本发明的有益效果主要表现在：1、检测结果精确，漏检和误检率相对较小；2、可以很好地完成早期烟雾的检测。
附图说明
[0029]
图1是一种基于光流改进与yolov3的烟雾检测方法的流程图。
[0030]
图2是lk光流法处理结果，其中，(a)是原图，(b)是光流处理图。
[0031]
图3是动态前景区域图，其中，(a)是光流特征点分布，(b)是动态前景区域图。
[0032]
图4是光流法改进前后效果对比图，其中，(a)是原图，(b)是改进前效果图，(c)是改进后效果图。
[0033]
图5是yolov3结构图。
[0034]
图6是目标检测算法速度对比图。
[0035]
图7是平均损失函数图。
[0036]
图8是darknet
‑
53特征提取网络。
[0037]
图9是不同算法在各场景下的烟雾检测效果图。
具体实施方式
[0038]
下面结合附图对本发明作进一步描述。
[0039]
参照图1～图9，一种基于光流改进与yolov3的烟雾检测方法，包括以下步骤：
[0040]
1)改进光流动态区域一次筛选：利用改进的光流算法对图像中的动态前景进行框定，过滤掉静态背景并减少静态背景的误检；
[0041]
2)模型训练：收集大量的数据样本，对样本进行标定，对不同参数设定下的模型进行对比选定最终训练参数和模型，为后续烟雾二次筛选做准备；
[0042]
3)yolov3模型二次筛选：对获取到的动态前景输入到训练好的网络模型，进行烟雾的二次筛选并最终框定烟雾区域。
[0043]
所述步骤1)中，改进光流动态区域一次筛选：对疑似烟雾的区域筛选，首先利用改进光流算法完成对动态区域的一次筛选，然后将框定的动态区域输入到yolov3网络完成二次筛选并最终检测烟雾。
[0044]
传统lk光流算法：烟雾的发生环境复杂多变，烟雾的特征容易受到周围环境的影响，给单帧图像的识别造成困难。在诸多烟雾特征中，烟雾的动态特征最为明显，光流法可
以通过分析连续视频帧间的联系可以快速、高效地框定动态区域检测动态特征；其次，通过对视频中动态区域的提取，可以有效地减少静态区域的非烟雾图像的识别和错检，从而保证视频烟雾的检测准确和高效。
[0045]
光流算法是一种基于像素点运算的算法，通过估算两帧图像之间变化捕捉运动像素点由lucas和kanade提出。光流法适用条件为：亮度恒定：一个像素点随着时间变化其亮度值是恒定不变的；小运动:在很小的时间内不会引起运动目标的剧烈变化；空间一致性：相邻像素点运动一致。
[0046]
假定t时刻，空间中的一点(x,y)的亮度值为i(x,y,t)。那么该点在一小段时间δt内运动到新的位置(x δt,y δt)。那么新的亮度值为i(x δt,y δt,t δt)由于该点在时间段δt内其相邻运动像素点之间的亮度值不变由亮度恒定i(x,y,t)＝i(x δt,y δt,t δt)且图像运动微小，通过泰勒展开并忽略其二阶无穷小得约束方程：
[0047]
i
x
u i
y
v i
t
＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0048]
其中u和v分别表光流沿x轴和y轴的速度矢量，和分别表示像素点x,y在t时刻的偏导数。将像素点带入约束方程(1)通过最小二乘法得光流向量为：
[0049][0050]
通过光流算法处理图2为光流法处理前后的对比。通过光流轨迹和边缘轮廓点可以判定烟雾的大致运动区域，有效地分离出动态前景以及静态背景。由于烟雾的动态运动这一重要特征，可以将静态区域划定为非烟雾区域从而完成烟雾第一次粗筛。传统lk光流算法可以有效的分离处动态前景和静态背景，但由于火灾发生时周围环境因素复杂多变，如风向、风速等影响烟雾的扩散导致烟雾整体轮复杂且模糊。同时，结合烟雾的本身的体态特征如烟雾浓度稀薄、扩散速度过快等，也导致了烟雾整体轮廓的复杂模糊以及稀薄烟雾区域的漏检和烟雾区域的缺失。
[0051]
改进光流算法动态区域提取：对于不同场景的烟雾进行了对比和分析得出传统的lk光流算法提取前景的不足，通过分析光流特征点的分布建立二维坐标系并记录离坐标轴最远的光流特征点。在传统光流法得到的特征点的基础上，对动态区域的扩大和矩形框定。通过改进光流算法对动态前景的提取和粗筛可以有效减少检测的运算量和对静态场景区域的误检情况，步骤如下：
[0052]
1.1)输入视频帧，对视频中的图像以左上角为原点o建立直角坐标系图3，计算超定方程组(2)，记录下每一个特征点横坐标放入特征点坐标集合x:{x1,x2,x3,...,x
n
}纵坐标放入y：{y1,y2,y3,...,y
n
}。估计光流的运动轨迹，同时显示光流的运动轨迹；
[0053]
1.2)通过集合x计算出相对于y轴的最近距离x
min
和最远距离x
max
，同理，通过集合y计算出相对于x轴的最近距离y
min
和最远距离y
max
；
[0054]
1.3)通过(x
min
,y
min
)和(x
max
,y
max
)两组坐标划定动态区域[x
max
:x
min
,y
max
:y
min
]为烟雾动态前景区域，考虑到由于烟雾本身的如浓度、速度等形态学特征导致光流算法特征点的漏检等情况，引进α和β两个调节量用于扩大动态前景区，改进后的动态前景区域为[x
max
β:x
min
‑
β,y
max
α:y
min
‑
α]如图3(b)虚线区域所示。当烟雾应用场景为室外等受风影响较大烟
雾变化较快的场景α和β需设定较小，动态区域明显。当烟雾检测应用场景为室内等受风影响较小烟雾变化缓慢的场景α和β需设定较大来防止前景区域过小来带的检测不准的情况。经实验发现根据α和β两个调节量的改变可以更好地适合不同烟雾场景下的检测以达到更好的效果。
[0055]
1.4)将划定后的区域作为第一次烟雾的疑似区域进行图像分割。在原图的基础上提取出图片中的动态前景区域。通过大量实验表明，改进的光流算法可以有效准确地完成图片的动态前景的提取。本发明针对操场、竹林、大楼等三个不同的场景进行实验对比如图4所示。
[0056]
其中图4(a)为不同场景下没有处理的原图；图4(b)为光流法处理后带有烟雾轮廓的效果图；图4(c)为改进光流算法处理过后的效果图。从图中可以看出在不同场景下，改进的光流算法可以有效地提取出动态前景所覆盖的大部分范围，同时对动态前景轮廓进行了适当扩大。
[0057]
所述步骤2)中，yolov3网络选取：基于烟雾检测实时性要求，本发明在烟雾检测算法上选择了实时性强且准确率较好的yolov3目标检测算法。该算法是一种单步法检测算法，通过在一个神经网络模型中进行预测目标区域和目标类别。yolov3网络结构见图5。
[0058]
在目标检测任务中，yolov3的分类器和定位器采用了先验检测的方式，将图片中检测概率较高的区域认定为检测结果。此外，将一个单神经网络应用于整张图像，该网络将图像划分为不同的区域，因而预测每一块区域的边界框和概率，这些边界框会通过预测的概率加权。模型相比于基于分类器的系统有一些优势。它在测试时会查看整个图像，所以它的预测利用了图像中的全局信息。与需要数千张单一目标图像的r
‑
cnn不同，它通过单一网络评估进行预测。这使得yolov3检测速度非常快，一般它比r
‑
cnn快1000倍、比fast r
‑
cnn快100倍。几种深度学习目标算法对比见图6。
[0059]
模型训练，过程如下：
[0060]
2.1)实验数据集准备
[0061]
该实验的数据集一共含有6000张图片，其中训练集有4800张测试集1200张。数据集制作场景选取了操场、室内、树林、大楼等火灾常发地点，利用烟饼道具制作烟雾。同时为了提高数据集的全面性，也加入了来源于网络且符合实验要的烟雾图片。
[0062]
2.2)实验环境
[0063]
本章实验仿真结果基于inter(r)core(tm)i7
‑
7700hq@2.80ghz处理器，16gb内存，同时在硬件基础上搭建了实验所需的软件环境：操作系统ubuntu 16.04，编程语言python 3.6、使用pycharm 2018开发环境、opencv、cuda、keras等。
[0064]
2.3)模型训练
[0065]
通过对常见的火灾场景进行数据采集和检测实验，最终选定4个场景的烟雾视频进行切分成视频帧、标定并制作成烟雾数据集。本次数据集中一共有4800张不同分辨率且场景各异的烟雾图片，然后输入到yolov3网络模型中进行训练，步骤如下：
[0066]
2.3.1)数据集制作：首先在不同场景进行烟雾的视频录制，对录制完成的视频进行视频帧抽取；然后，对数据集图片进行图片预处理包括图像增强、滤波去噪、图片筛选等操作；最后，对数据集图片的烟雾区域标定和对应的烟雾坐标信息作为训练模型的输入。
[0067]
2.3.2)模型训练：反复多次训练模型和参数调整，结合同步训练结果和网络本身
结构设定网络参数见表1。
[0068][0069]
表1
[0070]
损失函数见图7。通过图可以看出当训练轮越多时，损失函数越小和期望输出也就越接近。
[0071]
所述步骤3)中，yolov3模型二次筛选：将通过光流改进算法获取到的动态前景图片输入到的yolov3网络进烟雾二次识别。然而随着网络深度的增加，导致网络退化和梯度爆炸的问题，从而引进残差网络保证深层次的特征提取。在烟雾检测中本发明使用了darknet
‑
53进行特征提取，darknet
‑
53网络模型如下图8所示，其中虚线部分为残差单元。
[0072]
为了验证本发明模型的可行性，选取了特征提取算法haar、yolov3算法和本发明算法进行烟雾检测和对比实验分析。本发明选取了操场、车内、住宅、工厂等4类火灾易发点进行实验效果图见图8。针对烟雾检测的准确效果好坏，本发明采用了查全率(recall)和误检率(miss rate)两个评价标准对实验结果进行分析评价。
[0073]
recall＝tp/(tp fn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0074]
missrate＝fn/(tp fn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0075]
其中tp为正确检测为烟雾的视频帧数。fn为错误检测为烟雾的视频帧数。本发明通过查全率和误检率两个方面对烟雾检测的效果进行评价。发现，在不同场景下的烟雾检测效果有较大的差异。但是本发明算法相对于haar和yolov3两种算法，有效地提高了烟雾检测的准确率降低了误检率，具有较好的鲁棒性。不同算法在各场景中的查全率和误检率见表2。
[0076][0077]
表2
[0078]
从图9可以观察出相同算法在不同场景中识别效果亦有差异。由于烟雾特征极易受到周边环境因素的影响，以操场和住宅这两处代表场景，容易受到风的影响导致烟雾的
稀薄程度变化迅速。haar算法未能对稀薄特征的烟雾区域进行完整的框定，仅识别出部分烟雾。在工厂这一场景中haar算法对于非灰白色烟雾场景提取效果较差。对早期烟雾检验，由于烟雾范围小的特点haar算法和yolov3算法对烟雾检测的效果并不理想。对中期烟雾检验烟雾特征明显、透明度较小，yolov3和本发明算法可以准确地完成烟雾框。但是相对于yolov3算法本发明算法在框定范围上更为精确，漏检和误检率相对较小。
[0079]
检测速度对比：在校园安防中，视频烟雾的检测速度是一个更加重要的指标，提早及时发现烟雾对火灾防范有重要意义。本发明方法通过对烟雾动态特征的捕捉和选取实时性较好且小目标识别高效的yolov3网络可以很好地完成早期烟雾的检测。火灾前期烟雾实时检测对火灾发生时的及时报警扑救有重大意义，因此本发明选取了烟雾发生时到第一次检测到烟雾的时间ts作为烟雾实时性检测的一个评价指标。本发明通过对haar、yolov3和本发明算法进行分析对比实验，同时选取操场、车内、住宅等三处场景进行实验。具体实验结果见表3。
[0080]
早期烟雾体积小烟雾稀薄特征相对不明显，通过表3可以看出传统人工特征提取算法haar对烟雾早期目标的检测效果较差，只能检测中期较大烟雾的情况。yolov3和本发明算法可以及时有效地检测烟雾，二者在实时性上效果相当。不同场景对烟雾实时性检测的效果也不尽相同，可以看出受风速、光照等因素影响户外首次烟雾检测到烟雾的时间要明显大于室内、车内等场景。
[0081][0082]
表3
[0083]
通过对烟雾数据的研究，提出了一种基于传统光流算法改进与yolov3的烟雾检测模型。该算法改进了传统光流算法，完成了视频帧图像动态前景的框定，有效地降低了静态区域的烟雾错检和漏检的概率。然后利用训练好的端对端网络yolov3进行二次筛选，最终框定烟雾的具体区域和位置。将传统的特征提取识别问题转化为线性回归问题，有效地避免了有限特征不足所带来的识别上的弊端。经实验表明，该模型具有较高的准确性和鲁棒性，通过实验证明了该方案的可行性。
[0084]
火灾防控是校园安防建设的关键和核心任务之一。通过早期对视频的分析计算识别烟雾，将火灾威胁控制在烟雾阶段对大限度削减火灾带来的危害。烟雾检测主要有：
①
采集高清视频数据，保存并发送至图像分析服务器。
②
接收服务器反馈分析后的数据，当发现疑似烟雾时进行报警和信息推送；
③
记录隐患发生的相关信息用于后期分析处理。
[0085]
用户登陆烟雾检测系统后可以查看当前视频的检测状态，当检测到烟雾时可以进行抓拍记录现场情况。同时，安防人员可以将隐患消息以小程序的形式推送给相关责任人。
[0086]
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

技术特征：
1.一种基于光流改进与yolov3的烟雾检测方法，其特征在于，所述方法包括以下步骤：1)改进光流动态区域一次筛选：利用改进的光流算法对图像中的动态前景进行框定，过滤掉静态背景并减少静态背景的误检；2)模型训练：收集大量的数据样本，对样本进行标定，对不同参数设定下的模型进行对比选定最终训练参数和模型，为后续烟雾二次筛选做准备；3)yolov3模型二次筛选：对获取到的动态前景输入到训练好的网络模型，进行烟雾的二次筛选并最终框定烟雾区域。2.如权利要求1所述的一种基于光流改进与yolov3的烟雾检测方法，其特征在于，所述步骤1)的处理过程为：1.1)输入视频帧，对视频中的图像以左上角为原点o建立直角坐标系，计算超定方程组，记录下每一个特征点横坐标放入特征点坐标集合x:{x1,x2,x3,...,x
n
}纵坐标放入y：{y1,y2,y3,...,y
n
}，估计光流的运动轨迹，同时显示光流的运动轨迹；1.2)通过集合x计算出相对于y轴的最近距离x
min
和最远距离x
max
，同理，通过集合y计算出相对于x轴的最近距离y
min
和最远距离y
max
；1.3)通过(x
min
,y
min
)和(x
max
,y
max
)两组坐标划定动态区域[x
max
:x
min
,y
max
:y
min
]为烟雾动态前景区域，考虑到由于烟雾本身的如浓度、速度等形态学特征导致光流算法特征点的漏检情况，引进α和β两个调节量用于扩大动态前景区，改进后的动态前景区域为[x
max
β:x
min
‑
β,y
max
α:y
min
‑
α]，当烟雾应用场景为室外等受风影响较大烟雾变化较快的场景α和β需设定较小，动态区域明显；当烟雾检测应用场景为室内等受风影响较小烟雾变化缓慢的场景α和β需设定较大来防止前景区域过小来带的检测不准的情况；经实验发现根据α和β两个调节量的改变可以更好地适合不同烟雾场景下的检测以达到更好的效果；1.4)将划定后的区域作为第一次烟雾的疑似区域进行图像分割，在原图的基础上提取出图片中的动态前景区域，通过大量实验表明，改进的光流算法可以有效准确地完成图片的动态前景的提取。3.如权利要求1或2所述的一种基于光流改进与yolov3的烟雾检测方法，其特征在于，所述步骤2)中，模型训练的过程如下：2.1)实验数据集准备该实验的数据集一共含有6000张图片，其中训练集有4800张测试集1200张，数据集制作场景选取了操场、室内、树林、大楼火灾常发地点，利用烟饼道具制作烟雾，同时为了提高数据集的全面性，也加入了来源于网络且符合实验要的烟雾图片；2.2)实验环境本章实验仿真结果基于inter(r)core(tm)i7
‑
7700hq@2.80ghz处理器，16gb内存，同时在硬件基础上搭建了实验所需的软件环境：操作系统ubuntu 16.04，编程语言python 3.6、使用pycharm 2018开发环境、opencv、cuda和keras；2.3)模型训练通过对常见的火灾场景进行数据采集和检测实验，最终选定4个场景的烟雾视频进行切分成视频帧、标定并制作成烟雾数据集；数据集中一共有4800张不同分辨率且场景各异的烟雾图片，然后输入到yolov3网络模型中进行训练。4.如权利要求3所述的一种基于光流改进与yolov3的烟雾检测方法，其特征在于，所述
2.3)的步骤如下：2.3.1数据集制作：首先在不同场景进行烟雾的视频录制，对录制完成的视频进行视频帧抽取；然后，对数据集图片进行图片预处理包括图像增强、滤波去噪、图片筛选等操作；最后，对数据集图片的烟雾区域标定和对应的烟雾坐标信息作为训练模型的输入；2.3.2模型训练：反复多次训练模型和参数调整，结合同步训练结果和网络本身结构设定网络参数，通过图可以看出当训练轮越多时，损失函数越小和期望输出也就越接近。5.如权利要求1或2所述的一种基于光流改进与yolov3的烟雾检测方法，其特征在于，所述步骤3)中，将通过光流改进算法获取到的动态前景图片输入到的yolov3网络进烟雾二次识别；然而随着网络深度的增加，导致网络退化和梯度爆炸的问题，从而引进残差网络保证深层次的特征提取，在烟雾检测中使用darknet
‑
53进行特征提取。
技术总结
一种基于光流改进与Yolov3的烟雾检测方法，包括以下步骤：1)改进光流动态区域一次筛选：利用改进的光流算法对图像中的动态前景进行框定，过滤掉静态背景并减少静态背景的误检；2)模型训练：收集大量的数据样本，对样本进行标定，对不同参数设定下的模型进行对比选定最终训练参数和模型，为后续烟雾二次筛选做准备；3)Yolov3模型二次筛选：对获取到的动态前景输入到训练好的网络模型，进行烟雾的二次筛选并最终框定烟雾区域。本发明检测结果精确，漏检和误检率相对较小；可以很好地完成早期烟雾的检测。雾的检测。雾的检测。


技术研发人员：李伟 吕哲品
受保护的技术使用者：浙江工业大学
技术研发日：2021.03.19
技术公布日：2021/6/29