本发明属于高速线材冶金自动化领域，涉及一种基于机器视觉的飞钢智能检测系统及方法。
背景技术：
1、线材作为钢铁生产中常见的型材，其生产多采用单线高速轧制。飞钢事故是轧制过程中非常常见且非常严重的事故。飞钢发生的原因有很多，比如辊道与钢坯之间的不良接触，如辊道表面不平整、轧制线偏移、料型尺寸参数波动、轧机参数设置等。飞钢发生时，高温、高速线材大规模飞窜出轧制辊道，若没及时发现并采取措施，可能会损坏设备导致停产，甚至造成人身伤害。
2、然而现有的飞钢检测方法多是通过轧制信号、热检元件、人工观察等方法。通过轧制信号、热检元件检测飞钢的方法需要停产对轧钢生产线进行自动化改造，需要较长的停产调试和安装检修时间。人工观察的方法，由于现场环境复杂，存在人工观察发现不及时和操作延迟的问题。现有的机器视觉的方法比较简单，检测准确性不高，一些飞钢情况可能检测不出，或者可能误判并导致错误应急处理造成损失。飞钢检测仍面临很多难题，有较大的提升空间。
技术实现思路
1、针对上述技术问题，本发明提供了一种基于机器视觉的飞钢智能检测系统及方法；通过图像去水汽等预处理减少模糊干扰，采用区域定位法、改进光流法、深度学习法分别进行飞钢综合判别，并显示钢材像素点流向图，若发现飞钢则进行报警记录及应急处理。
2、本发明是通过以下的技术方法实现的：
3、一种基于机器视觉的飞钢智能检测方法，所述方法包括以下步骤：
4、步骤一、飞钢检测采样：在钢厂监控视频中，提取采样帧并进行去水汽预处理，增强图像质量信息；
5、步骤二、飞钢判别：飞钢检测采用并行多线程处理，通过区域定位法、改进光流法、深度学习法分别进行飞钢判别；
6、通过集成学习对区域定位法、改进光流法、深度学习法三种方法的判别结果进行投票以综合判断是否飞钢；且根据区域定位法、改进光流法、深度学习法三种方法判别结果的准确性动态调整票决权重，以提高判别准确率；
7、步骤三、报警和应急处理：若步骤二综合判断结果为发现飞钢，则进行报警和应急处理。具体为：若步骤二综合判断结果为发现飞钢，发出飞钢蜂鸣警报提醒，系统画面弹出产线急停和飞钢应急处理确认画面；由操作工进行应急确认，确认后发出产线急停和飞钢应急处理信号，对后续轧制出的钢材进行剪切碎断处理，减少损失和伤害。
8、进一步地，步骤二中，所述飞钢检测采用并行多线程处理，通过区域定位法、改进光流法、深度学习法分别进行飞钢判别，包括：
9、(1)区域定位法：锁定设备区域，通过模型预测连接线趋势进行区域连通，并检测钢材是否超出正常的钢材传送范围，进行飞钢判别；
10、(2)改进光流法：通过pidnet实时语义分割定位钢材位置，排除背景和干扰信息，构建多帧图像金字塔，通过特征点定位算法辅助定位像素特征点，采用光流法检测像素点位移矢量，结合条件随机场建模得到像素点位移矢量合，根据正常工况下的钢材像素点位移矢量合设置飞钢阈值，根据所述阈值进行飞钢判别；
11、(3)深度学习法：采用efficientdet神经网络进行目标检测，根据步骤(2)中的语义分割结果生成目标候选框，通过像素点位移矢量合进行目标候选框评分，通过特征算子学习飞钢特征并输出特征得分和构造模糊集，引入得分机制，将目标候选框评分和特征得分输入到注意力机制模块中改善模型训练效果，用模糊推理模块进行飞钢判别。
12、进一步地，通过所述区域定位法进行飞钢判别，具体包括如下步骤：
13、(1.1)通过对正常工况下的钢材进行边缘检测，得到正常工况下的钢材最小外接矩形区域sv；
14、(1.2)根据正常工况下的钢材最小外接矩形区域sv辅助确定正常工况下的钢材传送区域范围dv，并通过ipso-prophet模型预测得到连通钢材传送区域d，锁定设备区域；
15、(1.3)通过检测钢材的极值点，判断极值点是否超出正常的钢材传送区域，从而判断是否飞钢。
16、进一步地，图像坐标系采用是以左上角为原点，向右为正x轴方向，向下为正y轴方向的二维笛卡尔坐标系；步骤(1.1)具体为：对正常工况下预处理后的采样图像进行二值化，对钢材进行边缘检测，得到钢材的边缘曲线；钢材由于遮挡问题可能会在监控视频中出现几段，每段钢材视为一个钢材区域，根据钢材位置横坐标的大小，将钢材区域记为区域v，v＝1，2，3……；对一定时间内(如一天内)正常工况下的采样帧的钢材边缘曲线位置进行记录，得到一系列边缘曲线的位置sav，a是边缘曲线的编号，a＝1，2，3……；，并检测得到将区域v中一系列边缘曲线框住的最小外接矩形，记最小外接矩形区域为sv，矩形的宽度为rv，长度为lv；最小外接矩形的宽度对应世界坐标系中的实际宽度为λ×rv，λ为图像中物体的变形参数，通过相机标定得到；即得到正常工况下的钢材最小外接矩形区域sv；
17、步骤(1.2)具体为：通过所述钢材最小外接矩形区域sv辅助确定一个对应的正常工况下的钢材传送区域dv；钢材传送区域dv和钢材最小外接矩形区域sv的中心坐标和矩形中心线相同，其中水平矩形中心线和钢材传输方向的夹角为锐角；钢材传送区域dv和钢材最小外接矩形区域sv的长度相等；世界坐标系下的辊道的实际宽度为rv，转换到图像坐标系中的的辊道宽度为rv/λ，所确定的图像坐标系下的钢材传送区域dv的宽度dv和辊道宽度rv/λ相等，即在图像坐标系中钢材传送区域的宽度dv＝rv/λ；通过ipso-prophet模型预测相邻的两个区域dv和dv+1矩形角点的连接线趋势，预测模型输入为正常工况下的步骤(2)中的光流法得到的钢材像素点位移矢量，输出为连接线趋势向量，根据连接线趋势向量连接分散的区域dv，得到连通钢材传送区域d。
18、步骤(1.3)中，区域定位法判别方法如下：对采样帧二值化后的图像，检测钢材的上下左右四个极值点依次为：h1(xh1,yh1)、h2(xh2,yh2)、h3(xh3,yh3)、h4(xh4,yh4)；检测钢材的极值点是否超出所述连通钢材传送区域d的范围，若超出连通钢材传送区域d的范围则判断为飞钢。
19、进一步地，确定所述连通钢材传送区域d时需要进行参数初始化，具体为：对正常工况下采样帧中的钢材进行边缘检测，并不断根据目前所有的已检测记录的钢材边缘检测数据，按照步骤(3.1)-(3.2)更新确定连通钢材传送区域d，直到记录时长为设定时间，完成区域定位法参数初始化；
20、在后续的检测中，不断根据近期的(具体可以是近期一天内的)飞钢检测的采样帧的钢材边缘检测数据修正更新一次所述连通钢材传送区域d；通过区域定位法进行飞钢判别时，使用当前最新的连通钢材传送区域d的记录数据，且当飞钢发生时检测到边缘曲线的数据，不参与到连通钢材传送区域d的更新中；当监控视频中未拍摄到钢材传输区域时，综合判段阶段，区域定位法的判别权重置0。
21、进一步地，通过改进光流法飞进行飞钢判别，具体包括：
22、采用pidnet实时语义分割定位钢材位置并保存；利用历史记录中的若干帧构建图像金字塔，按照时间顺序排列，当前采样帧设置为最顶层；通过brisk特征点定位算法辅助定位特征像素点，通过金字塔lk光流法检测相邻两层采样帧钢材区域的像素特征点的位移矢量；将所述位移矢量从最底层开始逐层向上投影映射，使用条件随机场模型，所述条件随机场模型输入为前一帧和当前帧像素特征点的位移矢量序列，输出为当前帧像素点位移矢量合，得到当前采样帧的最终的像素点位移矢量合；根据正常工况下的像素点位移矢量合设置飞钢阈值，当所述当前采样帧的最终的像素点位移矢量合小于所述飞钢阈值时，则判断为飞钢。进一步地，通过深度学习法进行飞钢判别，具体包括：
23、根据改进光流法中pidnet实时语义分割结果生成目标候选框，并根据当前采样帧的最终的像素点位移矢量合对目标候选框进行评分；
24、对目标候选框中的区域进行特征学习，特征提取算子包括颜色直方图、harris角点、orb算子，并生成颜色直方图、harris角点、orb算子对应的特征算子得分：x1，x2，x3；
25、将所述目标候选框评分和所述特征算子得分输入到注意力机制模块中调整神经网络模型检测的效果；用改进的efficientdet神经网络进行目标检测，检测结果输入到模糊规则推理模块进行飞钢判别；
26、其中，所述模糊规则推理模块通过所述特征算子得分构造论域{x1,x2,x3}和模糊集a，通过飞钢特征和专家经验构造隶属函数映射。
27、进一步地，步骤一中，所述提取采样帧并进行去水汽预处理，具体为：通过gr算法结合颜色和纹理特征算子锁定水汽区域；通过灰度处理、二值化、开运算、凸包运算锁定水汽区域浓度最大中心点；将水汽区域图像网格化，计算每个网格中的lab空间颜色向量平均值表示水汽浓度；采用梯度下降算法从中心点辐射查找若干条水汽浓度降低路线，搜索过程中加入随机扰动，记录下降路线中每一图像网格水汽浓度，并根据浓度范围连接网格角点划分不同浓度梯度区域；采用msrcr算法针对不同水汽浓度区域设定不同高斯核对图像进行增强去水汽处理。
28、进一步地，所述方法还包括飞钢检测显示的步骤，具体为：采用所述改进光流法检测得到的像素点位移矢量合，经过稀疏采样后在集控视频画面中实时显示钢材像素点流向图。
29、一种基于机器视觉的飞钢智能检测系统，所述飞钢智能检测系统包括：
30、(1)飞钢检测采样模块：用于在钢厂监控视频中，提取采样帧并进行去水汽预处理，增强图像质量信息；
31、(2)飞钢判别模块：飞钢检测采用并行多线程处理，通过区域定位法、改进光流法、深度学习法分别进行飞钢判别；
32、所述区域定位法：锁定设备区域，通过模型预测连接线趋势进行区域连通，并检测钢材是否超出正常的钢材传送范围，进行飞钢判别；
33、所述改进光流法：通过pidnet实时语义分割定位钢材位置，排除背景和干扰信息，构建多帧图像金字塔，通过特征点定位算法辅助定位像素特征点，采用光流法检测像素点位移矢量，结合条件随机场建模得到像素点位移矢量合，根据正常工况下的钢材像素点位移矢量合设置飞钢阈值，根据所述阈值进行飞钢判别；
34、所述深度学习法：采用efficientdet神经网络进行目标检测，根据改进光流法中的语义分割结果生成目标候选框，通过像素点位移矢量合进行目标候选框评分，通过特征算子学习飞钢特征并输出特征得分和构造模糊集，将目标候选框评分和特征得分输入到注意力机制模块中改善模型训练效果，用模糊推理模块进行飞钢判别；
35、通过集成学习对区域定位法、改进光流法、深度学习法三种方法的判别结果进行投票以综合判断是否飞钢；
36、(3)飞钢检测显示模块：采用所述改进光流法检测得到的像素点位移矢量合，稀疏采样后在集控监控画面中显示钢材像素点流向图。
37、(4)报警和应急处理模块：若发现飞钢，发出飞钢蜂鸣警报提醒，并控制执行机构进行应急处理。
38、本发明有益技术效果：
39、(1)本发明提供的一种基于机器视觉的飞钢智能检测方法，采用了去水汽技术进行图像增强，提高了图像的质量，便于提高后续的飞钢检测精度。
40、(2)本发明提供的一种基于机器视觉的飞钢智能检测方法，克服了工业生产现场环境复杂存在遮挡的问题，能够智能检测得到连通的钢材传输区域，判断钢材运动方向是否偏离。
41、(3)本发明提供的一种基于机器视觉的飞钢智能检测方法能够利用监控视频自动采样并在线实时处理图像，通过多线程并行计算做到快速检测，保证检测的实时性。
42、(4)本发明提供的一种基于机器视觉的飞钢智能检测方法和系统，克服了飞钢形状复杂、多样、无序、不利于检测的困难，采用了多种飞钢判别方式提高飞钢判别精度，并且三种判别方式之间存在联系，充分利用图像处理信息。
1.一种基于机器视觉的飞钢智能检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述一种基于机器视觉的飞钢智能检测方法，其特征在于，步骤二中，所述飞钢检测采用并行多线程处理，通过区域定位法、改进光流法、深度学习法分别进行飞钢判别，包括：
3.根据权利要求2所述一种基于机器视觉的飞钢智能检测方法，其特征在于，通过所述区域定位法进行飞钢判别，具体包括如下步骤：
4.根据权利要求3所述一种基于机器视觉的飞钢智能检测方法，其特征在于，
5.根据权利要求4所述一种基于机器视觉的飞钢智能检测方法，其特征在于，确定所述连通钢材传送区域d时需要进行参数初始化，具体为：对正常工况下采样帧中的钢材进行边缘检测，并不断根据目前所有的已检测记录的钢材边缘检测数据，按照步骤(1.1)-(1.2)更新确定连通钢材传送区域d，直到记录时长为设定时间，完成区域定位法参数初始化；
6.根据权利要求2所述一种基于机器视觉的飞钢智能检测方法，其特征在于，通过改进光流法飞进行飞钢判别，具体包括：
7.根据权利要求2所述一种基于机器视觉的飞钢智能检测方法，其特征在于，通过深度学习法进行飞钢判别，具体包括：
8.根据权利要求1所述一种基于机器视觉的飞钢智能检测方法，其特征在于，步骤一中，所述提取采样帧并进行去水汽预处理，具体为：通过gr算法结合颜色和纹理特征算子锁定水汽区域；通过灰度处理、二值化、开运算、凸包运算锁定水汽区域浓度最大中心点；将水汽区域图像网格化，计算每个网格中的lab空间颜色向量平均值表示水汽浓度；采用梯度下降算法从中心点辐射查找若干条水汽浓度降低路线，搜索过程中加入随机扰动，记录下降路线中每一图像网格水汽浓度，并根据浓度范围连接网格角点划分不同浓度梯度区域；采用msrcr算法针对不同水汽浓度区域设定不同高斯核对图像进行增强去水汽处理。
9.根据权利要求2所述一种基于机器视觉的飞钢智能检测方法，其特征在于，所述方法还包括飞钢检测显示的步骤，具体为：采用所述改进光流法检测得到的像素点位移矢量合，经过稀疏采样后在集控视频画面中实时显示钢材像素点流向图。
10.一种基于机器视觉的飞钢智能检测系统，其特征在于，所述飞钢智能检测系统包括：
