2019, Vol. 40
冶金、建材、化工、能源等工业的复杂生产过程中需要人工观察燃烧过程来判断生产工况.在这类生产过程中, 燃烧过程产生的火焰或烟雾的形态、颜色变化规律中蕴含着丰富的、直接反映生产状态的重要信息[1].很多情况下, 及时掌握生产运行情况, 监控异常工况, 仍依赖人工看火[2].人工看火的主要问题在于:劳动强度大, 高度依赖人的经验, 而且人在连续工作下的疲劳易导致漏报、误报等问题.所以, 发展基于图像的自动看火技术是将人从上述繁重的劳动中解放出来的必由之路.
从燃烧过程的火焰视频中及时、准确地分割出与生产工况高度相关的火焰部分图像, 是对燃烧过程进行可视化特征分析, 进而进行工况判断的关键环节.然而, 燃烧过程的高度动态性、多模态特性及火焰或烟雾形态的不规则, 给关键区域的分割和提取带来极大挑战；传统的图像分割方法[3-4]大多基于给定阈值或形态特征, 很难适用于这类动态、多模态目标的分割任务.数字抠图技术[1, 5]尽管能够实现高精度的目标分割, 但无法实时处理视频, 不适于在线工况判断.为此, 本文提出一种多元图像分析(multivariate image analysis, MIA)与人工经验相结合的动态火焰图像分割方法.图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程, 它是由图像处理到特征分析的关键步骤.图像分割根据图像的颜色、纹理及形态特征信息, 将具有相似性的信息划分为一类, 同时使具有差异性的类之间具有明显的不同, 这样就把图像划分成若干类, 即若干个不相交的区域.
在燃气、建材、火法冶金等工业中, 有一些复杂生产过程的生产状态和运行品质可以通过火焰的可视化特征来反映[6-7].为了实现基于视频的自动监控, 首先需要将关键的火焰区域分割出来, 这些区域往往蕴含工况的信息.目前, 常用的分割方法主要有:阈值分割法[8]、大津算法[9](Otsu)和模糊C均值聚类[10](fuzzy C-means, FCM).上述3种常用的分割算法中, 阈值分割法最简单，它主要通过设置合适的像素强度阈值, 对具有明显差异的区域进行分割, 但是分割效果受给定阈值的影响.大津算法是一种能够自动选取合适阈值的分割方法, 其阈值通过最小类内方差或最大类间方差法确定.该方法适用于背景区域与目标区域比例适中且信噪比较高的图像，其基本思想是寻找最佳的阈值，使不同类之间的类间方差最大(类内方差最小).模糊C均值聚类则采用隶属度来描述每个样本属于某个类的程度.
但是, 工业生产中燃烧过程所产生的火焰是动态的, 没有固定形态; 而且火焰的颜色、亮度分布、形态变化规律在不同工况下也不相同, 表现出多模态的特点.传统分割算法并不能确保在多种工况下的准确性.此外, 背景环境的反光、气雾、粉尘等干扰使得目标区域和背景高度耦合, 难以采用基于阈值的分割方法.为了解决上述问题, 本文提出一种基于多变量图像分析的方法, 并以电熔镁生产工业为背景进行应用研究.该方法能够实时、准确地从监控视频中分割出关键火焰区域, 为后续的工况特征提取和建模提供必备的预处理手段；将其应用于电熔镁炉生产的视频监控中, 验证了该方法的性能.而且, 本文所提出的方法可以应用在其他类似的问题中, 具有显著的应用参考价值.
1 基于MIA的动态火焰分割算法算法的总体思路是从图像的特征空间中分析火焰区域的统计特征, 进而计算用于图像分割的掩码操作矩阵, 实现图像的在线快速分割.本文所采用的主要工具是MIA, 它是一种多通道图像的相关性分析工具.首先利用MIA获得图像各个像素在主元空间中的相关性分布关系, 然后进行聚类划分, 最后结合人工经验选择适当的类别用于生成掩码操作矩阵.
本算法包含离线和在线处理两个部分:离线部分利用大量历史视频数据来寻找最优的掩码操作矩阵, 主要技术路线如图 1所示; 在线处理利用掩码操作矩阵实现火焰部分的分割, 并进行后处理.算法步骤如下.
|
图 1 离线计算掩码操作矩阵流程图 Fig.1 Flow chart of off-line calculation of mask matrix |
1) 提取感兴趣区域(region of interest: ROI).工业相机采集到的图像中可能包含无用背景信息, 因此对目标图像中包含火焰的部分进行ROI提取可减少反光、漫反射的干扰, 同时降低计算机运行成本.
2) 采用主成分分析(principal component analysis, PCA)对图像降维.
以3通道RGB图像为例, 首先需要将m×n×3的图像I展开为mn×3的二维矩阵X, 其中m和n为图像的宽度和长度.由于mn的数值通常较大, 需要借助核心算法[11]来简化计算.即对行展开后的图像矩阵的每个属性进行去均值化, 并构建核矩阵XTX.然后对得到的低维矩阵进行奇异值分解.
|
(1) |
将得到的特征向量按对应的特征值从大到小排列, 得到的特征向量矩阵的每一列即为维度为Cp×1的加载向量pa.在此基础上按式(2)计算得分向量ta，其维度为m · n×1.其中得分向量中, t1p1T包含的原始图形信息最多, t2p2T包含的信息次最多, 以此类推.
|
(2) |
然后, 确定主元的个数以满足降维后的数据大于需要的原始图片信息量的99 %.其中Cp(Cp < 3)为主元个数, λi为经过PCA处理时求得的协方差矩阵的特征值, g表示降维后矩阵中包含原有矩阵信息的百分比.
|
(3) |
选择前Cp个占主导地位的主成分对原始多变量图像进行重构, 忽略残差矩阵E以消除原始图像大部分无结构的噪声信息.
3) 计算得分柱状图(TT图).
通过PCA降维, 原始图像被映射到对应的用主成分得分值(t1, t2, …)表征的新空间.如果图像中不同的像素点处的特征相同, 那么它们对应的得分值组合(t1, t2)也应该一致.因此, 采用(t1, t2)表征一幅彩色图像99.5 %的信息.在得分向量(t1, t2)作为基的平面上计算柱状图, 统计具有相同坐标值的点的个数, 作为该点的TTi, j值, 通过式(5)进行计算.得分柱状图可以用于提取图像中的颜色、亮度及形态等特征的聚类信息.通常得到的得分向量取值范围比较分散, 所以为了便于计算, 采用式(4)进行归一化, 将其范围设定为区间[0, 255]之间的整数.
|
(4) |
对于特定的主元个数b, 得分柱状图TT可以由s1和s2获取：
|
(5) |
式中s1, b, s2, b是指对应于主元个数b的s1和s2.
4) 聚类分析并计算掩码操作矩阵.
TT图包含了输入图像在主元空间的相关性分布信息.采用聚类方法对其进行划分并进行标记.在TT图中选择特定类别的感兴趣区域, 并将被标记区域映射到原始图像, 观察在图像空间中的对应区域与人工“看火”的关键区域的一致性, 进而在TT图中确定适当的类别.定义Q为TT图中所选取的特征区域, 掩码操作矩阵可由式(6)计算:
|
(6) |
5) 在线分割.
在线分割仍然需要对图像进行预处理, 即离线操作中的步骤1)~步骤3)；然后计算得分柱状图, 再根据离线计算得到的掩码矩阵, 对感兴趣火焰区域进行提取操作；最后, 对分割得到的图像进行图像处理中的开闭运算, 使图像边缘更加平滑.
2 电熔镁炉视频的图像分割电熔镁砂是纯度高、熔点高、绝缘性能强且结构致密的重要原材料, 被广泛应用在化工、建筑、家电、冶金、军事等多种行业和领域[12].我国生产电熔镁砂主要采用电熔镁炉工艺, 一般包括熔炼、加料、排气、欠烧等主要工况.电熔镁炉的工况判断对于及时调整生产操作参数、提高产品品质, 特别是避免生产异常, 具有重要意义.
目前, 电熔镁炉的工况判断主要依靠人工现场巡检.发展基于视频的自动监控技术, 首先需要从电熔镁炉的炉口火焰中分割出关键的火焰区域, 而在不同工况下, 电熔镁炉的炉口火焰的亮度、颜色、形态变化均不一样.如图 2所示, 熔炼工况下, 火焰亮度适中, 火焰颜色比较丰富, 火焰形态稳定; 加料工况下, 火焰亮度比较暗, 火焰颜色稳定, 形态变化较慢; 排气工况下, 火焰亮度比较亮, 火焰颜色比较单一, 火焰形态变化较快; 欠烧工况下, 火焰亮度变化频繁、形态不稳定.
|
图 2 不同工况下的炉口火焰图像 Fig.2 Furnace flame under different working conditions (a)—熔炼；(b)—加料；(c)—排气；(d)—欠烧. |
电熔镁炉炉口火焰具有多模态、高动态等特点, 传统的图像分割方法不能很好地解决分割问题.本文针对电熔镁炉炉口火焰的图像分割问题, 介绍所提算法的应用步骤.
2.1 电熔镁炉炉口动态火焰的分割在对现场视频图像数据进行MIA处理之前, 先提取其中一帧图像进行PCA降维, 然后运用重构公式(2), 分别使用前两个主元、第一个主元、第二个主元及第三个主元进行图像重构, 得到的图像数据如图 3所示.图 3a是原始炉口火焰图像, 对其进行PCA处理后, 取前两个特征值代入式(4)计算, 结果显示大于99.5 %, 即根据前两个主元进行重构的结果包含原始图像99.5 %以上的信息, 如图 3b所示.同理, 分别使用第一个主元、第二个主元和第三个主元进行图像重构, 结果分别如图 3c、图 3d和图 3e所示, 对应的重构图像特征值从大到小, 包含的原始图像信息也从多到少.由图可见, 图 3b与原图非常接近, 包含的信息最多; 图 3c、图 3d和图 3e失真情况越来越严重.当选择前两个主元表征原始信息时, 图 3e对应的数值就是残差矩阵E.
|
图 3 使用不同主元进行图像重构 Fig.3 Reconstructed images using different principal components (a)—原始图像；(b)—使用前两个主元；(c)—使用第一个主元；(d)—使用第二个主元；(e)—使用第三个主元. |
利用MIA方法对前述4种工况进行分析, 得到的得分柱状图如图 4所示.上述4张图分别是4种工况的炉口火焰经过MIA处理后在xy坐标系下的投影, 其中x轴对应s1, y轴对应s2, 它们反映了炉口火焰颜色亮度信息在二维空间的聚集情况, 颜色越亮的区域表示炉口具有这种颜色和亮度的像素点个数越多.
|
图 4 对应图 2中每幅图的得分柱状图 Fig.4 Score bars corresponding to each image in Fig. 2 (a)—熔炼；(b)—加料；(c)—排气；(d)—欠烧. |
采用模糊聚类方法(FCM)对得分柱状图(TT图)进行聚类, 将其分为3类, 结果见图 5a、图 5c、图 5e中分别用灰色和绿色标记的区域.通过映射方法将TT图中被标记的区域在原始图像中显示出来, 如图 5b、图 5d、图 5f所示.通过细微调节, 最终取x轴[0~50]、y轴[0~200]区域来计算分割掩码矩阵.该标记区域映射到原始图像能够获得良好的分割效果, 最终将其用于在线动态火焰图像分割.
|
图 5 MIA分割结果及相关验证 Fig.5 MIA segmentation results and related verification (a)(c)(e)—TT图中截取区域；(b)(d)(f)—与TT图截取区域对应的图像像素点. |
为了评价MIA方法对所有电熔镁炉的图像分割的适用性, 选择图 2的4种工况样图, 使用MIA, Otsu, FCM和阈值法进行图像分割, 结果如表 1所示.
|
表 1 不同方法的图像分割 Table 1 Image segmentation by different methods |
MIA分割结果, 标记区域为2.1节确定的区域.Otsu算法的处理过程建立在灰度图像基础上, 然后寻找最佳阈值使得前景和后景之间差异值最大.采用FCM算法, 当设定聚类数为3时, 分类效果比较好.阈值法对应4种图像均设置一个固定的阈值, 阈值的确定首先通过灰度直方图确定大概位置, 再经过多次实验确定.
上述4种分割方法运行时间接近, 因此这里主要分析分割的准确性.从表 1中可以看出, MIA与阈值法的分割效果较为接近, 但是当火焰区域较小时, 阈值法存在火焰区域丢失严重的现象; 当火焰区域比较大时, 上述4种方法都存在将属于背景的区域分割到火焰区域的现象, 其中Otsu算法最为严重.
为了更深入地分析不同分割算法的准确性, 需要建立一个参考基准.本文采用KNN Matting[13]算法抠取炉口火焰区域, 并将抠取结果作为比较不同分割算法的参考真值.KNN Matting算法需要少量的人工标定, 主要基于非本地参考像素的相似性来抠取前景图像, 因此分割精度较高; 但是抠图算法计算成本高, 采用与本文实验相同配置的计算机处理一帧图像需要约5 s, 不适合实时处理, 而其他几种方法处理每帧图像只需约100 ms.
采用KNN Matting算法对4种工况火焰图像的抠取结果如图 6所示.
|
图 6 KNN Matting算法抠取4幅图像的感兴趣火焰区域结果 Fig.6 Results of the interested flame zones of the four images extracted by KNN Matting algorithm (a)—熔炼；(b)—加料；(c)—排气；(d)—欠烧. |
将KNN Matting分割结果分为两类:前景区域(灰度值大于零)与后景区域(灰度值等于零), 然后将上述4种分割方法所得到的结果转换为灰度图像, 并分别与定义的标准矩阵进行比较, 计算混淆矩阵元素值、精确率P、召回率R，以及P和R的调和均值F1值[14].其中混淆矩阵元素定义为:TP表示将正类预测为正类, TN表示将负类预测为负类; FP表示将负类预测为正类, FN表示将正类预测为负类.对每一种工况下的20张图片进行评估并求平均值, 得到的4种工况下的分割评估结果如表 2所示.
|
|
表 2 不同工况分割评估结果 Table 2 Segmentation results of different conditions |
从以上结果可以发现:
1) 本文提出的图像分割方法在加料、熔炼及欠烧三种工况下F1值均比其他三种分割方法高, 这表明, 与FCM，Otsu和阈值法相比, 本文基于MIA的图像分割方法与KNN Matting抠图法最为接近, 分割精度最好, 而且由于本文方法增加了后期的平滑处理, 因此火焰图像边缘更加光滑.
2) 本文方法在4种工况下均表现平稳; 而阈值法和FCM方法在熔炼、排气和欠烧工况下与本文方法较为接近, 但是在加料工况下分割精度较差, 因为在加料工况下, 整体图像变暗, 导致原有阈值设定或者分类不能适应新的火焰图像的特点.
3 结语本文提出一种基于MIA的动态火焰图像分割算法, 并以电熔镁生产为对象, 研究了镁炉炉口火焰图像的在线分割.与主要的图像分割方法对比表明, 本文方法精度较高, 而且在不同工况下, 针对多种形态火焰图像的分割结果最稳定.此外, 本文提出的火焰分割方法可以推广到其他类似的工业监控应用中.
| [1] |
Castiñeira D, Rawlings B C, Edgar T F.
Multivariate image analysis for industrial flare combustion control[J]. Industrial & Engineering Chemistry Research, 2012, 51(39): 12642–12652.
|
| [2] |
Lu S W, Yue H.Real-time data driven visual simulation of process manufacturing: a case study[C]//2011 Chinese Control and Decision Conference(CCDC).Mianyang, China, 2011: 1806-1809.
https://ieeexplore.ieee.org/document/5968491 |
| [3] |
Petrou M, Sevilla P G.
Image processing dealing with texture[M]. Chichester, UK: Wiley, 2006.
|
| [4] |
Resmi M R, Vishnukumar S.A novel segmentation based copy-move forgery detection in digital images[C]//International Conference on Networks & Advances in Computational Technologies(NetACT).Thiruvanthapuram, India, 2017: 346-350.
|
| [5] |
Gao R, Liu X L.Research and implementation of digital video matting technology research the matting technology algorithm[C]// International Conference on Electronics, Communications and Control(ICECC).Ningbo, China, 2011: 2229-2232.
https://www.researchgate.net/publication/261131520_Research_and_implementation_of_digital_video_matting_technology_research_the_matting_techology_algorithm |
| [6] |
Li W T, Wang D H, Chai T Y.
Flame image-based burning state recognition for sintering process of rotary kiln using heterogeneous features and fuzzy integral[J]. IEEE Transactions on Industrial Informatics, 2012, 8(4): 780–790.
DOI:10.1109/TII.2012.2189224 |
| [7] |
Zhu Q S, Shao L, Li X L, et al.
Targeting accurate object extraction from an image:a comprehensive study of natural image matting[J]. IEEE Transactions on Neural Networks and Learning Systems, 2015, 25(2): 185–207.
|
| [8] |
王培珍, 杨维翰.
图像分割的分层处理方案[J]. 安徽工业大学学报, 2002, 19(3): 205–208.
( Wang Pei-zhen, Yang Wei-han. Image segmentation of the hierarchical approach[J]. Journal of Anhui University of Technology, 2002, 19(3): 205–208. DOI:10.3969/j.issn.1671-7872.2002.03.008 ) |
| [9] |
Otsu N.
A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62–66.
DOI:10.1109/TSMC.1979.4310076 |
| [10] |
Dunn J C.
A fuzzy relative of the ISODATA process and its use in detecting compact well-separated clusters[J]. Journal of Cybernetics, 1973, 3(3): 32–57.
DOI:10.1080/01969727308546046 |
| [11] |
Geladi P, Grahn H F.
Multivariate image analysis[M]. Chichester, UK: Wiley, 1996.
|
| [12] |
吴志伟, 方正, 柴天佑, 等.
电熔镁炉嵌入式专用控制器及其控制方法研究[J]. 仪器仪表学报, 2012, 33(6): 1261–1267.
( Wu Zhi-wei, Fang Zheng, Chai Tian-you, et al. Research on embedded special controller of electric melting furnace and its control method[J]. Journal of Instrumentation, 2012, 33(6): 1261–1267. DOI:10.3969/j.issn.0254-3087.2012.06.009 ) |
| [13] |
Chen Q, Li D, Tang C K.
KNN Matting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(9): 2175–2188.
DOI:10.1109/TPAMI.2013.18 |
| [14] |
Lin Y, Lv F, Zhu S, et al.Large-scale image classification: Fast feature extraction and SVM training[C]// 2011 IEEE Conference on Computer Vision and Pattern Recognition.Colorado Springs, USA, 2011: 1689-1696.
http://www.ece.northwestern.edu/~mya671/mypapers/CVPR11_Lin_Lv_Zhu_Yang_Cour_Yu_Cao_Huang.pdf |