2020, Vol. 41
图像分割是计算机视觉处理过程中的重要步骤，是实现图像理解的前提.在图像分割的实际应用中，前景与背景的灰度级存在不同，阈值法就是通过找到前景与背景之间灰度级的差别，将目标(前景)从背景中分割出的方法.图像阈值分割[1]主要以图像中灰度相似性作为分割依据，使用一个或多个阈值把图像分成若干部分，广泛用于工业检测、医学图像等领域.图像阈值处理主要有全局处理和局部处理两方面[2]，本文主要聚焦全局阈值的选取.全局阈值法是对图像中的每一个像素点而言，因此找到一个合适的阈值依然是分割的关键.目前有多种自适应确定阈值的方法被提出[3]，主流的自适应阈值方法有Otsu法和最大熵法.
Otsu方法又名最大类间差法[4]，其通过寻找前景、背景之间的最大类间方差得到两类的分割.为找到最优阈值，图像的每一灰度级都作为阈值，当某一阈值下得到最大类间方差时，该灰度级则作为最终分割阈值.近年来，在不同的应用场合都有一些不同的改进方法，以适应不同的应用场合.Yu等[5]提出了一种自适应Otsu方法，应用区域增长与边缘检测和阈值分割(RGEDOM)相结合来提取石油泄漏. Li等[6]结合方差的差异性提出了新的Otsu判定准则. Zou等[7]基于皮尔逊相关系数与Otsu方法之间的关系，提出了最大相似性阈值的方法.最大熵法由Kapur等[8]提出并成为图像分割中广泛使用的一种方法.Sahoo等[9]基于Renyi entropy提出了最大化Renyi entropy.Albuquerque等[10]基于最大化Tsallis entropy提出了新的最大熵表达式.Nie等[11]基于一种新的广义熵，其中加入了可调熵参数，新准则被证明有效.近年来也有其他方法对最大熵法进行改进，如Lin等[12]提出了基于Tsallis entropy拓展系数的图像阈值分割方法.
通过研究分析上述方法，在实际应用中上述算法均存在不足且不易克服：上述算法均是通过求解图像中包含的灰度频率信息来得到图像分割结果.对Otsu和最大熵法而言，其均是实现前景背景之间某种关系的极值化，如最大化方差和最大化信息熵.为得到一种自适应和鲁棒性的图像分割算法，本文提出了一种建立稳健关系的思想，这种思想来源于Otsu方法和图像自身的信息评价[13].在灰度范围内对图像进行阈值化之后，对分割后的图片进行清晰度信息的计算.将图像阈值选取转换为图像信息平稳变化下的灰度值求解，提供了灰度连续变换下的前景和背景之间的细节变化，对一些前景、背景灰度级差别细微的图片也有较好的分割性.
1 前期工作 1.1 阈值分割阈值法是图像分割中普遍使用的一种方法.主要是对图像的灰度进行划分，通过灰度强度值的差异把图像划分为两类.阈值法的数学表达如式(1)所示：
|
(1) |
式中：f(x, y)代表输入图像；T表示所设阈值；g(x, y)表示输出图像.
图 1为5张本文测试图片及对应的灰度直方图.从图中可以看出，图 1a和图 1b两幅图对比度很小且背景占比很大，图 1c为单峰图像，图 1d和图 1e为双峰图像，并且目标物体在整图中占比较小.在实际分割中，这种对比度小或前景占比小的图像会对自适应阈值造成很大干扰，分割难度大.这是因为传统基于灰度频率的分割阈值会向像素较多的部分移动，导致前景无法被精确地提取出来，后续的图像处理难以进行.
|
图 1 5张样本图片及其直方图信息 Fig.1 Five pictures and their histogram information |
传统的图像清晰度评价通常用于机器视觉系统调焦的判据，客观的图像清晰度评价不仅可以自动调整对焦精度而且可以降低硬件成本[14].目前，常用的图像清晰度算法有很多，大致可以归结为：1)灰度梯度函数，主要利用正焦图像比离焦图像的边缘更锋利，灰度变化更明显等特征，包括绝对方差函数、Roberts梯度和函数、梯度向量平方函数、Brenner函数、Laplacian函数、Tenengrad函数和Variance函数等；2)熵函数，正焦图像的信息熵比离焦图像要多；3)频域函数，主要利用傅立叶变换、小波变换等，通过比较正焦图像与离焦图像的高频分量，高频分量较多的是清晰图像[15].
清晰度评价是对图像细节信息的描述，梯度函数描述的是边缘信息，因此边缘信息越丰富的图像，其清晰度评价值也越高.由于图像中的边缘信息是关键且稳定的，当用梯度函数描述清晰度时，在真实分割结果附近清晰度评价值也同样是区域稳定的.基于该设想提出一种基于清晰度评价的图像分割方法并进行验证.
本文选取的清晰度评价方法为Tenengrad函数：一种基于梯度的函数，其使用Sobel算子提取水平垂直方向梯度值，值越大表示图像越清晰.本文使用该函数作为图像信息的度量, 如式(2)~式(3)所示.
设Sobel卷积核为Gx, Gy, 则
|
(2) |
|
(3) |
式中，n为图片像素总个数.
2 基于清晰度评价的图像分割法 2.1 方法描述本文使用清晰度评价作为阈值化后图像内灰度相似性变化的度量方法，在每幅图像阈值化后，均对其做一次清晰度评价.此时的清晰度评价值直接测量的是图像中的细节变换，即把原先图像中两区域的相似性度量转换为阈值化后的图像清晰度的度量.对于前景背景可分的图像，图像清晰度评价值和最佳分割阈值存在稳定对应关系.类似相机自动对焦原理，在一定距离下总能找到图像最清晰时的焦距.在一定范围内，对待分割的图片分别做图像阈值化和阈值化后图像的清晰度评价.若分割阈值在目标阈值附近，清晰度值会比较平稳，此时清晰度值所反映的图像信息变化是比较小的.反之，若不是目标阈值，则清晰度评价值会出现较大波动.
初选一次阈值范围的具体方法为：首先在整个图像灰度范围内作一次图像清晰度评价(此时灰度值步长为2~3)，然后再选定清晰度值平稳区域的灰度范围(此时灰度步长取1).不断循环，直到选择最佳分割阈值结束.同时，为了确定唯一的最佳分割阈值，使用皮尔逊相关系数进行相似性度量，选取相似性最高的作为分割阈值.
基于上述思想，对图 1中5张图分别做图像阈值化和图像清晰度评价，得到图 2.
|
图 2 5张样本图片的清晰度评价折线 Fig.2 Definition evaluation polylines of 5 pictures (a)—图 1a；(b)—图 1b；(c)—图 1c；(d)—图 1d；(e)—图 1e. |
图 2显示了图 1中5张图片在不同阈值下清晰度评价值的折线图，其中黑色区域组成图像灰度频率，圆点折线代表图像在不同灰度下的清晰度评价值.从图 2可以看出，图像灰度频率走势与图像清晰度评价值走势大致相同.不论从左侧还是右侧向直方图逼近，图像清晰度评价部分都有一个从小到大或从大到小的变化，直接表现为离散的清晰度评价值在该范围内的梯度上升或梯度下降.在梯度上升或梯度下降的起始点处进行图像阈值分割，经过与人工分割阈值(人工分割视为最佳阈值的标准)对比发现，图像的最佳分割阈值就在清晰度评价折线较平稳部分至梯度急剧变化的拐点处.
基于上述分析，可以初步从清晰度评价值折线找到大致的平缓区域，由图 2a~图 2e可知最佳分割阈值的可能范围分别为70~90和130~140，140~170，60~90，200~250，120~220.其中图 2a存在的最佳分割阈值的可能范围有2个，因此对其重点分析，其余图片的处理方法类似，将图 2a的2个可能阈值范围放大，如图 3所示.
|
图 3 同一张图中可能出现最佳分割阈值的范围 Fig.3 The possible ranges where the best segmentation threshold may appear in one picture (a)—阈值范围70~90；(b)—阈值范围120~140. |
从图 3可以明显看出清晰度值的平稳部分及与其相接的梯度快速变化的部分.根据1.1节理论，若一定范围内清晰度评价值有一个明显的变化，同时存在有一段或多段是趋于平缓的，则可以断定最佳分割阈值可能在此范围内.下面将分析并计算出最佳的分割阈值点.
最佳阈值的选取采用梯度变化累积法.具体方法为对任意一点，从左边和右边同时选取若干点，将趋势变化明显的点视为拐点，假设该点左边为趋势平稳的点，那么右侧必为变化较大的点.只有当两侧清晰度值相差最大时，才能得到最佳分割阈值点.先大步长搜索可能的拐点，之后再次缩小范围得到各自小区间内的清晰度评价折线图，不断重复，直至找到最佳分割阈值.由图 3可知，有的图片会存在2个可能分割区间，因此会得出2个候选分割阈值，为确定唯一的最佳分割阈值，这里利用皮尔逊距离作为从多候选阈值中选择最佳分割阈值的判定条件.以图 3为例，分别在70~90和120~140之间找到了候选分割阈值t，其对应的清晰度评价值和皮尔逊距离如表 1所示.
|
表 1 多个可能分割阈值范围的判定参数比较 Table 1 Comparison of judgement parameters for multiple possible segmentation threshold ranges |
分别用两个候选阈值处理图像，最终分割结果如图 4所示.
|
图 4 不同候选阈值下图像的最终分割结果 Fig.4 Final segmentation results of images under different possible thresholds (a)—候选阈值为84；(b)—候选阈值为134. |
对照原图 1a和图 4的结果可以看出，显然候选阈值134的为最佳分割阈值，在两者清晰度评价相差不多的情况下，皮尔逊距离小的阈值可以满足分割要求.在实际使用中，还可以依靠得到的清晰度曲线来判断.在先验信息足够的情况下，通常可用的阈值分布在峰值的左侧或右侧，这样可选用的值只有1个.
2.2 提出算法的步骤及结果本文使用Lgray，Hgray代表输入图像的最小灰度和最大灰度, 以t表示分割阈值，由此得到式(4):
|
(4) |
算法流程具体步骤如下：
1) 将输入图像灰度化，转换为灰度图f(x, y)；
2) 提取图像f(x, y)的灰度范围及其灰度直方图；
3) 在灰度范围内作清晰度评价，得到清晰度折线图，寻找折线图拐点或平缓变化处的灰度值集合；
4) 判断是否得到所有的灰度拐点集合，若是，转到步骤5)；若否，转到步骤3)继续寻找；
5) 对得到的灰度集合进行图像阈值化，并计算阈值化图与原图之间的相关系数，当相关系数最大时，取此时的阈值作为最佳分割阈值.
清晰度评价值的集合如式(5)所示：
|
(5) |
式中，Eva(f(t))表示阈值t下图像的清晰度评价值.
依据上述描述，在实际使用中可用式(6)对清晰度值再作处理.若对任意处的灰度值满足下列关系，则选取该值作为分割阈值.对任意灰度值i处的处理公式表达如下：
|
(6) |
即在灰度值i处，计算与其相连的第5个值所形成直线斜率的绝对值.由前文可知，分割阈值只可能存在于清晰度评价值曲线的一侧，因此需要得到图像清晰度值的最大值或次大峰值处的灰度值，假设为Lmax，则若在区间[Lmax Hgray]多次存在式(7)所示关系，则保存该值作为阈值选项.
|
(7) |
式中：α为判定时系数，小于1；mmin为清晰度评价值的下限，本文取0.05;mmax为清晰度评价值的上限，本文取0.2.mmin和mmax取值在所有清晰度评价值的最大和最小值之间.
3 结果与讨论将本文提出的基于清晰度评价的阈值分割方法与Otsu法、最大熵法、模糊聚类法、Otsu改进法1(Otsu_1)、Otsu改进法2(Otsu_2)进行图像分割处理的测试比较.其中Otsu法、最大熵、模糊聚类法均采用算法原型，两种改进方法则是采用对图像前景、背景概率进行加权的方法.图 5显示了样本测试数据图 1各图的前景占比.从图中可以明显看出所选图像中前景占比最大不超过图像像素总数的15%，最小逼近0，说明这组图的特点均为前景占比比较小，此外从图 1可以发现前景、背景的边界较为模糊，对比度较低.
|
图 5 各样本图片的前景占比值 Fig.5 Prospect ratio of each sample picture |
选择上述测试图像利用OpenCV及C++等工具得到分割结果如图 6所示.图 6a~图 6f分别表示Otsu算法、最大熵算法、模糊聚类算法、Otsu_1算法、Otsu_2算法和本文提出的算法对5张样本图像的分割结果.为了对各处理结果有全面客观的评价，采用ME评价，即用误分率对图像分割的结果进行评价，其反映的是前景和背景像素的误分状况，对于前景、背景二分问题，误分率ME如式(8)所示:
|
(8) |
|
图 6 不同算法对5张图片的图像分割结果 Fig.6 Results of image segmentations for five pictures by different algorithms (a)—Otsu；(b)—最大熵；(c)—模糊聚类；(d)—Otsu改进1；(e)—Otsu改进2；(f)—本文算法. |
式中：Bgt，Fgt表示背景、前景的真实像素；Bt，Ft表示分割结果中的背景、前景像素数；t表示分割阈值.若ME取值逼近0，则意味着前景和背景的分割错误很少，分割效果也较好；反之，若ME取值逼近1，则表示误分率较大，分割效果也较差.ME值与分割效果呈正相关.各算法的评价结果如表 2所示.
|
|
表 2 各分割算法的图像处理结果评价 Table 2 Evaluation of image processing results for each segmentation algorithm |
通过表 2中的ME评价值可以看出各算法对于不同图片的分割效果.对Otsu及其改进算法而言，对背景占比相对较大时分割结果显著，但前景较小时，则ME值均较大无法满足分割需求.最大熵法在部分图片的分割结果较好，但对超低对比图像分割效果不尽满意.模糊聚类的处理结果都存在明显不足.在Otsu的改进方法中，方法2的结果依赖于参数的选择，对不同图像若要都得到合适的结果较为困难.综合比较，本文提出的算法，对不同的图片的分割效果均较为理想，其ME值在所有算法中较低.
基于i5-7400 CPU对各算法的计算时间做了对比，如表 3所示.本文方法的实时性弱于传统算法，因为处理中存在大量迭代与阈值化操作，占据大量时间，在实际使用时可以通过GPU或矩阵运算做进一步优化.
|
|
表 3 各算法时间消耗对比 Table 3 Costs of time of different methods |
为验证本文算法的通用性，除了对低对比度高背景的图片具有有效性，对常规的单峰图像或双峰图像依然有较强的处理能力，特选取了若干图像进行验证，结果如图 7所示.
|
图 7 本文算法通用性的验证结果 Fig.7 Verification results of the generality of the proposed algorithm (a)—原图；(b)—人工分割；(c)—Otsu；(d)—最大熵；(e)—模糊聚类；(f)—本文算法. |
从图 7可以看出，对具有不同直方图信息的图片，本文算法均具有较好的分割能力.其中，对激光线和钢板缺陷的分割效果较好，在实际应用中能满足工艺需求.对双峰直方图的羽毛分割，与人工分割的结果相比，误分率较低，几乎与人的判别水平相当，获得较满意的图像分割结果.
4 结语本文论述了一种新颖的具有鲁棒性的基于清晰度评价的自适应阈值分割方法.该方法从清晰度评价的角度揭示了图像分割阈值的变化规律，把分割阈值的选取转变为清晰度评价的度量.从图像信息的角度入手，获得前景背景之间灰度演变关系.
通过对实际图像的测试与分析，本文提出的方法具有以下特点：1)对比其他经典分割或改进算法，本文提出的方法结果具有更高的分割精度，分割效果接近人工分割效果；2)本文提出的方法对低前景高背景的图像具有优异的分割性能，对常规的单/双峰直方图也有较好的效果；3)本文算法简单易用，可用于工业现场的实际应用中.
| [1] |
Sezgin M, Sankur B. Survey over image thresholding techniques and quantitative performance evaluation[J]. Journal of Electronic Imaging, 2004, 13(1): 146-166. |
| [2] |
Han J, Yang C, Zhou X, et al. A new multi-threshold image segmentation approach using state transition algorithm[J]. Applied Mathematical Modelling, 2017, 44: 588-601. |
| [3] |
Yan H. Unified formulation of a class of image thresholding techniques[J]. Pattern Recognition, 1996, 29(12): 2025-2032. |
| [4] |
Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66. |
| [5] |
Yu F J, Sun W, Li J, et al. An improved Otsu method for oil spill detection from SAR images[J]. Oceanologia, 2017, 59(3): 311-317. |
| [6] |
Li Z, Liu C, Liu G, et al. A novel statistical image thresholding method[J]. AEU-International Journal of Electronics and Communications, 2010, 64(12): 1137-1147. |
| [7] |
Zou Y B, Dong F, Lei B, et al. Maximum similarity thresholding[J]. Digital Signal Processing, 2014, 28: 120-135. |
| [8] |
Kapur J N, Sahoo P K, Wong A K C. A new method for gray-level picture thresholding using the entropy of the histogram[J]. Computer Vision, Graphics, and Image Processing, 1985, 29(3): 273-285. |
| [9] |
Sahoo P, Wilkins C, Yeager J. Threshold selection using Renyi's entropy[J]. Pattern Recognition, 1997, 30(1): 71-84. |
| [10] |
de Albuquerque M P, Esquef I A, Mello A R G. Image thresholding using Tsallis entropy[J]. Pattern Recognition Letters, 2004, 25(9): 1059-1065. |
| [11] |
Nie F Y, Zhang P, Li J, et al. A novel generalized entropy and its application in image thresholding[J]. Signal Processing, 2017, 134: 23-34. |
| [12] |
Lin Q, Ou C. Tsallis entropy and the long-range correlation in image thresholding[J]. Signal Processing, 2012, 92(12): 2931-2939. |
| [13] |
Liu Z, Song Y.An adapted spatial information kernel-based fuzzy C-Means clustering method[C]//IEEE 7th International Congress on Image and Signal Processing.Dalian, 2014: 370-374. https://www.researchgate.net/publication/283094498_An_adapted_spatial_information_kernel-based_Fuzzy_C-Means_clustering_method
|
| [14] |
Hassen R, Wang Z, Salama M.No-reference image sharpness assessment based on local phase coherence measurement[C]//IEEE International Conference on Acoustics, Speech and Signal Processing.Dallas, TX, 2010: 2434-2437.
|
| [15] |
Xu G L, Liu X X, Tian Y P, et al. Image clarity-evaluation-function method[J]. Infrared and Laser Engineering, 2009, 38(1): 180-184. |