一种基于目标函数的局部离群点检测方法

doi:10.12068/j.issn.1005-3026.2022.10.006

东北大学学报（自然科学版） ›› 2022, Vol. 43 ›› Issue (10): 1405-1412.DOI: 10.12068/j.issn.1005-3026.2022.10.006

一种基于目标函数的局部离群点检测方法

周玉，朱文豪，孙红玉

(华北水利水电大学电力学院，河南郑州450011)

修回日期:2021-08-27 接受日期:2021-08-27 发布日期:2022-11-07
通讯作者: 周玉
作者简介:周玉(1979-)，男，安徽枞阳人，华北水利电力大学副教授，博士.
基金资助:
河南省高等学校青年骨干教师培养计划项目(2018GGJS079)；国家自然科学基金资助项目(U1504622)．

A Local Outlier Detection Method Based on Objective Function

ZHOU Yu， ZHU Wen-hao， SUN Hong-yu

School of Electric Power， North China University of Water Resources and Electric Power， Zhengzhou 450011， China.

Revised:2021-08-27 Accepted:2021-08-27 Published:2022-11-07
Contact: ZHOU Yu
About author:-
Supported by:
-

摘要/Abstract

摘要： 针对传统的基于密度的局部离群点检测算法对原始数据集没有进行预处理导致该算法在面对未知数据集时检测效果不理想，又由于其需要计算每一个数据点的离群因子，在数据量过多时，计算量大大增加的问题，通过对局部离群点检测算法的分析，提出了一种基于目标函数的局部离群点检测方法FOLOF(FCM objective function-based LOF).首先，使用肘部法则确定数据集的最佳聚类个数；然后，通过FCM的目标函数对数据集进行剪枝，得到离群点候选集；最后，利用加权局部离群因子检测算法计算候选集中每个点的离群程度.利用该方法在人工数据集和UCI数据集上进行了相关实验，并与其他相关方法进行了对比，结果显示，该算法能够提高离群点检测精度，减少计算量，有效提高离群点检测性能.

关键词: 离群点检测；模糊C均值算法；目标函数；局部离群因子；剪枝

Abstract: The traditional density based local outlier detection algorithm does not preprocess the original data set， which leads to the unsatisfactory detection effect when facing the unknown data set. Moreover， due to the need to calculate the outlier factor of each data point， the amount of calculation increases greatly when the amount of data is too large. Through the analysis of the local outlier detection algorithm， a local outlier detection method based on objective function FOLOF(FCM objective function-based LOF)is proposed. Firstly， the elbow rule is used to determine the optimal number of clusters in the data set.Then， the data set is pruned by the objective function of FCM to obtain the outlier candidate set.Finally， the weighted local outlier factor detection algorithm is used to calculate the outlier degree of each point in the candidate set. The relevant experiments are carried out on the artificial data set and UCI data sets. At the same time， the proposed method is compared with other methods.The results show that the proposed algorithm can improve the outlier detection accuracy， reduce the computational cost， and effectively achieve a better performance.

Key words: outlier detection; fuzzy C-means (FCM) algorithm; objective function; local outlier factor(LOF); pruning

中图分类号:

TP301.6

周玉，朱文豪，孙红玉. 一种基于目标函数的局部离群点检测方法[J]. 东北大学学报（自然科学版）, 2022, 43(10): 1405-1412.

ZHOU Yu， ZHU Wen-hao， SUN Hong-yu. A Local Outlier Detection Method Based on Objective Function[J]. Journal of Northeastern University(Natural Science), 2022, 43(10): 1405-1412.

参考文献

[1]Hawkins D.Identification of outliers［M］.Londen:Chapman and Hall，1980.
[2]Ji Z.Advancements of outlier detection:a survey［J］.ICST Transactions on Scalable Information Systems，2013，13(1):1-24.
[3]Vijayakumar V，Sri N，Sarojini P.Isolation forest and local outlier factor for credit card fraud detection system［J］.International Journal of Engineering and Advanced Technology，2020，4(9):261-265.
[4]Wang F，Wei Z，Zuo X.Anomaly IoT node detection based on local outlier factor and time series［J］.Computers， Materials & Continua，2020，2(64):1063-1073.
[5]Yuan X，Li J，Bai J，et，al.A local outlier factor-based detection of copy number variations from NGS data［J］.IEEE/ACM Transactions on Computational Biology and Bioinformatics，2019(99):1-1.
[6]吴强，张锐.基于局部异常因子的近地全天时星图小波去噪［J］.光学学报，2020，40(8):46-54.(Wu Qiang，Zhang Rui.Wavelet denoising of near earth all sky time star map based on local anomaly factor ［J］.Journal of Optics，2020，40(8):46-54.)
[7]Liu X，Cheung Y M，Peng S J，et al.Automatic mitral valve leaflet tracking in Echocardiography via constrained outlier pursuit and region-scalable active contours［J］.Neurocomputing，2014(144):47-57.
[8]周玉，朱文豪，房倩，等.基于聚类的离群点检测方法研究综述［J］，计算机工程与应用，2021，57(12):37-45.(Zhou Yu，Zhu Wen-hao，Fang Qian，et al.Research review of outlier detection methods based on clustering ［J］.Computer Engineering and Application，2021，57(12):37-45.)
[9]梅林，张凤荔，高强.离群点检测技术综述［J］，计算机应用研究，2020，37(2):3521-3527.(Mei Lin，Zhang Feng-li，Gao Qiang.Overview of outlier detection technology ［J］.Computer Application Research，2020，37(2):3521-3527.)
[10]Breuning M，Krigegel H P，Ng R，et al.LOF:identifying density based local outliers［C］//Proceeding of the ACM SIGMOD International Conference on Management of Data.Dallas，2000:93-104.
[11]Li L，Huang L，Yang W.Privacy-preserving LOF outlier detection［J］.Knowledge and Information Systems，2015，42(3):579-597.
[12]王敬华，赵新想，张国燕，等.NLOF:一种新的基于密度的局部离群点检测算法［J］.计算机科学，2013，40(8):181-185.(Wang Jing-hua，Zhao Xin-xiang，Zhang Guo-yan，et al.NLOF:a new density based local outlier detection algorithm ［J］.Computer Science，2013，40(8):181-185.)
[13]石鸿雁，马晓娟.改进的DBSCAN聚类和LAOF两阶段混合数据离群点检测方法［J］.小型微型计算机系统，2018，39(1):74-77.(Shi Hong-yan，Ma Xiao-juan.Improved DBSCAN clustering and LAOF two-stage mixed data outlier detection method ［J］.Small Microcomputer System，2018，39(1):74-77.)
[14]董泽，贾昊.基于EWT-LOF的热工过程数据异常值检测方法［J］.仪器仪表学报，2020，41(2):126-134.(Dong Ze，Jia Hao.Abnormal value detection method of thermal process data based on ewt-lof ［J］.Journal of Instrumentation，2020，41(2):126-134.)
[15]He Z Y，Xu X F， Deng S C.Discovering cluster-based local outliers［J］.Pattern Recognition Letters，2003，9(24):1641-1650.
[16]Li Q，Zhang J P，Feng G S .An outlier detection method based on fuzzy c-means clustering［J］.Key Engineering Materials，2010，419/420:165-168.
[17]Subramaniam M，Kathirvel A，Sabitha E，et al.Modified firefly algorithm and fuzzy c-means clustering based semantic information retrieval［J］.Journal of Web Engineering，2021，1(20):33-52.
[18]徐金东，赵甜雨，冯国政，等.基于上下文模糊C均值聚类的图像分割算法［J］，电子与信息学报.2021，43(7):2079-2086.(Xu Jin-dong，Zhao Tian-yu，Feng Guo-zheng，et al.Image segmentation algorithm based on context fuzzy c-means clustering ［J］.Journal of Electronics and Information，2021，43(7):2079-2086.)
[19]Kamolov A A，Park S.Prediction of depth of seawater using fuzzy c-means clustering algorithm of crowdsourced sonar data［J］.Sustainability，2021，13(11):5823-5823.
[20]Zhou Y，Ren Q C.Fuzzy c-means clustering algorithm for performance improvement of ENN［J］.　Cluster Computing，2019，22(5):11163-11174.
[21]王立英，石磊，伊静，等.NLOF:基于网格过滤的两阶段离群点检测算法［J］.计算机应用研究，2020，37(24):990-993.(Wang Li-ying，Shi Lei，Yi Jing，et al.NLOF:two-stage outlier detection algorithm based on grid filtering ［J］.Computer Application Research，2020，37(24):990-993.)
[22]Moh D，Bela L，Zoubi A L，et al.New outlier detection method based on fuzzy clustering［J］.WSEAS Transactions on Information Science and Applications，2010， 7(4/5/6): 681-690.
[23]Gan G J，Kwok-Po M.K-means clustering with outlier removal［J］.Pattern Recognition Letters，2017，90(15):8-14.
[24]Feng G，Li Z，Zhou W，et al.Entropy-based outlier detection using spark［J］.Cluster Computing，2020(23):409-419.
[25]古平，刘海波，罗志恒.一种基于多重聚类的离群点检测算法［J］.计算机应用研究，2013，30(3):751-753.(Gu Ping，Liu Hai-bo，Luo Zhi-heng.An outlier detection algorithm based on multi clustering［J］.Computer Application Research，2013，30(3):751-753.)

一种基于目标函数的局部离群点检测方法

A Local Outlier Detection Method Based on Objective Function

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	孔芝，杨青峰，赵杰，熊浚钧. 基于自适应调整权重和搜索策略的鲸鱼优化算法[J]. 东北大学学报:自然科学版, 2020, 41(1): 35-43.
[2]	刘海博，冯时，于戈. 一种基于旁信息增强的协同过滤自动编码器模型[J]. 东北大学学报:自然科学版, 2019, 40(11): 1527-1532.
[3]	孙艳蕊，陈月. 基于Timed-HITS与协同过滤的混合推荐算法[J]. 东北大学学报:自然科学版, 2019, 40(4): 467-473.
[4]	曾程宽，刘士新. 缓冲区间有限条件下的作业车间调度方法[J]. 东北大学学报:自然科学版, 2018, 39(12): 1679-1684.
[5]	董立岩，王越群，李永丽，朱琪. 基于最大平衡度的自适应随机抽样算法[J]. 东北大学学报:自然科学版, 2018, 39(6): 792-796.
[6]	范立娜，汪晋宽，高静，吕腊梅. 协作通信系统中继功率分配算法的研究[J]. 东北大学学报:自然科学版, 2017, 38(9): 1222-1225.
[7]	江锦成，吴立新，张媛媛，刘善军. 适用于大规模网络的全源最短路径重优化算法——RASP算法[J]. 东北大学学报:自然科学版, 2017, 38(7): 1037-1042.
[8]	邵新慧，彭程. 一类Sylvester矩阵方程的迭代解法[J]. 东北大学学报:自然科学版, 2017, 38(6): 909-912.
[9]	孟煜，张斌. 检测区域自适应调整的TLD多目标跟踪算法[J]. 东北大学学报:自然科学版, 2017, 38(2): 214-218.
[10]	窦景欣，孔祥希，闻邦椿. 四旋翼姿态的反步滑模自抗扰控制及稳定性[J]. 东北大学学报:自然科学版, 2016, 37(10): 1415-1420.
[11]	翟军昌，葛延峰，梁鹏，高立群. 一种参数自调整风电功率预测模型[J]. 东北大学学报:自然科学版, 2016, 37(2): 153-156.
[12]	梁振刚，蒋建伟，陈峰. 一种对圆柱形空中目标着靶参数算法的研究[J]. 东北大学学报:自然科学版, 2016, 37(1): 15-19.
[13]	单中元，乔建忠，林树宽. Pre-record:一种高效的进程动态迁移算法[J]. 东北大学学报:自然科学版, 2016, 37(1): 29-33.
[14]	翟军昌，高立群，欧阳海滨，刘宏志. 改进的新颖全局和声搜索算法[J]. 东北大学学报:自然科学版, 2015, 36(10): 1403-1407.
[15]	王皓，欧阳海滨，高立群. 求解航天器最优交会问题的改进和声搜索算法[J]. 东北大学学报:自然科学版, 2015, 36(7): 913-917.