基于LightGBM的特征选择算法

doi:10.12068/j.issn.1005-3026.2021.12.003

东北大学学报（自然科学版） ›› 2021, Vol. 42 ›› Issue (12): 1688-1695.DOI: 10.12068/j.issn.1005-3026.2021.12.003

基于LightGBM的特征选择算法

李占山，姚鑫，刘兆赓，张家晨

(吉林大学计算机科学与技术学院，吉林长春130012)

修回日期:2021-04-09 接受日期:2021-04-09 发布日期:2021-12-17
通讯作者: 李占山
作者简介:李占山(1966-)，男，吉林公主岭人，吉林大学教授，博士生导师；张家晨(1969－)，男，吉林德惠人，吉林大学教授.
基金资助:
国家自然科学基金资助项目(61802056)；吉林省自然科学基金资助项目(20180101043JC)；吉林省发展和改革委员会产业技术研究与开发项目(2019C053-9).

Feature Selection Algorithm Based on LightGBM

LI Zhan-shan， YAO Xin， LIU Zhao-geng， ZHANG Jia-chen

College of Computer Science and Technology， Jilin University， Changchun 130012， China.

Revised:2021-04-09 Accepted:2021-04-09 Published:2021-12-17
Contact: ZHANG Jia-chen
About author:-
Supported by:
-

摘要/Abstract

摘要： 为解决过滤式和基于演化学习的包裹式两类特征选择算法的缺陷，提出一种新型包裹式特征选择算法LGBFS(LightGBM feature selection).首先引入LightGBM对原始特征构建迭代提升树模型并对特征重要度进行度量;随后结合提出的LR序列前向搜索策略LRSFFS对特征进行选择;最后将所提出算法与9种对比算法在21个标准数据集上进行对比，结果显示LGBFS在21个标准数据集中的16个取得最优分类精度、18个取得最优维度缩减率和最优CPU运行时间.还进行了时间复杂度分析与显著性检验，检验表明LGBFS相较6种对比算法具有显著性差异，也说明LGBFS能够同时兼顾特征子集的计算效率和分类精度.

关键词: 特征选择;LightGBM;迭代提升树;包裹式;序列搜索

Abstract: In order to solve the shortcomings of the following two types of feature selection algorithms， filtering and wrapping based on evolutionary learning， a new wrapping feature selection algorithm LGBFS(LightGBM feature selection) was proposed. First， LightGBM was introduced to construct an gradient boosting tree model for the original features and measure the importance of features; then the proposed LR sequential forward search strategy LRSFFS was combined to select features; finally， the proposed algorithm was compared with nine algorithms in 21 standard datasets. The results show that 16 of the 21 standard data sets of LGBFS have achieved the best classification accuracy， and 18 standard data sets have achieved the best dimensionality reduction rate and the best CPU running time. In addition， time complexity analysis and significance test were carried out. The test shows that LGBFS is significantly different from the six comparison algorithms， and it also shows that LGBFS can balance the calculation efficiency and classification accuracy of feature subsets.

Key words: feature selection; LightGBM; boosting tree; wrapped method; sequential search

中图分类号:

TP18

李占山，姚鑫，刘兆赓，张家晨. 基于LightGBM的特征选择算法[J]. 东北大学学报（自然科学版）, 2021, 42(12): 1688-1695.

LI Zhan-shan， YAO Xin， LIU Zhao-geng， ZHANG Jia-chen. Feature Selection Algorithm Based on LightGBM[J]. Journal of Northeastern University(Natural Science), 2021, 42(12): 1688-1695.

参考文献

[1]Guyon I，Elisseeff A.An introduction to variable and feature selection［J］.Journal of Machine Learning Research，2003，3:1157-1182.
[2]Liu H，Motoda H，Setiono R，et al.Feature selection:an ever evolving frontier in data mining［J］.Journal of Machine Learning Research，2010，10:4-13.
[3]Kohavi R，John G H.Wrappers for feature subset selection［J］.Artificial Intelligence，1997，97(1/2):273-324.
[4]Dash M，Liu H.Feature selection for classification［J］.Intelligent Data Analysis，1997，1(3):131-156.
[5]Ke G L，Meng Q，Finley T，et al.LightGBM:a highly efficient gradient boosting decision tree［C］//Conference on Neural Information Processing Systems.Long Beach，2017:569-577.
[6]Guyon I，Elisseeff A.An introduction to variable and feature selection［J］.Journal of Machine Learning Research，2003，3(6):1157-1182.
[7]Hall M A.Feature selection for discrete and numeric class machine learning［C］// Proceedings of the Seventeenth International Conference on Machine Learning.Stanford:Morgan Kaufmann，2000:359-366.
[8]Guyon I，Elisseeff A.An introduction to variable and feature selection［J］.Journal of Machine Learning Research，2003，3(6):1157-1182.
[9]Alweshah M，Khalaileh S A，Gupta B B，et al.The monarch butterfly optimization algorithm for solving feature selection problems［EB/OL］.［2021-04-05］.https://doi.org/10.1007/s00521-020-05210-0.
[10]Taradeh M，Mafarja M，Heidari A，et al.An evolutionary gravitational search-based feature selection［J］.Information Sciences，2019，49(7):219-239.
[11]Arora S，Anand P.Binary butterfly optimization approaches for feature selection［J］.Expert Systems with Applications，2019，116:147-160.
[12]Zhang Y，Song X，Gong D.A return-cost-based binary firefly algorithm for feature selection［J］.Information Sciences， 2017，418/419:561-574.
[13]Emary E，Zawbaa H M，Hassanien A E.Binary grey wolf optimization approaches for feature selection［J］.Neurocomputing，2016，172:371-381.
[14]Emary E，Zawbaa H M，Hassanien A E.Binary ant lion approaches for feature selection［J］.Neurocomputing，2016，213:54-65.
[15]Xue B，Zhang M，Browne W N，et al.A survey on evolutionary computation approaches to feature selection［J］，IEEE Transactions on Evolutionary Computation，2016，20(4):606-626.
[16]Bennasar M，Hicks Y，Setchi R.Feature selection using joint mutual information maximisation［J］.Expert Systems with Applications，2015，42(22):8520-8532.
[17]Wilcoxon F.Individual comparisons by ranking methods［J］.Biometrics Bulletin，1945，1(6):80-83.

基于LightGBM的特征选择算法

Feature Selection Algorithm Based on LightGBM

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	李婵，曲璐渲，信俊昌，王之琼. 基于潜在调控因子筛选的高阶动态贝叶斯建模方法[J]. 东北大学学报（自然科学版）, 2023, 44(3): 323-330.
[2]	张之敏，乔建忠，林树宽，王品贺. 一种基于深度网络的视图重建方法[J]. 东北大学学报:自然科学版, 2020, 41(8): 1065-1069.
[3]	赵建喆，吴辰铌，王兴伟，裴丽亚. 基于马尔可夫毯的贝叶斯网络结构学习算法[J]. 东北大学学报:自然科学版, 2020, 41(4): 464-470.
[4]	崔雪婷，李颖，范嘉豪. 全局混沌蝙蝠优化算法[J]. 东北大学学报:自然科学版, 2020, 41(4): 488-492.
[5]	曲璐渲，郭上慧，王之琼，信俊昌. 基因调控网络的父节点筛选贝叶斯建模方法[J]. 东北大学学报:自然科学版, 2020, 41(2): 158-162.
[6]	孔芝，李事成，赵杰. 珊瑚礁算法的改进研究[J]. 东北大学学报:自然科学版, 2020, 41(2): 163-169.
[7]	翟莹莹，左丽，张恩德. 基于参数优化的RBF神经网络结构设计算法[J]. 东北大学学报:自然科学版, 2020, 41(2): 176-182.
[8]	张华伟，郑晓涛. 基于遗传算法优化神经网络的拼焊板压边力预测[J]. 东北大学学报:自然科学版, 2020, 41(2): 241-245.
[9]	于长永，何鑫，祁欣，马海涛. GMSDenseNet:基于组多结构卷积的轻量级DenseNet[J]. 东北大学学报:自然科学版, 2020, 41(1): 12-16.
[10]	李占山，刘兆赓，俞寅，鄢文浩. 量子化信息素蚁群优化特征选择算法[J]. 东北大学学报:自然科学版, 2020, 41(1): 17-22.
[11]	李壮，刘磊，张桐搏，吕帅. 基于重启策略的学习子句优化方法[J]. 东北大学学报:自然科学版, 2020, 41(1): 44-48.
[12]	徐林，郑晓彤，付博，田歌. 基于改进GAN算法的电机轴承故障诊断方法[J]. 东北大学学报:自然科学版, 2019, 40(12): 1679-1684.
[13]	马铁民，周福才，王爽. 基于用户相似度的随机游走社交网络事件推荐算法[J]. 东北大学学报:自然科学版, 2019, 40(11): 1533-1538.
[14]	蒋芳芳，徐敬傲，李任，徐礼胜. 基于CNN的心冲击信号阵发性房颤自动检测方法[J]. 东北大学学报:自然科学版, 2019, 40(11): 1539-1543.
[15]	刘鹏，杜佳芝，吕伟刚，窦明武. 面向不平衡数据集的一种改进的k-近邻分类器[J]. 东北大学学报:自然科学版, 2019, 40(7): 932-936.