一种可用于分类型属性数据的多变量决策树算法

doi:10.12068/j.issn.1005-3026.2020.11.001

东北大学学报:自然科学版 ›› 2020, Vol. 41 ›› Issue (11): 1521-1527.DOI: 10.12068/j.issn.1005-3026.2020.11.001

• 信息与控制 • 下一篇

一种可用于分类型属性数据的多变量决策树算法

刘振宇^1,2，宋晓莹²

(1. 东北大学软件中心，辽宁沈阳110819; 2. 大连东软信息学院网络安全与计算技术重点实验室，辽宁大连116023)

收稿日期:2019-10-24 修回日期:2019-10-24 出版日期:2020-11-15 发布日期:2020-11-16
通讯作者: 刘振宇
作者简介:刘振宇(1978-)，男，辽宁葫芦岛人，东北大学博士研究生.
基金资助:
国家自然科学基金资助项目(61772101，61602075); 辽宁省重点研发计划项目(2018).

An Applicable Multivariate Decision Tree Algorithm for Categorical Attribute Data

LIU Zhen-yu^1,2， SONG Xiao-ying²

1. Software Center， Northeastern University， Shenyang 110819， China; 2. Key Laboratory of Network Security and Computing Technology， Dalian Neusoft University of Information， Dalian 116023， China.

Received:2019-10-24 Revised:2019-10-24 Online:2020-11-15 Published:2020-11-16
Contact: LIU Zhen-yu
About author:-
Supported by:
-

摘要/Abstract

摘要： 针对绝大部分多变量决策树只能联合数值型属性，而不能直接为带有分类型属性数据集进行分类的问题，提出一种可联合多种类型属性的多变量决策树算法(CMDT).该算法通过统计各个分类型属性的属性值在各个类别或各个簇中的频率分布，来定义样本集合在分类型属性上的中心，以及样本到中心的距离.然后，使用加权k-means算法划分决策树中的非终端结点.使用这种结点划分方法构建的决策树可用于数值型数据、分类型数据以及混合型数据.实验结果表明，该算法建立的分类模型在各种类型的数据集上均获得比经典决策树算法更好的泛化正确率和更简洁的树结构.

关键词: 决策树, 分类型属性, 多变量决策树, 结点划分, k-均值

Abstract: Most multivariate decision trees are applicable for only the numerical data. To solve the classification problem on categorical attribute data， an applicable multivariate decision tree(CMDT) algorithm is proposed. The center of the sample set on the categorical attributes， and the distance between the samples and the centers are defined with statistics for frequency distribution of categorical attribute values in each category or each cluster. Weighted k-means algorithm is utilized to split the nodes in the decision tree. The proposed multivariate decision tree is applicable for numerical data， categorical data， and mixed data. Experiment results show that the classification model based on the proposed algorithm can get more concise tree construction and higher generalization accuracy than that based on the classic decision tree algorithms with different kinds of data.

Key words: decision tree, categorical attribute, multivariate decision tree, node split, k-means

中图分类号:

TP393

刘振宇，宋晓莹. 一种可用于分类型属性数据的多变量决策树算法[J]. 东北大学学报:自然科学版, 2020, 41(11): 1521-1527.

LIU Zhen-yu， SONG Xiao-ying. An Applicable Multivariate Decision Tree Algorithm for Categorical Attribute Data[J]. Journal of Northeastern University Natural Science, 2020, 41(11): 1521-1527.

参考文献

[1]王蒙湘，李芳芳，于戈.交互式数据探索框架的特征自适应技术［J］.东北大学学报(自然科学版)，2018，39(12):1685-1690.(Wang Meng-xiang，Li Fang-fang，Yu Ge.Feature adaptive technology in interactive data exploration framework［J］.Journal of Northeastern University (Natural Science)，2018，39(12):1685-1690.)
[2]Zhou X，Yan D.Model tree pruning［J］.International Journal of Machine Learning and Cybernetics，2019(1):1-14.
[3]Guney S，Atasoy A.Freshness classification of horse mackerels with E-nose system using hybrid binary decision tree structure［J］.International Journal of Pattern Recognition and Artificial Intelligence，2020，34(3):1-17.
[4]Liu Z，Wang L，Li X，et al.Optimize x265 rate control:an exploration of lookahead in frame bit allocation and slice type decision［J］.IEEE Transactions on Image Processing，2019，28(5):2558-2573.
[5]Quinlan J R.C4.5:programs for machine learning［J］.Machine Learning，1994，16(3):235-240.
[6]Buntine W L.Learning classification trees［J］.Statistics & Computing，1992，2(2):63-73.
[7]Quinlan J R.Combining instance-based and model-based learning［C］//The Tenth International Conference of Machine Learning.Amhers:Morgan Kaufmann，1993:27-29.
[8]Murthy S K，Kasif S，Salzberg S.A system for induction of oblique decision trees［J］.Journal of Artificial Intelligence Research，1996，2(1):1-32.
[9]López-Chau A，Cervantes J，López-García L，et al.Fisher’s decision tree［J］.Expert Systems with Applications，2013，40(16):6283-6291.
[10]Hong K S，Ooi P L，Ye C K，et al.Multivariate alternating decision trees［J］.Pattern Recognition，2016，50:195-209.
[11]Wickramarachchi D C，Robertson B L，Reale M，et al.HHCART:an oblique decision tree［J］.Computational Statistics & Data Analysis，2015，96:12-23.
[12]Katuwal R，Suganthan P N，Zhang L.An ensemble of decision trees with random vector functional link networks for multi-class classification［J］.Applied Soft Computing，2018，70:1146-1153.
[13]Loh W Y，Shih Y S.Split selection methods for classification trees［J］.Statistica Sinica，1999，7(4):815-840.
[14]Huang Z.Extensions to the k-means algorithm for clustering large data sets with categorical values［J］.Data Mining and Knowledge Discovery，1998，2(3):283-304.
[15]蒋盛益，李庆华.一种增强的k-means聚类算法［J］.计算机工程与科学，2006，28(11):56-59.(Jiang Sheng-yi，Li Qing-hua.An enhanced k-means clustering algorithm［J］.Computer Engineering & Science，2006，28(11):56-59.)
[16]Lichman M.UCI machine learning repository［EB/OL］.(2019-09-23)［2019-10-11］.http://archive.ics.uci.edu/ml.
[15]关守平，房少纯.一种新型的区间-粒子群优化算法［J］.东北大学学报(自然科学版)，2012，33(10):1381-1384.(Guan Shou-ping，Fang Shao-chun.A new interval particle swarm optimization algorithm［J］.Journal of Northeastern University(Natural Science)，2012，33(10):1381-1384.)

一种可用于分类型属性数据的多变量决策树算法

An Applicable Multivariate Decision Tree Algorithm for Categorical Attribute Data

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 11

编辑推荐

Metrics

本文评价

[1]	丁其川，王力，刘成. 融合长距离信道注意力与病理特征的肺结节分类[J]. 东北大学学报（自然科学版）, 2023, 44(4): 476-485.
[2]	李鸿儒，王奕文，邓靖川. 基于信息融合的电熔镁炉熔炼异常工况等级识别[J]. 东北大学学报:自然科学版, 2020, 41(2): 153-157.
[3]	张天瑞，于天彪，赵海峰，王宛山. 数据挖掘技术在全断面掘进机故障诊断中的应用[J]. 东北大学学报:自然科学版, 2015, 36(4): 527-532.
[4]	刘勇;孙东红;陈友;王宛山;. 基于主成分分析和决策树的入侵检测方法[J]. 东北大学学报(自然科学版), 2010, 31(7): 933-937.
[5]	王兴伟;田野;黄敏;. NGI中一种切换目标预测机制[J]. 东北大学学报(自然科学版), 2007, 28(7): 957-960.
[6]	吴成东;许可;韩中华;裴涛;. 基于粗糙集和决策树的数据挖掘方法[J]. 东北大学学报(自然科学版), 2006, 27(5): 481-484.
[7]	王庆;巴德纯;孟祥志;. 基于Rough Sets-C4.5的故障征兆提取与判别[J]. 东北大学学报(自然科学版), 2006, 27(10): 1138-1141.
[8]	王庆;巴德纯;王晓冬. 智能故障诊断的粗糙决策模型[J]. 东北大学学报(自然科学版), 2005, 26(1): 284-287.
[9]	张晓丹;赵海;王刚;魏守智. 不确定信息的模糊决策融合算法[J]. 东北大学学报(自然科学版), 2004, 25(7): 657-660.
[10]	张喆;常桂然;黄小原. 数据挖掘技术在客户获取策略中的应用[J]. 东北大学学报(自然科学版), 2003, 24(11): 1112-1115.
[11]	王大玲;于戈;鲍玉斌;王国仁. 一种基于关联性度量的决策树分类方法[J]. 东北大学学报(自然科学版), 2001, 22(5): 481-484.