基于BERT模型的司法文书实体识别方法

doi:10.12068/j.issn.1005-3026.2020.10.003

东北大学学报:自然科学版 ›› 2020, Vol. 41 ›› Issue (10): 1382-1387.DOI: 10.12068/j.issn.1005-3026.2020.10.003

基于BERT模型的司法文书实体识别方法

陈剑，何涛，闻英友，马林涛

(东北大学计算机科学与工程学院/东软研究院，辽宁沈阳 110169)

收稿日期:2020-02-28 修回日期:2020-02-28 出版日期:2020-10-15 发布日期:2020-10-20
通讯作者: 陈剑
作者简介:陈剑(1982-)，男，辽宁沈阳人，东北大学副教授；何涛(1981-)，男，辽宁沈阳人，东北大学东软研究院高级工程师；闻英友(1974-)，男，辽宁沈阳人，东北大学教授，博士生导师.
基金资助:
国家重点研发计划项目(2018YFC0830601)；辽宁省重点研发计划项目(2019JH2/10100027)；中央高校基本科研业务费专项资金资助项目(N171802001)；辽宁省“兴辽英才计划”项目 (XLYC1802100).

Entity Recognition Method for Judicial Documents Based on BERT Model

CHEN Jian， HE Tao， WEN Ying-you， MA Lin-tao

School of Computer Science & Engineering/Neusoft Research Institute，Northeastern University，Shenyang 110169， China.

Received:2020-02-28 Revised:2020-02-28 Online:2020-10-15 Published:2020-10-20
Contact: HE Tao
About author:-
Supported by:
-

摘要/Abstract

摘要： 采用手工分析案件卷宗，容易产生案件实体遗漏现象及提取特征效率低下问题.为此，使用基于双向训练Transformer的编码器表征预训练模型.在手工标注的语料库中微调模型参数，再由长短时记忆网络与条件随机场对前一层输出的语义编码进行解码，完成实体抽取.该预训练模型具有巨大的参数量、强大的特征提取能力和实体的多维语义表征等优势，可有效提升实体抽取效果.实验结果表明，本文提出的模型能实现89%以上的实体提取准确度，显著优于传统的循环神经网络和卷积神经网络模型.

关键词: 深度学习, 预训练模型, 双向长短时记忆网络, 条件随机场, 命名实体识别

Abstract: Using manual analysis of case files， it is easy to cause the problem of case entity omission and low efficiency of feature extraction. Therefore， the bidirectional encoder representation from transformers pre-training model based on the traditional long short-term memory networks and conditional random fields was used to fine tune the model parameters on the manually labeled corpus for entity recognition. And then the semantic coding output from the previous layer was decoded by the long short-term memory networks and conditional random fields to complete entity extraction. The pre-training model has the advantages of huge parameters， powerful feature extraction ability and multi-dimensional semantic representation of entities， which can effectively improve the effect of entity extraction. The experimental results showed that the proposed model can achieve more than 89% entity extraction accuracy， which is significantly better than the traditional recurrent neural network and convolutional neural network model.

Key words: deep learning, pre-training model, bidirectional long short-term memory, conditional random field, named entity recognition

中图分类号:

TP391

陈剑，何涛，闻英友，马林涛. 基于BERT模型的司法文书实体识别方法[J]. 东北大学学报:自然科学版, 2020, 41(10): 1382-1387.

CHEN Jian， HE Tao， WEN Ying-you， MA Lin-tao. Entity Recognition Method for Judicial Documents Based on BERT Model[J]. Journal of Northeastern University Natural Science, 2020, 41(10): 1382-1387.

参考文献

[1]Sundar N G，Sunny A T.An efficient information extraction model for personal named entity［J］.International Journal of Computer Trends & Technology，2013，4(3):119-128.
[2]Li D，Huang L，Ji H，et al.Biomedical event extraction based on knowledge-driven tree-LSTM［C］//Proceedings of NAACL- HLT 2019.Minneapolis，2019:1421-1430.
[3]甘丽新，万常选，刘德喜，等.基于句法语义特征的中文实体关系抽［J］.计算机研究与发展，2016，53(2):284-302.(Gan Li-xin，Wan Chang-xuan，Liu De-xi，et al.Extraction of Chinese entity relations based on syntactic and semantic features［J］.Journal of Computer Research and Development，2016，53(2):284-302.)
[4]Nikoulina V，Sandor A，Dymetman M.Hybrid adaptation of named entity recognition systems for statistical machine translation purposes［J］.Journal of Radiation Research，2011，53(2):1-16.
[5]王鑫，邹磊，王朝坤，等.知识图谱数据管理研究综述［J］.软件学报，2019，30(7):2139-2174.(Wang Xin，Zou Lei，Wang Chao-kun，et al.A survey of knowledge map data management［J］.Journal of Software，2019，30(7):2139-2174.)
[6]俞鸿魁，张华平，刘群，等.基于层叠隐马尔可夫模型的中文命名实体识别［J］.通信学报，2006，27(2):87-94.(Yu Hong-kui，Zhang Hua-ping，Liu Qun，et al.Chinese named entity recognition based on cascading hidden Markov model［J］.Journal on Communications，2006，27(2):87-94.)
[7]McCallum A，Freitag D，Pereira F C N.Maximum entropy Markov models for information extraction and segmentation［C］//Proceedings of the Seventeenth International Conference on Machine Learning.Sydney，2000:591-598.
[8]周俊生，戴新宇，尹存燕，等.基于层叠条件随机场模型的中文机构名自动识别［J］.电子学报，2006，34(5) :804-809.(Zhou Jun-sheng，Dai Xin-yu，Yin Cun-yan，et al.Automatic recognition of Chinese organization name based on cascading conditional random field model［J］.Acta Electronica Sinica，2006，34(5):804-809.)
[9]Ertekin S，Bottou L.Nonconvex online support vector machines［J］.Transactions on Pattern Analysis and Machine Intelligence，2011，33(2):368-381.
[10]Feng Y H，Hong Y U，Sun G，et al.Named entity recognition method based on BLSTM［J］.Computer Science，2018，45(2):261-268.
[11]Dong C，Zhang J，Zong C，et al.Character-based LSTM-CRF with radical-level features for Chinese named entity recognition［C］//Natural Language Processing and Chinese Computing 2016.Kunming，2016:239-250.
[12]Ma X，Hovy E.End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF［C］//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics.Berlin，2016:1064-1074.
[13]Strubell E，Verga P，Belanger D，et al.Fast and accurate entity recognition with iterated dilated convolutions［C］//Conference on Empirical Methods in Natural Language Processing.Copenhagen，2017:2670-2680.
[14]Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need［C］//Proceedings of the 31st International Conference on Neural Information Processing Systems.New York，2017:6000-6010.
[15]Zhang Y，Yang J.Chinese NER using lattice LSTM［C］//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，2018:1554-1564.
[16]Yang Y S，Zhang M S，Chen W L，et al.Adversarial learning for Chinese NER from crowd annotations［C］//Proceedings of the 32th AAAI Conference on Artificial Intelligence.New Orleans，2018:3216-3222.
[17]Devlin J，Chang M W，Lee K，et al.BERT:pre-training of deep bidirectional transformers for language understanding［C］//Proceedings of the 2019 Conference of the Association for Computational Linguistics.Stroudsburg，2019:4171-4186.
[18]Matthew E P，Mark N，Mohit I，et al.Deep contextualized word representations［C］//Proceedings of the 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics.New Orleans，2018:3253-3268.
[19]Bengio Y，Lamblin P，Popovici D，et al.Greedy layer-wise training of deep network［J］.Advances in Neural Information Processing System，2007，6(19):153-162.
[20]Li J Q，Zhao S H，Yang J J.WCP-RNN:a novel RNN-based approach for Bio-NER in Chinese EMRs［J］.Journal of Supercomputing，2018，1(16):1-18.
[15]关守平，房少纯.一种新型的区间-粒子群优化算法［J］.东北大学学报(自然科学版)，2012，33(10):1381-1384.(Guan Shou-ping，Fang Shao-chun.A new interval particle swarm optimization algorithm［J］.Journal of Northeastern University(Natural Science)，2012，33(10):1381-1384.)

基于BERT模型的司法文书实体识别方法

Entity Recognition Method for Judicial Documents Based on BERT Model

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价

[1]	王瀛，王泽浩，李红，黄文军. 基于深度学习的威胁情报领域命名实体识别[J]. 东北大学学报（自然科学版）, 2023, 44(1): 33-39.
[2]	王娜，李杨，彭锟. 基于多角度特征提取的舵机故障诊断方法[J]. 东北大学学报（自然科学版）, 2022, 43(9): 1240-1249.
[3]	顾德英，罗聿伦，李文超. 基于改进YOLOv5算法的复杂场景交通目标检测[J]. 东北大学学报（自然科学版）, 2022, 43(8): 1073-1079.
[4]	代茵，刘维宾，董昕阳，宋雨朦. 基于注意力机制的U-Net脑脊液细胞分割[J]. 东北大学学报（自然科学版）, 2022, 43(7): 944-950.
[5]	李鸿儒，任子洋，黄友鹤，于霞. 基于变权重奇异谱分析的心律不齐识别方法[J]. 东北大学学报（自然科学版）, 2022, 43(3): 305-312.
[6]	顾德英，张松，孟范伟. 基于单目视觉的车辆3D空间检测方法[J]. 东北大学学报（自然科学版）, 2022, 43(3): 328-334.
[7]	贾润达，胡慧明，张树磊. 基于宽度学习的浓密机底流浓度软测量[J]. 东北大学学报（自然科学版）, 2021, 42(9): 1231-1237.
[8]	宋欣，李奇，解婉君，李宁. YOLOv3-ADS:一种基于YOLOv3的深度学习目标检测压缩模型[J]. 东北大学学报（自然科学版）, 2021, 42(5): 609-615.
[9]	魏颖，雷志浩，齐林. 基于注意力机制的3D U-Net婴幼儿脑组织MR图像分割[J]. 东北大学学报（自然科学版）, 2021, 42(5): 616-623.
[10]	王新刚，韩凯忠，王超，李林. 基于迁移学习的轴承剩余使用寿命预测方法[J]. 东北大学学报（自然科学版）, 2021, 42(5): 665-672.
[11]	孟琭，沈凝，祁殷俏，张昊园. 基于强化学习的三维游戏控制算法[J]. 东北大学学报（自然科学版）, 2021, 42(4): 478-483.
[12]	谢天植，雷为民，张伟，李志远. 一种基于深度学习的实时视频图像背景替换方法[J]. 东北大学学报（自然科学版）, 2021, 42(11): 1540-1546.
[13]	刘宇，魏希来，王帅，戴丽. 基于深度学习的光纤收卷机器视觉自动检测技术[J]. 东北大学学报（自然科学版）, 2021, 42(1): 68-74.
[14]	李强，李瑶坤，夏书月，康雁. 一种改进的医疗文本分类模型:LS-GRU[J]. 东北大学学报:自然科学版, 2020, 41(7): 938-943.
[15]	王卫东，何卓磊，韩征，钱于. 基于深度信念网络的滑坡敏感性评价[J]. 东北大学学报:自然科学版, 2020, 41(5): 609-615.