基于投票一致性的众包质量评估策略

doi:10.12068/j.issn.1005-3026.2014.08.008

东北大学学报:自然科学版 ›› 2014, Vol. 35 ›› Issue (8): 1097-1101.DOI: 10.12068/j.issn.1005-3026.2014.08.008

基于投票一致性的众包质量评估策略

岳德君¹，于戈¹，申德荣¹，于晓聪²

(1 东北大学信息科学与工程学院，辽宁沈阳110819; 2 中国刑事警察学院计算机犯罪侦查系，辽宁沈阳110035)

收稿日期:2013-10-30 修回日期:2013-10-30 出版日期:2014-08-15 发布日期:2014-04-11
通讯作者: 岳德君
作者简介:岳德君(1983-)，男，山东枣庄人，东北大学博士研究生;于戈(1962-)，男，辽宁大连人，东北大学教授，博士生导师;申德荣(1964-)，女，辽宁铁岭人，东北大学教授，博士生导师.
基金资助:
教育部高等学校博士学科点专项科研基金资助项目(20120042110028)；国家重点基础研究发展计划项目(2012CB316201)；教育部-英特尔信息技术专项科研基金资助项目(MOE-INTEL-2012-06)；国家自然科学基金资助项目(61033007，61003060).

Crowdsourcing Quality Evaluation Strategies Based on Voting Consistency 〓

YUE Dejun¹， YU Ge¹， SHEN Derong¹， YU Xiaocong²

1 School of Information Science & Engineering， Northeastern University， Shenyang 110819， China; 2 Department of Computer Crime Detection， China Criminal Police College， Shenyang 110035， China.

Received:2013-10-30 Revised:2013-10-30 Online:2014-08-15 Published:2014-04-11
Contact: YUE Dejun
About author:-
Supported by:
-

摘要/Abstract

摘要： 提出一种基于投票一致性的工作者严谨度动态评估策略，将众包任务集合划分为多个任务子集，每个任务子集看作一个工作阶段.在任意工作阶段结束后，通过记录工作者投票的数量，以及工作者与工作组投票值一致的投票数量，对工作者的严谨度进行评估，从而检测出不合格的工作者.然后对不合格的工作者进行动态替换，从而保证工作组的正确率满足任务的精度阈值.通过对三种真实数据集进行实验测试，证明本文提出的工作者质量动态评估方法和替换策略具有较好的效果.

关键词: 众包, 投票, 一致性, 质量评估, 动态替换

Abstract: A dynamic evaluation strategy for the worker precision based on the voting consistency is proposed. The crowdsourcing task set is divided into multiple task subsets and each of them is regarded as a task phase. When a task phase is finished， the whole votes and the number of the worker’s voting value agreeing with the working group’s one are recorded. Then， the workers’precision is evaluated and the unqualified workers are detected. All the unqualified workers are dynamically replaced to ensure that the correct rate of the group exceeds the task accuracy threshold. The effectiveness of the proposed method is evaluated using three realworld datasets， which shows that the method can achieve good performance.

Key words: crowdsourcing, voting, consistency, quality evaluation, dynamical replacement

中图分类号:

TP31113

岳德君，于戈，申德荣，于晓聪. 基于投票一致性的众包质量评估策略[J]. 东北大学学报:自然科学版, 2014, 35(8): 1097-1101.

YUE Dejun， YU Ge， SHEN Derong， YU Xiaocong. Crowdsourcing Quality Evaluation Strategies Based on Voting Consistency 〓[J]. Journal of Northeastern University Natural Science, 2014, 35(8): 1097-1101.

参考文献

[1] Perona P，Welinder P.Online crowdsourcing:rating annotators and obtaining costeffective labels［C］//Computer Vision and Pattern Recognition Workshop.San Francisco:IEEE Computer Society，2010:25/32.
[2] Manas J，Hector G M，Aditya P.Evaluating the crowd with confidence［C］// Proceedings of ACM SIGKDD.New York:ACM Press，2013:686/694.
[3] Snow R，Connor B O，Jurafsky D，et al.Cheap and fast—but is it good? evaluating nonexpert annotations for natural language tasks［C］//Proceedings of the Conference on Empirical Methods in Natural Language Processing.New York:ACM Press，2008:254/263.
[4] Liu X，Lu M Y，Ooi B C，et al.CDAS:a crowdsourcing data analytics system［J］.Proceedings of the VLDB Endowment，2012，5(10):1040/1051.
[5] Cao C C，She J Y，Tong Y X，et al.Whom to ask? Jury selection for decision making tasks on microblog［J］.Proceedings of the VLDB Endowment，2012，5(11):1495/1506.
[6] 张志强，逄居升，谢晓芹，等.众包质量控制策略及评估算法研究［J］.计算机学报，2013，36(8):1636/1649.(Zhang Zhiqiang，Pang Jusheng，Xie Xiaoqin，et al.Research on crowdsourcing quality control strategies and evaluation algorithm［J］.Chinese Journal of Computers，2013，36(8):1636/1649.)
[7] Nitzan S，Paroush J.Optimal decision rules in uncertain dichotomous choice situation［J］.International Economic Review，1982，23:289/297.
[8] Owen G B，Grofman B，Feld S L.Proving a distributionfree generation of the Condorcet Jury theorem［J］.Mathematical Social Science，1989，17:1/16.
[9] Yashar R B，Paroush J.A nonasymptotic Condorcet Jury theorem［J］.Social Choice and Welfare，2000，17:189/199.
[10] Tian Y D，Zhu J.Learning from crowds in the presence of schools of thought［C］// Proceedings of the ACM SIGKDD.New York:ACM Press，2012:226/234.

[1]	杜子超，卢福强，王素欣，王雷震. 众包物流配送车辆调度模型及优化[J]. 东北大学学报（自然科学版）, 2021, 42(8): 1210-1216.
[2]	李铭洋，王爽，曹萍萍，赵晓杰. 考虑多个子群意见的多要素大群体决策方法[J]. 东北大学学报:自然科学版, 2020, 41(12): 1781-1787.
[3]	闫士杰，王立华，闫伟航，高文忠. 基于采样数据的大规模储能系统一致性控制[J]. 东北大学学报:自然科学版, 2020, 41(11): 1528-1534.
[4]	于笑，雷为民，谢冰，赵金峰. 一种基于QoS的星座通信系统跨层资源分配算法[J]. 东北大学学报:自然科学版, 2018, 39(3): 320-324.
[5]	郝金锦，马钦海，范广伟. 规避群体对品牌规避的影响机制研究[J]. 东北大学学报:自然科学版, 2017, 38(5): 751-755.
[6]	刘建昌，明平松. 随机多智能体系统一致增益问题分析[J]. 东北大学学报:自然科学版, 2016, 37(9): 1217-1220.
[7]	刘军，牟绍君，张立立，王群仰. GBAS中基于导航星监测的B值修正算法[J]. 东北大学学报:自然科学版, 2016, 37(8): 1075-1078.
[8]	杨红果，申德荣，寇月，于戈. 基于可信度的投票列表合并算法[J]. 东北大学学报:自然科学版, 2016, 37(2): 165-169.
[9]	陈红，吴成东，陈东岳，卢紫微. 基于投票策略的特征点提取[J]. 东北大学学报:自然科学版, 2016, 37(2): 157-161.
[10]	杜岳峰，申德荣，张亮，于戈. 基于内容相关的条件函数依赖的一致性清洗方法[J]. 东北大学学报:自然科学版, 2016, 37(12): 1683-1687.
[11]	金胜赫，张化光，孙秋野，周建国. 基于一致性的微电网分布式不对称功率分配控制[J]. 东北大学学报:自然科学版, 2016, 37(10): 1374-1378.
[12]	陆阳，庄新田. 跨期决策中动态不一致性程度研究[J]. 东北大学学报:自然科学版, 2015, 36(5): 753-756.
[13]	刘云志，樊治平. 考虑多人给出参照点的风险型多属性决策方法[J]. 东北大学学报:自然科学版, 2015, 36(1): 148-152.
[14]	姜玉莲，刘建昌，谭树彬，王申全. 多机器人系统的鲁棒一致性算法[J]. 东北大学学报:自然科学版, 2014, 35(8): 1065-1068.
[15]	陆阳，庄新田. 动态不一致性对最优长期契约的影响[J]. 东北大学学报（自然科学版）, 2013, 34(11): 1665-1668.

基于投票一致性的众包质量评估策略

Crowdsourcing Quality Evaluation Strategies Based on Voting Consistency 〓

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价