近年来, 伴随着“大众创业, 万众创新”的时代号角在神州大地吹响, 丰富多样的创新创业活动纷至沓来, 创新创业的理念也逐渐深入人心。作为促进经济提质增效的迫切需要, 国家将创新驱动发展提升到战略高度, 并在党的十九大报告中明确提出:“要激发和保护企业家精神, 鼓励更多社会主体投身创新创业, 加快建设创新型国家。”这一宏伟目标的实现, 在很大程度上取决于创新创业人才的数量和质量。作为创新创业人才培养主要阵地的高等教育学校, 应当肩负起创新创业教育改革的重任^[1]。作为衡量改革成效的重要方式, 创新创业教育评价体系的建立对于强化管理过程和提高教育质量意义重大。然而, 遗憾的是, 目前对于创新创业教育质量的评价仍缺乏较为合理的标准。因此, 如何构建科学合理的高校创新创业教育评价体系是目前亟待解决的重要问题。

一、文献回顾与评析

美国哈佛大学最早于1945年首创性地开展创业教育, 随后各大高校争相开展, 创业教育发展势头迅猛^[2]。为检验创业教育成果进而改进教育模式, 美国的相关媒体杂志对创业教育质量进行调查和评价。历时近半个世纪, 美国已经形成了稳定且独具特色的创业教育模式及完善的创业教育评价体系。而我国的创新创业教育起步较晚, 对创新创业教育的质量评价研究仍处于探索时期, 现有研究成果可以从以下两个阶段进行回顾。

早期研究阶段, 国内创新创业教育评价以理论研究为主, 内容主要包括:创新创业教育评价的设计原则、影响因素和体系构建等。在设计原则方面, 郭必裕(2003)认为要以主体性、创新性、先进性、实践性等原则来建立高校创新创业教育评价体系^[3]。在影响因素分析方面, 李国平(2004)综合分析了创新创业教育影响因素, 并提出模糊综合评价方法, 对创新创业教育进行定量分析^[4]。在体系构建方面, 秦敬民(2010)采用QFD理论, 以山东省某高校为研究对象使用DEA-AHP-FAHP评价模型进行分析^[5]。

2010年以来, 随着对创新创业教育评价研究的逐渐增多, 在评价方法、评价模型和评价主体方面都取得了一定的发展和进步。在评价方法选择方面, 罗培等(2012)采用纵向实验研究方法对创新创业教育进行评价, 并提出创新创业教育评价的结果主要受到研究方法的影响^[6]。在评价模型应用方面, 葛莉(2014)将CIPP教育评价模型引入高校创新创业能力评价, 建立基于CIPP模型的高校创新创业能力评价体系^[7]。在评价主体选取方面, 李兵(2015)认为创新创业教育评价应从政府、学校、学生、社会等四个方面展开, 并基于此构建了高职院校“四位一体”创新创业教育评价体系^[8]。

虽然关于高校创新创业教育评价的研究已经取得了一定的成果, 但关于评价体系的设计仍存在如下两个方面的问题。一方面, 部分评价体系的构建缺乏足够的理论支撑, 过度依赖于数据与评价方法。该方面的研究主要通过以下几个步骤实现, 首先确定评价指标, 其次收集数据, 再次依靠评价方法将指标降维, 最终形成指标体系。在这种情况下, 指标体系的确定与数据和方法直接相关, 因此数据的波动和方法的选择很大程度上增加了评价体系的不确定性。另一方面, 部分评价体系的构建往往关注效益类的评价指标, 而忽视了从学生视角来审视创新创业教育水平。该类体系多从创业项目创造的经济效益、创业率、创新创业竞赛得奖率、创业成功率等指标来衡量学校的创新创业教育水平, 却忽视学生在接受创新创业教育之后的满意程度、成长程度和行为改变程度。王占仁(2016)针对该现象曾建议, 评价体系的研究者和实施者应将关注点更多地放在创新创业教育对个人效能的影响上, 而非创新创业教育创造了多少经济财富^[9]。

大学生是高校接受创新创业教育的主要对象, 更是未来建设创新型国家的重要人才, 因此学生对创新创业教育的看法和建议将是改进与完善创新创业教育的重要切入点。如果说高校是创新创业教育的“供应商”, 那么学生无疑是最重要的“消费者”。如何研发或者改进能够满足消费者需求的“商品”, 让“消费者”通过购买“商品”以创造更大的价值, 这是目前创新创业教育评价研究必须关注的问题。而目前创新创业教育评价领域鲜有从学生视角出发进行的相关研究, 基于此, 本文拟以消费者导向评价模式理论为支撑, 从学生视角出发确定评价指标要素。与此同时, 创新创业教育的重要目标在于培养学生的创新思维和创业能力, 目标的达成度不应该仅从学习的满意程度来评价, 更应该从知识的掌握程度, 行为的改变程度和效益的提高程度等多个维度衡量。而目前创新创业教育评价领域的研究大多注重学生总体数量和比率等结果类指标要素, 对于学生学习、掌握和运用创新创业知识与技能的程度方面关注较少, 基于此, 本文拟以柯氏四级评估模型为基本框架, 构建客观、科学、全面的创新创业教育评价体系。

二、理论适用性分析 1. 消费者导向评价模式理论

消费者导向评价模式理论(consumer-oriented evaluation approach theory)产生于20世纪60年代美国的课程改革运动。这一理论的产生和发展在丰富教育评价理论与方法的同时, 也在很大程度上提高了课程方案与教学资料的编制水准。该理论认为, 评价不仅要发挥总结性作用, 更应重视形成性作用, 它是对事物的优缺点和价值的系统评估, 评价者必须从消费者需要的观点来确认教育工具的真正成果及其价值^[10]。

消费者导向评价模式实质上是“以需要为基础的评价”和“以顾客为基础的评价”^[11]。所以, 高校创新创业教育评价标准的制定不应仅由管理机构和教育行政部门负责, 教育的“消费者(大学生)”也应参与该评价标准的制定过程, 而且教育的“消费者”应是该评价标准制定的主体, 这样才能够充分体现出教育“以学生为本”的宗旨。而创新创业教育的“供应商”如果能自觉参照“消费者”导向评价模式的价值标准和行为准则, 不断检讨教学及管理过程中存在的问题, 对进一步改进和完善学校的创新创业教育将产生更大的效益。从这一角度看, 本文选用消费者导向评价模式理论作为评价体系构建的理论支撑是适合的。

2. 柯氏评估模型

柯克帕特里克层次模型, 简称柯氏模型, 由美国学者柯克帕特里克(Kirkpatrick)于1959年首次提出。作为培训领域应用最广和认同度最高的培训评估工具之一, 柯氏模型在实践中不断发展以适应时代的要求, 并在全球范围内广泛应用。柯克帕特里克以受训者作为研究对象, 从评估的深度和难度两个方面将培训效果评估分为四个递进层次, 即反应层、学习层、行为层、结果层^[12], 如表 1所示。

柯氏模型分别从个体和组织角度进行评估, 前三个层级从受训学员个体角度展开评估, 第四层级从受训学员组织角度展开评估, 从个体到组织, 全面评估培训对个体价值及组织效益的提升程度。因此, 该模型不仅关注学生对当期学习后的即刻满意程度, 更加关注知识掌握程度、本领运用程度和效益提高程度等多个方面。从这一角度看, 本文基于柯氏模型的基本框架来构建创新创业教育评价体系会更加的科学和全面。

三、研究设计

基于消费者导向评价模式理论视角, 构建高校创新创业教育评价体系主要通过以下方式:首先, 采用文献研究方法, 回顾创新创业教育评价领域的学术研究成果, 学习构建指标体系的基本思路, 作为提取指标要素的初始依据。其次, 采用案例分析方法, 通过对媒体报道和实地调研得到的大学生创新创业案例进行分析, 进一步补充完善指标要素。再次, 采用行为事件访谈的方法, 对部分高校学生代表进行访谈, 对前两步获得的指标要素作进一步验证与补充, 形成高校创新创业教育评价指标词典。最后, 基于柯氏评估模型, 综合考虑模型四个层次的内涵和特征, 将指标词典中的指标嵌入模型, 围绕体系构建的理论基础——消费者导向评价模式理论, 反复修改完善指标体系, 最终得到高校创新创业教育评价指标体系。

1. 基于文献研究的评价指标要素提取

基于文献研究的指标要素提取工作分两步完成。第一步, 检索、筛选并确定参考价值较大的文献。笔者以“创新”“创业”“教育评价”“评价体系”“指标体系”“innovation and entrepreneurship”“educational evaluation”等为关键词在中英文数据库中进行精确匹配检索, 检索得到50篇相关度较高的文献。综合考虑文献引用率、发表时间、期刊影响因子, 以及是否拥有明确的评价指标等因素, 最后确定借鉴意义较大的文献34篇。第二步, 提取文献中出现频率较高的评价指标要素。梳理以往文献的指标体系, 提取并罗列评价指标要素, 得到200余项评价指标(含交叉重复项)。将评价指标按语义归为24类(如将“孵化基地”与“科技园”等归类为“基础设施”), 计算各类指标出现的频率, 其中“社会效益”“区域环境”“经验交流”“科技成果转化”“激励政策”“校企合作”“办学理念”“个性化培养”等8项评价指标在34篇文献中出现的频率均在9%及以下, 明显低于其他16项评价指标21%及以上的出现频率, 由于34篇文献中评价指标体系设计的原则和视角各有不同, 具有很强的独特性, 故这16项指标能同时出现比较不易, 因此选择此16项指标作为指标要素提出的初步依据, 汇总结果见表 2。

2. 基于案例分析的评价指标要素提取

在文献研究的基础上, 为进一步确认初始指标要素是否密切联系现实, 并对指标词典进行补充和完善, 采用案例分析方法, 通过对媒体报道的高校大学生创新创业案例和实地调研撰写的大学生创新创业案例进行分析与编码, 进一步获得评价指标要素。

第一, 案例的选择与收集。本部分是为了从学生参与创新创业活动的案例中提取评价创新创业教育质量的指标要素, 因此案例的选择应该满足以下要求:首先, 案例描述的主人公应是学生群体; 其次, 案例必须包含创新创业教育的要素; 最后, 案例应体现学生对创新创业教育的主观态度和看法。按照以上的要求, 本文以全面收集资料、多方渠道来源为宗旨, 从创业故事网等媒体网站, 以及《光明日报》《中国青年报》等纸质报刊杂志中, 分别以“创业”“创新创业”“大学生创业”“创新创业教育”等为关键字进行搜索, 最终选择2015—2018年发表的阅读量较高且与研究相关度较高的15篇文章, 包括7篇描述性创业案例和8篇媒体新闻报道。在此基础上, 笔者还深入自己所在高校的创新创业基地, 实地调研13家学生创业企业和创始人, 撰写创新创业案例13篇。综上, 将28篇案例进行编号, 部分信息见表 3。

第二, 关键词和短语的筛选。将28篇案例进行汇总, 把文章中所提及的事例和内容编码成相对应的条目, 共计67条。关键词和短语的筛选工作由研究小组两名成员分别独立完成, 随后进行核对。筛选过程主要分为以下三步。第一步, 由研究小组的两名成员分别对67个条目编码, 从每个条目中提取关键词或短语。对于出现频率较小的关键词, 将其融入到意思相近的其他关键词中, 如将创新创业的“课程多样性”融入到“课程内容设置”中。相对应地, 如果某条目含有多个关键词, 可以考虑从中提取多个关键词, 如从“培养学生的创新通用技能和专业能力”中提取“创业通用技能”和“创业专业技能”。第二步, 由以上两名研究小组成员对存在差异的编码条目进行充分讨论, 争取消除差异, 达成共识。第三步, 为进一步避免分析时的主观性和个人偏见, 保证筛选结果的全面性和客观性, 再由另外一名研究小组成员对编码进行二次分析和检验。最终, 由案例分析得到的评价指标要素见表 4。

对比表 4和表 2的指标要素发现, 绝大部分指标要素较为一致, 但也存在不一致的情况。例如, 表 2中出现频率较高的“创业率”“创业增长率”等指标在本部分的案例中几乎未被提及。表 4中包含的“创业专业能力”“创新思维能力”等指标在文献研究中也不易找到。笔者认为, 出现指标要素不一致的情况是情理之中的, 因为前者基于文献的研究是以往学者对于高校创新创业教育水平的综合性评价, 所涉及的评价指标不只包含关于学生个体的学习课程、参与实践活动、参与竞赛等指标, 更多的则是与关于学生群体的创业率、创新创业活动竞赛获奖率等衡量高校创新创业教育综合水平的比例型、数量型指标; 而后者搜集的创业真实案例和媒体新闻报道的撰写角度是学生个体, 因而得到的指标更倾向于表达学生个体对创新创业教育及创业的态度和看法。基于此, 笔者将上述获得的指标要素均进行保留。

3. 基于行为事件访谈的评价指标要素提取

经过以上两个步骤, 已经初步获得了高校创新创业教育评价的指标要素。由于本文所构建评价指标体系的理论基础是消费者导向评价模式理论, 所以为验证目前获得的指标要素是否贴近创新创业教育“消费者(大学生)”的实际, 是否能够体现从学生角度来对高校的创新创业教育进行评价, 笔者拟定了访谈提纲, 深入到高校学生群体中进行行为事件访谈。首先, 选取吉林大学、哈尔滨工业大学、东北大学、沈阳航空航天大学、沈阳工业大学、大连理工大学、东北财经大学和大连海事大学等8所大学中接受过创新创业教育的24名本科生作为访谈对象, 针对该学生所在高校创新创业教育的开展情况, 进行详细访谈。访谈的主要问题包括列举其在接受创新创业教育时(或接受教育后)发生的有关创新创业的印象深刻的事件, 详细描述事件的背景环境、事件中有关创新创业的要素、在事件过程中采取了哪些行为、事件的结果如何等。其次, 对访谈内容进行整理, 形成文稿, 将收集的关键行为事件进行归类与编码, 提取出关键事件中体现出的创新创业要素, 并对其进行命名。

在行为事件访谈中, 基于文献研究和案例分析获得的大部分指标要素均获得了验证, 这在一定程度上肯定了前两步工作的价值。根据行为事件访谈的结果对现有指标要素集合做如下操作:首先, 增加“社会实践”与“创业综合能力”两项指标。在访谈中, 多数大学生表示自己曾在参与社会实践活动过程中锻炼到创新能力、学习能力、语言表达能力与活动规划能力等。可见, 社会实践是学生们接触创新创业理念及强化创新创业知识与技能的有效途径。同时, 接受访谈的大学生也普遍表示身边正在创业的同学大部分都具备良好的综合素质, 如沟通能力、组织领导能力、高效学习能力等。因此, 学生们认为拥有创业综合能力是大学生成功创业的重要条件。虽然以上两项指标在前文基于文献研究和案例分析获得的指标中未被提及, 但是得到了受访学生的广泛认同, 考虑到本文构建评价体系应从学生视角出发, 故在最终指标词典中增加“社会实践”与“创业综合能力”两项指标。其次, 剔除“管理机构”“制度建设”与“校友支持”三项指标。在访谈中, 笔者了解到多数大学生并不关心学校的创新创业教育由哪个管理机构负责开展, 也几乎不了解学校在创新创业方面出台的制度和政策。纠其原因, 笔者认为可能是大部分学生只关注与自己课程学习相关度较高的活动, 而缺乏对学校管理机构和制度建设的关注。对于“校友支持”指标, 受访的大学生几乎无人提及, 笔者认为原因可能是高校杰出的校友本占少数, 能够支持母校创新创业项目的更是少之又少, 因而学生们几乎无法感知到校友的帮助也在情理之中。对于以上三项学生感知程度较弱的评价指标, 学生无法作出真实客观的评价, 故剔除“管理机构”“制度建设”与“校友支持”三项指标。最后, 将“学生自我评价”指标改为“创业自我效能”^[13]指标。在访谈中, 当大学生被问及为何没有创业时, 他们大多表示担心自己目前的能力不足以支撑自己成功创业。而自我效能的含义正是“人们对自身能否利用所拥有的技能去完成某项工作行为的自信程度”^[14]。因而选用“创业自我效能”指标替代“学生自我评价”指标, 评价学生自身参与创新创业活动的能力水平和自信程度。

综合上述过程, 获得了高校创新创业教育评价指标词典见表 5。

4. 基于柯氏模型的指标体系构建

依据柯氏评估模型四个层级的内涵和特点, 本部分拟将高校创新创业教育评价指标词典中的22项评价指标依次嵌入模型中, 最终得到基于柯氏模型的高校创新创业教育评价体系。

首先, 柯氏模型的反应层旨在测量学生在接受创新创业教育后的满意程度。此层主要考察受教育学生的印象, 考察的主要内容包含创新创业教育的内容、方案、时间安排和基础设施条件等。柯克帕特里克把受训者对培训过程的真实感受和内心体验作为反应层的核心考察点。反应层的评估可以预测创新创业教育的效果, 并且评估结果可以为以后完善教育方式的评估及改进创新创业教育的进程提供综合的参考价值。针对高校的满意度评价, 结合指标词典中的指标, 可以从课程、教师、教学环境等与学生休戚相关的方面展开评价。“课程内容设置”测量创新创业的课程内容是否能够满足学生需要, “课程结构安排”测量创新创业课程的结构安排是否合理。由于上述两项指标都是对创新创业课程的满意度进行测量, 故为其拟定二级指标为“课程体系”。“教师队伍构成”测量学生对创新创业教师的人员安排的满意程度, “教师教学能力”测量学生对创新创业教师的教学水平是否满意, 由于上述两项指标都是对创新创业教师的满意程度进行测量, 故为其拟定二级指标“师资队伍”。“经费支持”测量学生对高校在创新创业教育方面的经费投入是否满意, “基础设施”测量学生对高校开展创新创业教育必要的基础设施场所是否满意, “文化氛围”测量学生对学校在营造创新创业文化环境方面的满意程度。“基础设施”和“经费支持”都是高校开展创新创业教育的硬环境, “文化氛围”是高校开展创新创业教育的软环境, 故为其拟定二级指标“环境建设”。针对学生个体的满意度评价, 结合指标词典中的指标, 选用“创业自我效能”指标测量学生对自己有能力参与创新创业活动的自信程度, 并为其拟定二级指标“学生自身”。

其次, 柯氏模型的学习层旨在测量学生在接受创新创业教育后对知识和技能的掌握程度。所谓的对知识和技能获得度的测量就是评估受教育者在经历整个创新创业教育过程后对所学的知识、原理、技能的掌握程度, 以及对所学的技能水平的提高程度。柯克帕特里克认为对学习层的评估是培训效果评估里最主要的组成部分, 倘若没有知识的获得与技能的学习, 很难保证接下来的层面会有所改善。“创新思维能力”测量学生是否掌握分析问题时运用发散思维、拥有独特视角的能力, “创新学习能力”测量学生是否掌握在接触新领域知识时采用创新学习方法的能力。由于上述两项指标都是对学生创新能力的测量, 故为其拟定二级指标“创新能力”。“创业综合能力”测量学生是否掌握对创业有帮助的通用能力(例如语言表达能力、社会交际能力等), “创业专业能力”测量学生是否掌握与创业相关的专业能力(例如财务分析能力、业务经营能力等)。由于上述两项指标都是对学生创业能力的测量, 故为其拟定二级指标“创业能力”。

再次, 柯氏模型的行为层旨在测量学生在接受创新创业教育后对知识和技能的运用程度。此层主要考察受教育学生在接受创新创业教育后的一段时间内将所学到的创新创业本领有效转化的程度。柯克帕特里克认为此层面应重点考察受训人员在思维方式、知识、态度等方面的改变程度。作为衡量整个创新创业教育过程有效性高低最有价值的评估, 行为层的评估也是创新创业教育对于学生个人增益有帮助的重要表现。“学术论文撰写”测量学生是否运用发现问题、思考问题、解决问题的综合能力, “发明专利申请”测量学生是否运用观察能力、创造能力等综合能力, 由于上述两项指标都是从理论层面测量学生能力的运用程度, 故为其拟定二级指标为“理论运用”。“活动竞赛参与”测量学生是否运用已学的知识参与创新创业类活动与竞赛, “企业实习”测量学生是否在参与企业实习过程中运用在校学到的实用技能, “社会实践”测量学生学到的知识与技能在社会实践活动中是否有所体现, 由于上述三项指标都是从实践层面测量学生能力的运用程度, 故为其拟定二级指标为“实践运用”。

最后, 柯氏模型的结果层旨在测量学生群体在接受创新创业教育后的效益提升, 选取的评价指标多为数量型和比例型指标。前三个层面主要是对学生个体的满意程度、掌握程度、运用程度进行测量和考查, 而在结果层的评估则从学生个体的获得程度上升到学生群体的整体提高水平。“竞赛获奖次数”测量一年内高校全体学生参与创新创业类竞赛并获得奖励的数量, “论文发表数量”测量一年内高校全体学生发表学术论文的数量, “专利授权数量”测量一年内高校学生申请并获得专利的数量, “创业率”测量一年内高校创业学生人数与总体学生人数比例, “创业增长率”测量一年内高校创业率相对上一年的增长程度。由于上述五项指标都是从组织层面测量学生总体在创新创业方面的成果, 故为其拟定二级指标“组织成果”。

综上, 高校创新创业教育评价体系见表 6。

四、结语

基于消费者导向评价模式理论, 本文将柯氏评估模型的框架引入到创新创业教育评价体系的构建中来, 从反应层、学习层、行为层和结果层四个层面出发, 最终形成具有4项一级指标、9项二级指标和22项三级指标的高校创新创业教育评价体系。

本文基于两个经典理论构建的评价体系, 整体结构和具体指标的设置比较合理, 对创新创业教育评价实践具有一定的指导意义。此外, 柯氏评估模型从反应层到结果层逐渐深入, 评估的难度也逐渐加大, 评价者可根据所在高校创新创业教育的具体实施情况, 灵活选择评价进行到何种层次, 这也是本文构建评价体系优越性的又一体现。但需要说明的是, 本文仅构建了基于学生视角的高校创新创业教育评价体系, 但对于评价体系中各个指标的测量方法和具体应用并没有作出足够充分的说明, 未来的研究可以在上述两方面继续开展研究工作。在运用模型的进行评价的过程中, 应配合评价方法进一步明确数据测量的具体方法和要求, 根据实际情况恰当使用模型, 以获取真实客观的评价结果。