摘要：学生学业成就评价是职业教育质量监测与评价体系的重要组成部分，我国现有各种职业教育评价措施仍存在方法和技术方面的问题。COMET大规模职业能力测评方案基于现代职业教育理论，建立了跨职业领域的职业能力模型，并通过严格的心理测量技术检验，在国内外得到了一定的推广使用。测评方案采用情境性的开放式题目诊断学生的职业能力发展水平、能力特征以及职业认同感和职业承诺，满足职业教育人才培养的教育性目标和职业标准的双重要求。分析COMET职业能力测评在职业教育改革创新项目、区域教育质量监控、技能大赛等方面的应用，以期为未来职业能力评价制度建设、“职教高考”改革和开展增值性评价提供帮助。
目前，我国职业教育正处于由高速增长向高质量发展的新阶段，这需要建立相应的高水平的职业教育质量监测与评价体系，包括对学生学业成就的监控和评价。迄今为止，我国探索实施了多种不同规模和形式的职业教育学生学业成就评价方法，如，职业资格鉴定、职业技能等级认定、专业技能水平综合测试和“职教高考”等，它们有不同的目标和功能。例如，职业资格鉴定是职业准入和劳资关系的管理手段，职业技能等级证书是作为学历证书补充的社会化评价，专业技能水平综合测试是对职业院校教学质量的外部监测，而“职教高考”是教育人才选拔制度。它们评价的是不同层面的实践，如，国家层面的“学历证书+职业技能等级证书”制度试点，地方层面的“技能水平综合测试”和“专业技能抽查考核”，以及行业层面的“职业技能联考”和“职业能力测评”等。
各种形式的评价对职业教育质量保障总体上发挥了积极作用，但还存在评价内容不够全面、评价方法不够科学等问题。建立健全职业教育内部质量保障体系，包括职业能力评价制度，仍然是未来一段时间我国现代职业教育制度建设的重要任务。高水平的职业能力评价，不仅可以评价学生个人职业能力的发展水平和发展潜力，还可以评价职业院校办学水平，并作为职教高考、用人单位选人用人的重要参考。本研究基于COMET综合职业能力测评方案的分析及其相关实践探索，旨在为我国健全职业能力评价制度提供借鉴。
一COMET职业能力模型和理论
COMET是英语“职业能力测评项目”（Competence Measurement）的简称，是一个由德国、中国、南非等多国合作职业教育国际比较研究项目开发的大规模职业能力诊断（Large-Scale Diagnostics）工具，其内涵相当于职业教育的“国际学生评估项目”（PISA）。该项目以一系列现代职业教育理论为基础，建立了职业能力模型和测评模型，并对此进行严格的心理测量技术验证，它不仅可以用于对学生职业能力水平进行诊断，还可以对职业认同感和职业承诺的整体情况进行评价。从2009年开始，北京师范大学在多个职业教育改革创新项目中引入了COMET测评方案。实践证明，COMET职业能力模型具有良好的跨职业、跨文化特点，可以实现不同院校、地区、国家间职业教育质量的比较，在我国教育部高职院校专业评估方案开发研究、“‘一带一路’暨金砖国际技能发展与技术创新大赛”，以及世界技能大赛部分赛项中得到了应用，成为世界上第一个得到实际应用的大规模职业能力测评方案。
2021年6月，工业和信息化部委托服务型制造研究院等单位组织对五个制造业相关专业类别32所职业院校毕业生和高年级学生进行大规模能力测评。测评按照COMET职业能力测评方案进行，由行业龙头企业选派实践专家出题并参与评卷，采用线下开卷方式，学生针对源自企业实际工作场景的综合性、开放性问题制定整体化的解决方案，由此诊断学生综合职业能力发展水平、能力特征和发展潜力，在此基础上，分析职业院校人才培养质量及其影响因素，帮助企业制定新员工成长计划。多家世界500强在内的企业和职业院校积极参与本次测评。
（一）COMET职业能力理论模型的构建
COMET职业能力模型建立在“设计导向”（Shaping Orientation）的职业教育思想、“从初学者到专家”（From Novice to Expert）能力发展逻辑、“发展性任务”（Developmental Tasks）理论、“工作过程知识”（Work Process Knowledge）以及情境学习和行动导向等先进理论基础上，这些理论在国际职业教育研究和实践中得到广泛的认同与应用，具体包括以下方面。
（1）“设计导向”与在传统的人力资源管理中占主导地位的“适应导向”理念相比，是不同的“范式”；它强调人不仅要有适应能力，更重要的是要有创新能力，能够本着对社会、经济和环境负责的态度，（参与）设计未来的工作和社会的发展。
（2）专业人员在能力发展过程中会经历“从初学者到专家”的不同阶段，每一个阶段的知识都有特殊的形态，从一个阶段到另一个阶段需要完成特定的、有挑战性的“发展性任务”。
（3）工作过程知识是具有丰富经验的技术人员所特有的、与生产劳动过程相关的知识（区别于学科系统化知识），它需要通过经验性学习获得，是在工作经验与理论反思间的特定关系中产生的。
（4）情境学习理论以“实践共同体合法的边缘性参与”总结了专业人员基于工作的学习的基本形式。
（5）行动导向教学用行动产品（结果）引导教学过程，学生按照“完整的行动过程”，即经历获取信息、计划、决策、实施、控制和评价六个步骤，通过主动和全面的学习，达到智力活动和实践活动相统一。
COMET职业能力模型包含能力的“要求”“内容”和“行动”三个维度，如图1所示。
职业能力的要求维度由低到高依次是名义能力、功能性能力、过程性能力和整体化设计能力。职业能力评价的内容涉及四个职业工作范围的工作任务，即“职业定向性的任务”“程序化的任务”“蕴含问题的特殊任务”和“不可预见的未知任务”，分别对应四个学习范围，即“定向和概括性知识”“关联性知识”“具体与功能性知识”和“学科系统化的深入知识”。内容维度遵循从“从初学者到专家”的能力发展逻辑，反映职业的行动领域，这是测评试题开发的基础。职业能力的行动维度将完整的工作（行动）过程分为从获取信息到评价的六个阶段，是评价任务解决方案完整性的重要依据。
（二）职业能力测评的指标设计
在理论模型的基础上，COMET测评模型建立了由8个一级指标，40个二级指标构成的指标体系。一级指标有直观性/展示、功能性、使用价值导向、经济性、企业生产流程和工作过程导向、社会接受度、环保性和创造性，它们与每道试题的问题解决空间共同组成了职业能力完整的解释框架，如图2所示。8个一级指标的基本含义是：
（1）直观性/展示：向顾客或者同事展示预期的工作成果；
（2）功能性：实现任务要求的功能；（3）使用价值/可持续性：以顾客为导向，对顾客而言方案具有长期使用的价值；
（4）经济性和效益：控制经济成本，创造效益；
（5）工作过程和生产（经营）流程导向：考虑企业的组织结构和生产（经营）流程的实际情况；
（6）社会接受度：体现社会责任感，例如，人性化设计、考虑劳动安全和事故防范；
（7）环保性：考虑绿色环保与可持续发展；
（8）创造性：创造性地解决问题。
具体来看能力指标与能力水平对应维度，具有名义性能力者无法独立完成工作任务，没有达到企业用人的基本要求，属于职业“风险群体”，不具备完整的职业能力，不设具体指标；功能性能力（KF）是职业工作所需的基本能力，具备基本专业知识技能，能独立完成简单任务，对应指标“直观性”“功能性”；过程性能力（KP）具备工作过程知识和质量意识，适应企业生产（经营）流程要求，可以独立完成复杂任务，对应指标“使用价值导向”“经济性”“经营与工作过程导向”；整体设计能力（KC）是职业工作所需的高级能力，能在一定程度上创造性地完成复杂任务，具备较多工作经验和系统的专业知识，对应指标“环保性”“社会接受度”“创造性”。
二COMET测评的内容和形式
（一）测评内容
COMET测评的对象是职业认知能力的发展状况。首先，需要明确职业能力和职业技能之间的区别。教育学理解的职业能力是完成职业工作任务时所展现的潜力，它超越了当前具体任务的要求，难以被客观化；而职业技能是由工作任务的客观条件决定的，是尚未被机器化的人类长期积累的技艺技巧。职业能力关注人的主观性要求，与人格（素养）的发展息息相关。可以看出，在教育学的概念中，职业能力的内涵比职业技能要丰富得多，它是个体当前就业和终身发展所需的能力，是理解、反思、评估和完成职业任务以及在承担社会、经济和生态责任的前提下，共同设计技术和社会发展的意愿与本领。职业能力既包括完成具体工作任务时表现出来的知识和技能，也包括职业素养、工匠精神等职业的态度和价值观，反映德、智、体、美、劳全面发展的高素质技术技能人才培养目标的要求。
职业能力的应用是开放的，这对职业能力评价的内容和形式提出了很大的挑战。传统的期中期末科目考试无法反映真实工作任务的要求，对企业而言又缺乏足够的说服力。传统的技能考试针对学生的实际操作技能，侧重对工作结果的评判，无法或很少关注职业能力中的认知成分，而且实操考试组织成本通常很高，无法开展大规模的评价。因此，传统的考核评价方式很难对学生职业能力的发展水平进行准确的判断，也难以实现促进学生的综合能力和职业素养发展的教育评价的根本目的。
理想的职业能力评价方法需要满足以下条件：一是测评内容具有职业性、真实性、情境性和开放性，与工作情境和隐性知识紧密相关；二是行业、企业和社会多方参与测评以确保试题能反映工作世界的真实要求，评价从业者生涯发展所需的能力，而不仅仅是教学目标中规定的知识和技能；三是满足心理测量的基本质量要求，包括信度、效度和区分度等；四是大规模的职业能力评价必须考虑和控制成本；五是评价结果应有助于职业院校组织诊断职业能力发展的问题所在，而不只是为学生个体提供一个简单结果。
COMET测评的内容与传统的标准化测试不同，它同时满足教育目标和遵循职业规范双重标准的要求，形式上采用情境性的开放式题目，基于以下理论假设：专业人员在完成复杂的工作任务时，存在着与具体问题情境相关的解决空间，不同能力水平者基于问题解决空间展现的认知特征不同，高水平者在各项能力指标的表现比低水平者更好、更全面。
COMET职业能力测试题目由来自特定职业领域的企业实践专家和职校专业教师通过实践专家研讨会（Expert Worker Workshop，简称EXWOWO），在典型工作任务（Professional Tasks）的基础上设计，是保证测评试题具备职业效度的关键。职业效度与试题的代表性（对一个职业整体要求的覆盖程度）和真实性（体现职业和企业工作实践的真实存在的问题）有关。试题的难度要与参评对象的发展阶段相适应。
（二）测评形式
COMET测评采用开卷笔试形式，测评时间一般为两个小时，可以通过学生背景调查问卷深入了解职业能力发展的影响因素。为了客观评价开放性试题的结果，COMET测评要求除了通用评分表以外，每套试题还配备专门的解题空间。解题空间界定了在试题情境描述的背景和条件下完成任务的可能性。虽然，开放性试题的设计空间几乎是无限的，但是，解题空间还是系统描述了可选方案的所有维度，是评分者评分的前提条件，尤其在评分初期。在此，解题空间不等同于“标准答案”，它不可能穷尽完整的设计空间，所有评分者在评分者培训中共同建立的内部评分标准是正式评分的依据。为确保测评结果的客观性，答卷和评分都采用匿名方式，最终成绩采用两位评分者的平均分。在正式评分前，所有评分者必须完成评分者培训，通过多轮评分练习提高评分者一致性（通过评分者Finnjust系数来保证）。
测评实施过程中有两个重要的技术关键点——试题开发和答卷评分，直接决定了测评结果的质量。实践专家研讨会和评分者培训是保障试题职业效度和评分客观性的主要方法，这两种方法对出题者和评分者选择、流程安排、结果评判标准都有专门的要求。在以往的测评实践中，只要确保规范、严谨、完整的测评实施过程，最终的测评结果质量检验都比较理想。
三COMET测评的实践与应用
职业能力的全面发展不仅意味着要获取更多的知识和提升技能，还包括职业认同感和职业承诺的养成，这些要素关乎学生今后职业生涯的可持续发展。
COMET测评的理论、模型及测评方案在我国多个职业教育典型实验项目、区域教育质量监控、职业院校专业评估方案开发、课程改革、技能大赛以及1+X证书试点工作中都有不同方式的应用。COMET测评通过问卷调查形式对职业认同感和职业承诺进行元层面的评价，从另一个角度评价职业能力发展的“质量”。实证数据分析表明，学生职业认同感、职业承诺与职业能力发展水平呈现出高度正相关。
（一）兼顾发展特点，全面掌握职业能力发展状况
传统考试评价学生能力发展状况的依据只是分数，分数越高表示能力水平越高。但是采用COMET测评时，测评结果可以反映学生个人、专业、职业院校、地区等不同单位的职业能力水平、能力等级和认知特征（能力轮廓）。可以通过整体能力水平比较分数相近学生的能力发展特征差异。尽管总体上测评分数越高的学生其整体能力水平也越高，但是在分数相近的情况下，有可能部分学生整体能力水平与另一部分相比相差一个层级，如，有的处在功能性能力水平，有的则达到了过程性能力水平。过程性能力者比功能性能力者具备更强的质量意识，能独立完成更复杂的任务。虽然这些学生分数差异很小，但其职业认知结构特征却存在差异，COMET的能力轮廓图可以进一步展示认知结构差异在各项指标上的表现。
（二）诊断教学质量，实施职业教育质量监控
COMET测评不仅能诊断学生个体的职业能力发展状况，还能识别职业院校教师职业能力水平与人才培养质量的关系。多次测评结果显示，学生职业能力发展较好的院校通常教师的职业能力水平也较高，教师和学生的职业能力轮廓呈现相似的结构，有学者将其称之为教师对学生职业能力的“传递现象”（Transferphänomen）。这说明教师的专业能力特征对促进学生职业能力发展发挥着重要的影响，在测评中表现优秀的院校在师资培养、人才培养模式和教学组织方式等方面可能具备值得推广的经验。多院校、跨地区的大规模测评结果也为较大范围的教育质量诊断和教育改革效果评估提供了科学的方法和依据。
（三）识别影响因素，指导工学结合课程改革
COMET能力测评的背景调查问卷根据参测对象的具体特征选择适宜的变量，获取影响职业能力发展的参数。如果结合准实验研究设计，可以对职业能力的实际影响进行更严谨的检验，这是核验教育改革创新项目取得实际成果的理想方法，在实践中也得到很多项目院校的支持。例如，对同一院校参与课程改革的实验班和不参与实验的普通班学生测评结果的比较，可以评估教学改革成效。研究发现，良好的课程安排、学习任务设计、教师支持和教学等对学生的职业能力和职业认同感发展有积极的影响。
COMET能力模型和测评方法还为教师更好地掌握学生发展的特点、开发工学结合一体化课程、设计更加科学的学习任务、开展行动导向教学、对学习效果进行评价等提供了理论和工具支持。例如，北京大学医学网络教育学院以典型工作任务为基础开发课程，完成了护理专业课程体系从学科化向职业化的转变，取得了良好的效果，这也体现在其学生的能力测评结果上。
（四）引入真实性评价，完善现有技能评价手段
随着社会的发展，技能的内涵不断丰富和拓展，其“能力化”趋势不断增强，科学的评价能力需要采用真实性评价策略和开放性的综合任务，这相应地提高了对测评技术的要求。例如，世界技能大赛不仅考查选手的技术性技能，还考查其设计能力和创新能力，试题由多个相互关联的模块构成。评分专家不仅考查选手的工作成果，还制定细致的评分规则评价工作过程的细节。这样虽然保证了评价质量，但是投入成本很高。COMET测评基于职业的典型工作任务开发试题，使用综合性任务进行纸笔测试，采用基于职业能力模型的通用评分标准和特定解题空间诊断职业认知特征，在保证质量的同时大大降低了成本。以COMET职业能力模型为蓝图，对技能大赛试题职业效度的典型案例分析发现，现有试题并不能涵盖较高水平的职业能力指标，COMET职业能力模型和测评方案对于技能大赛试题的完善，以及1+X证书职业技能评价的内容和形式，都提供了有益的参考。
四总结与展望
（一）COMET测评可实现的功能
职业能力和技能的评价方式有多种，不同评价方式的评价对象和评价方法有很大差异。与传统的技能考试和学科考试相比较，COMET职业能力测评在以下方面有所不同：一是评价目的不同。能力测评诊断职业能力的发展状况及影响因素，技能考试考查能否完成特定工作任务，学科考试考查对课程的掌握情况。二是关注点不同。能力测评关注群体的职业认知能力特征，技能考试关注个体的职业技能熟练程度，而学科考试关注个体的学科知识储备。三是存在的局限性不同。能力测评不考查通过行动表现的操作技能，技能考试无法反映职业认知能力，学科考试无法反映工作过程知识。四是具有不同的方法特性。COMET能力测评是大规模能力诊断方法，技能考试一般为知识考试+实操考试，职业教育学科考试常采用标准化测试。五是适用范围不同。COMET能力测评可在多个职业领域通用，技能考试针对特定的职业领域，学科考试针对特定的学科。
COMET测评对职业教育利益相关者有不同的价值。对学生而言，有助于了解自身职业能力发展水平和特征以及在参评整体中的表现，为职业生涯设计提供参考。对学校而言，有助于加深对企业用人需求的理解，掌握学生满足企业需求的实际情况，了解现有人才培养的优势与不足，也对学校内部教学质量的控制有一定的启发作用。对专业教师而言，利用科学的职业能力评价理论，有助于解决课程开发和教学设计的实践问题，提高教学质量。对参与校企合作的企业而言，能力测评为企业参与人才评价提供了平台，为企业掌握“准员工”的职业能力发展情况提供了基础，有助于企业完善相应的人力资源管理与开发措施。实证还研究发现，COMET能力测评结果与工作绩效具有较高的一致性。对教育管理部门而言，这有助于客观、科学地开展职业教育质量评价工作，准确获得职业教育核心参数，实现“以评促教”“以评促改”和“以评促学”，满足职业教育管理的需要。职业能力测评也可以作为职业教育质量评价体系的重要一环，定期、规模化的测评为较大范围的职业教育质量监控提供工具，如，重庆市教委2014年开始连续5年利用此工具开展的中职学校职业能力测评工作等。
COMET测评是一种以促进发展为目的，重在诊断一个群体的职业认知特征，追求代表真实工作要求的“职业效度”，与技能考试相互补充的职业能力评价方法。职业的典型工作任务是全面评价完整的职业能力的基础，这一思想不仅对技能考试、职业能力测评的试题设计有启发意义，也为亟待规范的“职教高考”提供了一种参考。增值性评价是一种重要的发展性评价，它关注过程和变化，代表了教育评价发展的前沿趋势，如果将COMET测评作为增值性评价的工具，可以基于此工具分析职业教育特别关注的能力发展影响因素，例如，实习实训对职业能力影响的净效应，这有助于更好地制定人才培养方案。测评积累的面板数据有利于刻画个体能力发展轨迹，可以掌握能力发展影响因素的变化过程，从而实现持续有效的诊断，为教学改进发挥更大的作用。
（二）对1+X技能等级考核的启发
“学历证书+职业技能等级证书”（即1+X证书）试点是我国职业教育的重大改革实践，但是，目前的职业技能评价方法还无法提供有效的技术支持。传统技能考核缺乏考试学或教育测量理论基础，很难满足测试的信度和效度要求，即保证考试的科学性；高水平技能的评价采用开放性题目，需要大量人力和时间投入，这限制了其使用范围。如何建立高质量的技能考核模型并开发相应的技能评价方法，从而保证技能评价的有效性，COMET测评无疑提供了有价值的启发。
技能评价组织在设计技能考核方法时，应关注信度和效度等质量标准的达成，了解技能评价不是“编写几道试题或设计几个问卷、计算试卷总分、确保没有泄题和舞弊事件”这么简单。职业技能评价方法的理论基础是职业资格研究，COMET采用的典型工作任务分析（BAG）等方法，对识别并描述职业技能要求，并按照职业发展规律设计职业技能标准，具有指导作用。
职业技能评价具有“领域特殊性”特征，应充分考虑技能证书所在领域的工作情境和完成任务的行动类型的不同，有针对性地选择技能评价方法。在开发测试任务时，特别是针对高技能级别的考试，要引入真实性评价策略，其试题不但要满足企业实践的需要，符合职业教育培养目标的要求，而且在实际考试环境下具备可操作性。应强调对问题解决过程的评价，考查学生是否能够对工作过程和工作成果进行反思和改进，并加强对诸如技术敏感性和创新性等高层次实践能力的评价。
COMET能力测评针对特定职业领域的认知特征，与传统技能考试是相互补充的关系。COMET测评不单独考查专业知识，所有内容都包含在情境性的开放式综合任务中，通过对方案的整体性评价诊断职业认知能力。不同职业的综合能力要求（包括知识、技能、能力和素养等）不同，这意味着COMET测评结果对职业行动能力的预测效度可能存在差异，例如，测评结果对互动性较强的职业和设计型职业的行动能力的预测效度有细微差别，但是它的优势也很突出，可以通过大规模的能力诊断，描绘一个群体的职业认知特征的异质性，结合背景调查问卷，进一步分析影响职业能力发展的教育和管理因素。
COMET测评在推广过程中遇到的困难主要是对组织管理专业要求较高。以经合组织（OECD）的“国际学生评估项目”（PISA）为代表的大规模能力测评和世界技能大赛对引入信息技术辅助测评的方式进行了探索，这对COMET测评也有启发，即可以利用数字技术手段进一步提高测评的实施效率和评价的准确性。相关数字化测评系统的开发和使用，标志着此方面探索取得的初步成果。未来，大数据、虚拟仿真和人工智能等技术在职业能力测评中的使用前景也值得研究。
赵志群，高帆.综合职业能力测评（COMET）的理论与实践[J].中国职业技术教育，2022（8）：5-11.
