原题：合作问题解决能力的测评：PISA2015和ATC21S的测量原理透视

　　作者简介：袁建林，北京师范大学教育学部(中国基础教育质量监测协同创新中心)博士生；刘红云，北京师范大学心理学院教授，博士生导师。北京 100875

　　内容提要：如何利用技术测量高阶能力，是当前国际教育测评领域研究的前沿课题。PISA2015和ATC21S分别利用“人机交互”的方法和“人人交互”的方法测量了学生的合作问题解决能力。“人机交互”基于会话代理技术，将项目嵌入学生与代理的对话过程，获取学生的项目反应，推断其潜在能力。“人人交互”实时记录两名学生合作完成任务过程中的对话与关键行为，形成过程流数据，利用评分算法从过程流数据中抽取证据推断学生的潜在能力。合作问题解决能力的测评为我国教育测评领域的发展提供了以下思考：加快发展基于计算机的测评技术，加强对高阶能力的测评研究，改进测评的功能。

　　关 键 词：合作问题解决 测量方法 PISA2015 ATC21S

　　标题注释：国家自然科学基金项目“密集型追踪数据中时变效应的分析及其在心理学研究中的应用”(项目批准号：31571152)。

　　[中图分类号]G40-058.1 [文献标识码]A [文章编号]1006-7469(2016)12-0045-12

　　随着社会分工日趋精细化，交流合作成为人们工作与学习过程中不可或缺的环节，两人或多人合作解决问题成为推进工作进程的基本范式。相关理论框架表明：合作问题解决(Collaborative Problem Solving)是一种同时包含社会技能(合作技能)和认知技能(问题解决)的高阶能力。[1-2]在测评领域，对高阶能力进行大规模测评突破了传统学业成就测验的局限，需要全新的测评理念、测量技术的支撑。PISA2015和“21世纪技能的评价与教学”项目(Assessment & Teaching of 21st Century Skills，简称ATC21S)基于计算机技术构建复杂任务情境，测量学生在真实任务情境中的合作问题解决能力，在国际教育测量与评价领域有着重要影响。

　　本文主要分析PISA2015和ATC21S的测评过程与方法，以期为促进我国教育测评理念和技术的发展提供借鉴和启示。

　　一、合作问题解决能力测评的背景

　　21世纪以来，社会的变革驱使教育思考如何为学生在未来社会中获得成功做更好的准备，并由此形成了一场以构建核心素养(也称21世纪技能)模型为代表的教育目标反思思潮。[3]在这场反思中，对于核心技能的测评以及基于测评结果促进核心技能的培养是教育测量与评价领域需要研究的新问题。许多著名的教育测评机构和组织选取了部分核心技能进行了测评研究，比如，从2003年开始，美国教育测验服务公司(Educational Testing Service，简称ETS)一直致力于学生的信息素养(Information Communication Technology，简称ICT)测评；PISA于2003年采用纸笔形式测量了学生的问题解决能力，并在2012年基于计算机的形式测量了学生在真实任务情境中的问题解决能力；2013年，国际成人能力评估项目(Programme for the International Assessment of Adult Competencies，简称PIAAC)测量了成人在丰富技术环境下的问题解决能力。源于核心技能面向未来工作所需的愿景，同时能将多个核心素养框架都包含的合作与交流、问题解决、决策制定等技能融入合作问题解决这个简单而又复杂的概念中，因此，合作问题解决能力的测评引起了教育测评领域的重视。[4-8]其中两个有代表性的大型项目分别是PISA2015和ATC21S，它们利用计算机技术构建的复杂任务情境测量学生的合作问题解决能力，在方法和技术上引领了教育测量和评价的发展，为核心素养这类高阶技能的测评提供了宝贵的经验。

　　(一)ATC21S项目简介

　　2008年，在伦敦举办的“学习与技术世界论坛”上，思科、英特尔、微软三大信息技术巨头联合发布了“评价行动倡议”，提出发展新的途径、方法和技术来测评21世纪技能，并基于评价数据帮助学校在课堂教学实践中培养学生的21世纪技能，以此促进教育系统全方位改革。[9]在本次会议上确定实施ATC21S项目，实施周期为2009年-2012年，由澳大利亚墨尔本大学评价研究中心领导，主要参与成员包括加州大学伯克利分校、斯坦福大学、PISA、国际教育成就评价协会(IEA)等大学和组织的优秀教育测量与评价专家、教育政策专家。此外，澳大利亚、新加坡、美国、荷兰、芬兰、哥斯达黎加共16000多名15岁左右的学生参与了测验的具体实施。[10]按照“评价行动倡议”的设计，该项目选择合作问题解决和数字化网络中的学习两种技能进行测评。

　　(二)PISA2015项目简介

　　PISA项目由于上海的两次参与并取得优异成绩而被国内社会各界广泛知晓，也因为其为各国基础教育提供可比较的统一量尺而被国际社会接受和认可。PISA2015测试项目主要侧重科学素养，还包括阅读素养、数学素养、合作问题解决能力，其中合作问题解决能力的测评在PISA2012基于计算机测评问题解决能力的基础之上，采用更加复杂的设计和技术。PISA2015测评合作问题解决能力主要有以下缘由：首先，当前世界各国的教育体系中，课程与教学改革注重培养学生的批判性思维、问题解决、合作技能，强调基于项目和探究导向的学习、合作学习，在学习过程中注重学生交流、合作完成切合学生实际的情境型任务，但又缺少评价合作技能的精确标准，在教育评价的实践中鲜见对这些高阶技能的测评；其次，现实工作环境需要员工更多地交流与合作，合作、问题解决、ICT技能是未来社会公民必需的基本素养；[11]再次，随着评价理念的发展，标准化测验受到人们的批判，评价的基本出发点需要从“学生学到了什么”转向“学生能做什么”[12]，大规模评价不能只关注那些容易测量的传统学科领域，需要利用新的手段和技术测评学生的高阶能力、社会技能、情感态度等。

　　二、合作问题解决能力的测评框架

　　当前，各个国家和国际组织定义的核心素养框架包含的核心技能都是高度抽象概括、结构复杂的高阶技能，这些技能既包含知识与能力层面的认知成分，又包含态度、价值和伦理规范方面的一般心理倾向。宾克利(Binkley)等人利用KSAVE模型，从知识、技能、态度、价值与伦理层面来分析核心素养框架中所包含的高阶技能，他们把每一类高阶技能所包含的成分分为三大类，分别是知识层面、技能层面(能力层面)、态度价值与伦理层面。[13]PISA2015将合作问题解决能力定义为：个体能有效参与两个或两个以上代理的问题解决过程的能力，在该过程中他们共享达成问题解决方案所需的理解与努力，同时联合他们的知识、技能与努力来实现达成的解决方案。[14]对于这个复杂的理论构念，PISA2015和ATC21S都认为合作问题解决既包含社会技能层面的“合作”，又包含认知层面的“问题解决”，特别需要注意的是，与交流、记忆、理解等简单技能相比，“合作”与“问题解决”也都是结构复杂的高阶能力。此外，核心素养这类高阶技能不仅结构复杂，它们与一般教育和心理测量领域中的大部分认知能力和心理特质一样，都属于学生个体的潜在特质，不能被直接地观察和测量。

　　如何测量合作问题解决能力这类高度抽象、结构复杂、同时又难以直接观测的高阶能力是当前教育测量与评价领域的难点问题。PISA2015和ATC21S主要通过三个关键步骤解决这个问题：首先，定义与合作问题解决这个理论构想“等同”的操作性定义框架；其次，依据操作性定义框架利用计算机技术构建复杂的任务情境，在任务情境中设置一系列基于潜在构想而产生的观察指标，每个观察指标对应操作性定义框架中的某一种技能或某一种元素；最后，在学生完成任务的过程中获取学生对系列观察指标的反应，从而对学生的潜在能力进行推论。在这一系列过程中，定义等同的操作性定义框架是非常核心的一步，它是任务设计、潜在构想推论的依据，关系到潜在构想能否有效地被测量。所谓“等同”是指操作性定义框架要包含理论构想中的所有成分，要与理论构想具有相同的结构。在教育测量的实际工作中，由于人们对理论构想的研究和理解的不同，因此会产生不同的操作性定义框架。对于合作问题解决，PISA2015和ATC21S所提出的操作性定义框架有较大区别。