外语教育研究和学科教育：外语测评在外语教育学科中的内涵与作用

感谢您关注“永大英语”！

罗凯洲 韩宝成

摘要：外语测评是外语教育学科中的重要研究领域之一，它与外语教育其他领域存在直接或间接的关联。厘清关联有助于规避测评的误用,促进不同研究方向融合与发展。本文全面剖析了外语测评对外语教育其他方向的作用,主要包括规范课程评价、反拨教学实践、运用课堂测评、确定语言水平、辅助任务编制、提升测评素养、检验语言能力假设、充当政策工具。

关键词：外语测评；外语教育学；关联

1. 外语测评的内涵

在外语教育领域,“外语测评”时而用作“测量工具”，成为资源分配、资格认定、人才选拔、编班分级、衡量成就、监督进展等教育决策的主要依据;时而用作“测评活动”,外语教师在教学过程中隐性或显性地使用测评,测评成为教学活动的重要环节,教师依据测评结果做出形成性或总结性教学决策。无论是工具还是活动,人们使用测评的核心目的在于采集所测能力的外显表现,以做出能产生正面影响的决策 ( Bachman & Palmer 2010: 38)。由此,“测什么能力”(构念界定)、“怎样测才能准确诱发作答表现”(任务编制)以及“测评结果的解读与使用是否符合预期”(效度验证)便构成了外语测评这个研究领域的主要研究内容(Chapelle et al. 2019)。外语测评是外语教育学科中的重要实践领域(李民、王文斌 2019),具有鲜明的交叉学科属性,与语言学、外语教学、外语学习、教育与心理测量等领域有直接或间接的关联。若误用测评,不仅会对教与学产生负面影响,相关研究的可靠性也会大打折扣。Bachman & Cohen(1998) 认为梳理测评与其他研究领域之间的关联,有助于规避对测评的误用,使不同研究领域相互促进。研究领域间的关联是双向的,为避免重复讨论,本文着重从外语测评角度谈该方向对其他方向的作用。

2. 外语测评与外语课程

课程规划主流观点认为课程评价是其重要组成部分(Richards 2017:277),外语测评对外语课程的作用主要体现在规范课程评价结果的解读与使用。广义的课程评价是对课程设计、目标、教材、讲授等课程规划各要素质量进行的全面评价;狭义的课程评价是对学习者为主的个体进行的评价(Richards & Schmidt 2010:206)。后者通常是评价的重点,也是外语测评领域的主要研究对象。无论对课程进行全面评价,还是对个体表现进行评价,均需借助具体的测评手段(如完整的考试或独立的任务),而对测评结果的合理解读与使用(即效度验证) 是评价最核心的议题 ( AERA et al. 2014:11)。

当前,基于论证的效度验证思想已被国际教育评价领域广泛接受。然而,这一思想用于外语课程评价的案例仍不多见。基于论证的效度验证思想以 Toulmin(1958) 的实用论证模型为理论基础,认为由事实(fact)→主张(claim)的推理过程需要论证,论证需要理据(warrant)支撑,虽然一项论证还可能出现证据、反驳、限定等要素,但事实、主张、理据被视为论证的核心要素( van Eemeren et al. 2014:219)。基于论证的效度验证思想具体衍生出解释/ 使用论证( interpretation / use argument,简称IUA) (Kane 2013) 和测评使用论证( assessment use argument,简称 AUA) (Bachman & Palmer 2010)两个操作模式,两者并无本质差异,但AUA模式可同时服务于评价项目的开发与验证,更适用于课程评价,下文重点关注这一模式。

人们使用具体测评手段进行课程评价的关键在于能否对课程(个体)产生正面“影响”,而影响是否正面取决于“决策”是否合理,决策是否合理又与对测评结果“解读”是否准确有关,解读是否准确则取决于量化或质性的“评分”质量。由此,影响→决策→解读→评分就形成了逐层推理的过程,这就是 AUA 模式的基本构成(见图1)。

图1展示了某学校使用初级英语写作课(期中及期末)考试进行评价的假想案例。依照Toulmin(1958)实用论证模型和 Kane(2006)基于论证效度验证思想,图1中的每段推理,都需要论证。限于篇幅,案例只包含了AUA的核心要素(即事实、主张和理据)。其中,基于写作考试任务的学生作答(表现)是客观事实无须论证,依照学生作答(表现)推出的评分主张由对应理据支撑,若具体证据(如通过统计得出的一致性指标)能够支持对应的理据,评分主张就成为下一段推理的事实,依此类推,形成环环相扣的推理论证链。为保证课程评价质量,初级英语写作课程测评使用论证应在课程设计之初完成构建,不能等课程结束后再去构建和论证。需特别指出,测评使用论证模式的可贵之处在于各主张的可证伪性,改变了以往效度验证“证实主义”的倾向。当某段推理的主张及其理据暂未得到证据的充分支持,可成为发现课程评价真问题的契机。

3. 外语测评与外语教与学

外语测评和教与学的关系最为紧密。外语教与学的路径与方法很大程度上影响了外语测评的路径与方法(韩宝成 2003;Weir et al. 2013)。外语测评也对教与学发挥重要影响,体现在反拨教学实践、运用课堂测评、确定语言水平等方面。

3. 1 反拨教学实践

20 世纪 80 年代后,以美国托福、英国雅思、中国大学英语四、六级和高考英语为代表的超大规模标准化外语考试引发了各界广泛关注。人们依照上述考试的成绩做出各类高利害决策,对教学实践产生重要影响。研究者将测评对教学实践产生的影响称为“反拨效应” (washback effects) (Alderson & Wall 1993)。测评领域对反拨效应的关注与整体效度理论(Messick 1989) 强调成绩使用带来的社会影响( social consequences) 不无关联。20 世纪 90 年代后,反拨效应一度成为测评领域的研究热点。反拨效应研究表明测评对于教学的负面影响往往大于正面影响。所谓负面影响主要指教学内容和方法偏向应试,偏离了既定目标。近年来,我国学者也透过反拨效应研究发现了外语教学普遍存在的问题。亓鲁霞(2017)在调查初二年级英语教学现状时发现英语教学与大纲(或课标)的要求相去甚远。初二教材中有助于培养英语综合运用能力的任务被弃之不用,取而代之的是针对中考英语的语言知识灌输与机械操练。这些现象在高中英语教学,甚至大学英语教学中也屡见不鲜。表面上看,是测评带来了所谓的负面反拨。然而,造成负面反拨的根本原因是人们对测评的误解与误用。为扭转不科学的评价导向,外语教育工作者要理解测评本质,区分测评功能。在评价课程或教学质量时,管理者应关注教师对教学大纲(课标)的完成情况,以及学生对既定能力要求的掌握情况。测评开发及研究者要特别关注现实世界的外语实际使用情况,熟悉语言学、外语教学与学习的相关理论,深入了解外语教学现状,并以前沿测量理论做指导,界定测评构念、编制测评任务并实施效度验证。一线教师也应该提高自身测评素养,树立科学测评理念,通晓各类测评模式,妥善处理好测评与教学的关系。唯有各方共同努力,测评与教学才能“融合”,而非“对立”,正面反拨效应才会显现。

3. 2 运用课堂测评

传统观念认为由专业机构研发的标准化测评与教师自主实施的课堂测评“泾渭分明”。这一观点隐含不少有待商榷的“预设”。例如,将标准化测评等同于总结性测评,课堂测评等同于形成性测评;认为标准化测评是高利害测评,课堂测评是低利害测评;笃信总结性测评通常给教学带来负面反拨,形成性测评才能带来正面反拨。其实,教育与心理测量主流观点认为标准化测评与课堂测评并非“互斥”关系,而是测评实施或使用的环境存在差异;总结性测评与形成性测评也非“互斥”关系,而是决策的类型不同,在一定条件下“总结”与“形成”可以相互转化;此外,测评能否带来正面反拨与其类别及决策利害程度并无直接关系,关键在于对结果的解读与使用是否合理。具体来看,课堂测评并非测评的一种固定“类别”,而是发生在课堂环境中的测评活动。有别于“课堂之外的测评”,“课堂之内的测评”更专注服务教学决策,实现促学目的。Bachman & Damböck (2018:17)认为课堂环境中测评的使用有隐性和显性之分。在隐性课堂测评中,学生并未意识到测评发生,测评活动以观察、提问等常见形式出现,与教学浑然一体。讲授活动持续交替进行。隐性的课堂测评决策以形成性为主,包括纠正学生回答、调整提问方式、提供作答范例、重复讲授内容、改变讲授速度等。隐性的课堂测评偶尔也有总结性决策,如依照参与程度或表现好坏决定学生是否重做任务。显性课堂测评的特点是测评与讲授活动区分明显,学生明确知晓测评活动发生。显性的课堂测评决策以总结性为主。例如,某学校英语口语课结束后,教师实施期末考试,其主要目的在于认定学生能否进入下一阶段课程学习。显性的课堂测评决策其实也能转化为形成性决策。例如,学生拿到了带有诊断信息的期末口语成绩报告单后,了解自己在语音语调、语言运用、话题阐述等方面的优势与劣势,由此明确了努力方向并调整了学习目标和内容。在隐性和显性课堂测评之间还存在一些名为“测评”实为教或学的课堂活动,如自我评价、同伴互评、档案评价( portfolio assessment),其相关结果一般用于形成性决策。

3. 3 确定语言水平

外语测评与外语学习研究也有千丝万缕的联系。外语学习领域的研究者时常借用各类测评手段辅助研究的设计与实施,由此做出研究决策。总体来看,外语测评对外语学习研究的主要作用在于确定被试的语言水平(Drackert 2015:21)。例如,使用测评筛选特定语言水平的被试参与实验;部分研究会把语言水平(具体分数或等级)直接作为变量融入研究设计与研究问题;还有一些研究旨在发现造成被试语言水平差异的因素。Bachman(2004:10)曾总结外语测评在外语学习研究领域辅助决策的类型,如通过测评结果决定未来研究是否引入新的研究问题或研究方法、更新人们对特定语言现象的描述和解释等。合理的研究决策要依靠测评手段的正确使用与解读。在外语学习研究中常见的测评手段有元语言判断(metalinguistic judgement) (如语法正确性判断)、选择型作答任务(如多项选择题)、半开放的建构型作答任务(如填空题)以及全开放的建构型作答任务(如邮件写作)。遗憾的是,有些研究在测评手段使用与解读方面存在偏差,进而影响研究决策的可靠性。例如,研究中采用的测评任务(或试题)数量不足,难以保证结果的一致性;缺少高质量的评分标准,所得结果解读含混不清;未计算和汇报必要的统计指标(如难度、区分度、信度),难以确保结果的可靠程度(Purpura et al. 2015)。因此,不少学者(如Bachman & Cohen 1998;Winke & Brunfaut 2021)都曾呼吁,两个领域研究者必须加强沟通才能取得实质进步。外语学习研究者要了解测评的重要理论,如效度验证的各类模式、经典测量理论以及项目反应理论,熟悉测评手段设计的基本原则;外语测评研究人员也要了解外语学习理论才能认清语言能力的发展,更科学地界定测评构念。

4. 外语测评与教材编制

在外语测评领域,“任务型语言测评”近年备受追捧。然而,“任务”并非测评领域独创,其理念主要来自教学与学习研究(韩宝成 2003)。外语教学和学习领域将任务视为教学或学习的基本单位(Dörnyei 2002:137),测评领域也将任务看作测评的基本单位(Bachman & Damböck 2018:88),任务的重要性可见一斑。尽管不同领域对任务的定义略有不同,但普遍认同任务构成的基本原则,如真实沟通情境(任务改自现实世界的语言使用)、沟通结果导向(评价任务完成表现,重点关注沟通目标是否达成,而非仅关注语言运用的准确性)、聚焦意义协商(强调运用语言去完成任务,而非单纯学习语言知识或技能)(Ellis 2019:12)。教材是连接教与学的重要纽带。授课时,教师往往直接选用教材中的任务。教材任务编制的质量直接关系到教与学的效果。Bachman & Palmer(2010:28)认为教学任务和测评任务并无本质区别,其差异主要在于使用任务的目的。用于教学的任务旨在提升学生语言、认知、情感与社交等方面的能力,最终达到促学目的;用于测评的任务意在采集学生完成任务的表现,以利正确决策。无论教学中的任务还是测评中的任务,都应反映真实语言沟通情境中任务的特征,因为“教”“学”“测”的最终目的是“用”。教材任务的质量越高,越有助于教师打通用、教、学、测间的藩篱。然而,如何编制优质的任务,人们并未形成共识。Bachman & Palmer(2010)提倡用“任务特征框架” ( task characteristics framework) 编制任务。任务特征框架原本为撰写测评规范(specifications)提供依据,同样可为教材任务编制提供有益参考。该框架由“背景特征”(如任务场景、参与者、目标)、“程序特征”(如任务完成时间、子任务数量与关系)、“输入特征”(如输入材料的话题、信息传播形式、语言组构及语用特征)、“预期输出特征”(预期输出的语言组构及语用特征)、“输入与输出关系特征”等五大部分及其要素构成。教材研究者或编写者可依据该框架将教学任务、测评任务与现实世界语言使用任务进行比较,使教材中的任务不偏离现实语言使用,避免“两张皮”现象。

5. 外语测评与教师教育

外语教师专业素养始终是外语教师教育的重要研究内容。近年来,专业素养中的语言测评素养(language assessment literacy)成为外语测评以及教师教育等领域的新热点。语言测评素养源自教育学领域的测评素养概念,主要指将测评理论付诸于语言测评实践的知识、技能、能力及观念(Fulcher 2012;Inbar-Lourie 2017)。外语教师对测评的认识与运用,直接影响教与学的动机与效果。遗憾的是,虽然频繁接触与使用测评,外语教师未必对其有透彻了解。教师及其他利益攸关者缺失测评素养的后果很可能是误用甚至滥用测评(何莲珍 2020),负面反拨效应由此产生。教师的教学能力固然重要,与之同样重要的还包括有效评价教学和学习效果的测评能力(孙海洋、熊洁 2020:75)。我国的语言测评素养研究大致分为两类:理论框架与体系构建、现状分析与需求调查(金艳2018)。如何提升教师测评素养的实证研究在我国尚不多见。目前,提升教师测评素养的主要途径是短期培训,但人们发现尽管短期培训对快速提高任务编制技巧、了解测评基本概念、熟悉简单统计方法等方面有效果,但未必能扭转教师长久以来形成的错误测评观念和做法(Lam 2015)。因此,应把测评知识与技能纳入教师资格认定的范畴以及职前教师的课程体系,采用反映国际教育与心理测量前沿的高质量教材,才能从根本上扭转测评素养培养难成体系的问题(Coombe et al.2020)。此外,应以动态的眼光看待教师测评素养的发展,循序渐进实施教师教育项目。此外,要摸清教师现有知识水平、实践习惯与观念,培训内容应聚焦如何有效开展基于课堂的测评。

6. 外语测评与语言本体研究

人们对语言及语言能力本质的认识影响外语教育的理论与实践。尽管语言本体研究的生成、功能、认知学派对语言及语言能力本质持不同观点,但功能学派对语言测评影响最为深远。功能学派将语言视为具有意义潜势的社会符号形式,认为语言能力源于社会交际实践,既包含抽象的语言知识,也是人类的普通行为,因此不能忽视语言使用的功能与情境(Jordan 2004:6)。Bachman(1990) 吸收了功能学派以及社会语言学对语言能力的阐述后,构建了“交际语言能力”模型,主要用以指导测评构念界定。交际语言能力模型由语言能力、策略能力和心理生理机制组成。随后,Bachman & Palmer(1996)将其更名为“语言能力”,只包含语言知识和策略能力。语言知识由语言组构知识和语用知识以及二者各自对应的语法、语篇、功能、社会语言等具体知识构成;策略能力包括目标设定、计划与评价,在语言运用过程中起到管理功能。测评领域曾一度热衷于检验语言能力的构成假设,也开展了不少“构念效度”验证研究,虽然后者主要目的是验证测评有无考到既定构念,但从另一侧面也检验了语言能力构念(假设)是否成立。外语教育领域未来开展的能力假设检验的研究,可以借鉴测评领域效度验证研究中的量化或实验研究方式。

7. 外语测评与教育政策与规划

外语测评与外语教育政策与规划也存在依存关系(Shohamy 2006)。长久以来,语言测评一直被当作语言政策与规划实施的工具( Spolsky 2009),甚至被看作 政策的化身 ( Menken 2017: 385 )。Fulcher(2009)从政治哲学的集体主义与个人主义视角分析了测评充当政策工具的具体作用。从集体主义视角来看,测评成为管理整个教育体系的方式,用以增强国家认同与归属感、将个体分类到集体以保护集体的利益、通过问责( accountability)以确保统一教育标准的施行等。例如,用于实现语言教学、学习和测评“整齐划一”的《欧洲语言共同参考框架》 (Common European Framework of Reference for Languages,简称CEFR) ( Council of Europe 2001)就是这一视角下的典型案例。从个人主义视角来看,测评可帮助个人专注自身潜力发展、保证个人获得关键知识与能力等。例如,关注学习者个体发展的诊断性及课堂测评通常被归属为个人主义视角。

教育类测评(如高考)通常被视为实现教育乃至社会公正的重要手段。我国教育部于 2018 年颁布了《普通高中英语课程标准(2017 年版)》,这是针对基础外语教育政策与规划的重要文件。课标对高考的命题依据做出规定,尤其强调了通过高考促进学生核心素养发展的现实意义。此外,2019年我国教育部考试中心制定的《中国高考评价体系》阐明了高考的三个核心功能,即立德树人、服务选才、引导教学,明确指出高考应以核心价值为引领。其实,测评开发与使用从来不是价值中立,隐含着研发人员和决策人员等利益攸关方的价值取向(Hubley & Zumbo 2013:3)。高中英语课标和高考评价体系的推出,有助于提升测评研发的质量、有助于用好充当政策工具的测评。

8. 结语

本文重点从外语测评视角剖析了测评与外语教育其他研究方向的关系,所起的作用或贡献,包括以下方面:规范课程评价、反拨教学实践、用于课堂测评、确定语言水平、辅助任务编制、提升测评素养、检验语言能力假设、充当政策工具。限于篇幅,本文论及的测评与其他方向关系难免有挂一漏万之嫌。在梳理测评与其他方向过程中,发现外语教育的各方对测评均存在不同程度的误解和误用,有待提高测评素养的不仅限于教师一方,还应涉及政策制定者、课程管理者、研究者、教师、甚至学生。测评素养提升的核心在于树立正确的测评观念,并了解测评目的、构念界定、任务编制与效度验证的基本内容和原则。诚如前文所述,测评研发有专业与非专业之分,测评规模有大与小之别,但其采集作答表现以利决策的本质相同。测评最终能否促学,并不在于是何“类别”,而在使用的人能否对测评本质有精确理解、能否对测评决策有合理运用。

（参考文献 略）

（本文首次发表在《外语教学》2023年第2期）