多角度教学质量评估的一致性分析及对策研究

摘要：学生评教是教师教学质量的直接反馈，督导评教是教师教学质量的监督手段。以某所“双一流”大学8468名本科生4年的培养过程数据为研究对象，从教学督导、学生角度出发，分析不同视角下教学质量评价结果的一致性。在SPSS软件上采用t检验对督导和学生评教进行一致性检验，对结果进行量化后，发现督导评教和学生评教在90%的课程上具有一致性，并对小部分的差异课程进行分析。特征分析结果表明，差异课程具有规模小、开课学期集中度高、学生成绩偏低的特征;相关性分析结果表明，督导和学生评教与课程属性、开课学期及课程规模相关性显著。鉴于此，提出优化差异课程结构、探索新型教学模式、完善学生评教体系的建议，以更好地指导课程改进。

关键词：双一流;高等教育;教学质量评价;学生评教;督导评教;一致性分析

引言

“双一流”学科建设是一项重大国家战略，其目标是打造中国高等教育领域的尖端学科，为提升国家综合实力和国际竞争力培养一流人才。2015年8月，国务院印发《统筹推进世界一流大学和一流学科建设总体方案》[1]，推进了新时代高等教育建设改革。“双一流”教学质量是影响高等教育发展的重要因素，教学质量评价在高校教学改革中起着关键的决策作用[2]。目前，高校教学质量评价已形成一套成熟的体系，由教学专家、教学同行和学生评价以及教师自评的多视角评价方式构成[3]，其中教学专家评教和学生评教是多数高校普遍采用的评教方式。教学专家是从专业、客观的角度进行评价，具有规范性和形式性，学生评教是从主观角度进行评价，具有真实性[4]。不同视角下评教方式所反映的教学质量评价结果之间有何联系，对高校教学改革有何启示，值得深入探究。本文针对多视角教学质量评价的一致性进行分析，揭示内在的现象特征，就存在的问题提出应对策略，以推动高校教学改革，优化“评”与“教”的关系，提高教学质量。

相关研究

为深化高校教育改革，提高办校办学水平，完善并评估高校教育的教学质量评价具有实际应用价值。从20世纪90年代改革开发以来，我国教育管理体系就形成以“学生为中心，立足于育人”的教学理念[5-6]。在这种教学理念的指导下，高等教育逐渐偏向以学生评教的方式对教学质量进行评价为教学改革的重要反馈。

许多学者从学生或督导评教方面出发，对教学改革进行研究并提出相关建议。廖明等[7]基于学生视角，构建多元线性回归模型研究课程知识的实用性、教师授课方式和教科书的质量对教师授课效果的影响;朱征军等[8]则指出思政课程是高校立体化育人的核心，采用一致性原则，从思政目标的引领性、反馈评估的一致性及育才育德的结合性三方面出发，改进思政课程教学;李磊等[9]探索“教师—学生”双主体互动教学模式，结合任务驱动型与案例教学方式，有效地锻炼了学习发现、分析及解决问题的逻辑推理能力，同时避免了以单一主体确定教学质量，有利于教学客观反馈;Shen等[10]运用模糊综合评价方法对护理情景教学质量进行评价，制定相应评价体系，利用层次分析法确定各指标权重，以指导更高质量的实践教学;Ali等[11]提出加权区间值双主模糊集(WIVDHFS)，它是一种以区间形式描述决策因子及非决策因子的关系，为影响力大的区间分配不同权重并提供关于决策结果更多信息的方法[12]，帮助决策者在决策问题上获得准确合理的结果，并验证了WIVDHFS在教学质量评估中的应用;谢淮北[13]使用层次分析法对实验教学质量进行综合评价，构造指标层的判断矩阵;张祥瑛等[14]运用多组有序变量的秩和检验构建多主体的课堂教学评价体系，分别从各自角度解决了单一评价方案会导致教学评教可信度低的问题;吴培群[3]指出专家与学生评教存在一定差异，专家评分过于依赖显见性因素，学生评价依赖“就读经验”。

随后，学者们引入统计学方法，研究督导评价与学生评价的一致性、差异性，提出评教方式优化和教育质量改革。赵玉[15]采用统计学上的多面RASCH模型从学生、教师、评教指标3个侧面分析教师教学能力，消除不同侧面评分的差异性，使评教指标客观化，提高多视角评教一致性;高巍等[16]使用Jaccard系数和Kappa统计量的一致性检验，论证了国外科学工程专业相关指标体系(COPUS)可以作为教学质量评价的参考，但他们也指出了中外教育观的差异，引入国外的COPUS教学评价量规具有一定困难;秦昳等[17]针对单一的教学评价方法导致人才培养目标与社会产生脱节的问题，提出建立云模型评价体系，借助云模型对概念和数值之间的转换能力，解决教学质量影响因素的量化问题。

近几年，不少学者在优化教学质量改革工作方面，运用了计算机软件和大数据分析方法。Tang[18]设计了一种基于智能学习的评价方法，通过对评教数据进行压缩，利用受限玻尔兹曼机法加权计算参数，实现了对网络课程教学的评价，以及加快信息查询、场景构建、数据管理等在线功能运行;周巧婷等[19]运用S2SH架构设计教学质量评价系统，实现了教学质量评价的网络化和数字化，有效提高了质量评价效率;张俊等[20]依托网络评教系统，独立实现了将教学质量评价网络化、数字化，使得教改人员全方位快速获得教学水平与质量的数据支撑，深入地从评教结果中发现问题，进行教育改革与发展，从而提高办学水平和教学质量。

在不同教改背景下，现有研究工作针对的对象、采用的方法大同小异。“双一流”大学是我国“国之重器”，其教学质量、教学评价直接体现了我国高等教育的最高水平。“双一流”学科建设改革研究成果相对缺乏，在《统筹推进世界一流大学和一流学科建设总体方案》阶段性完成之际，本文基于多视角并应用网络评教系统，研究某“双一流”高校的本科评教体系，对不同视角的评教数据进行差异性分析，全面优化评教体系，实行科学评教管理。

研究对象与研究方法

研究对象

本文以某所典型“双一流”高校2016级本科生为研究对象，从高校网络评教系统中提取本科生4年的培养数据数据具体包括8468名学生基本信息、5595门课程及其期末考试成绩、3328位教师课程评教情况。该高校的评教方式为督导评教和学生评教两种视角，评教数据包括学生评教数据3万余条，督导评教数据2808条。其中，督导评教是从教学态度、教学内容、教学方法、教学准备及教学效果等指标对课程进行评估;学生评教是完成课程学习后，在期末统一对所有课程的教师进行评教，以总分形式给出。本文借助评教数据，从督导、学生的角度，对某类课程教学质量评价结果的一致性进行分析。

研究方法

本文主要采用t检验和相关性分析相结合的方法分析不同视角教学质量评价的一致性。为了保证评教数据的

准确性，本研究对异常数据作了处理。首先，对数据进行描述性统计，了解督导评教与学生评教的特点;其次，采用独立样本的t检验法对督导和学生的评教分数进行差异性分析[21-22]，并根据检验结果作更进一步分析，如果检验结果存在差异，则对差异情况进行特征分析;最后，运用统计学上的Pearson相关系数刻画督导和学生评教之间的关系，揭示不同视角教学质量评教的内在联系，从而找出影响教学质量的因素，更好地指导高校教学质量改革。本文统计分析结果在SPSS24.0软件中完成，无特殊注释情况下，显著性水平一般取0.05(α=0.05)。

多视角教学质量评价一致性分析

多视角教学质量评级情况

本文对某“双一流”高校2016级学生(包括少数重修学生)的课程评教数据进行统计分析。在3万条学生评教数据中，清洗了无效数据(极高、极低分)，得到同时有学生和督导对教师课程评教的有效数据合计1590条，这些课程包含的课程覆盖了全校26个学院，其开课时间集中分布在2018-2020年4个春、秋季学期，描述性统计结果如表1所示。

从图1可知，督导和学生评教分数的直方图中心趋势线呈钟形，可认为督导和学生评教分数的分布基本符合正态分布规律，说明评分数据合理。因此，可采用t检验方法对数据进行差异性分析。

根据两个独立样本的检验结果表2可知，对于督导和学生对课程评教的分数，F值为2.498，其Sig=0.114>0.05，可认为督导和学生的评教分数方差相等;在方差齐时，t统计量的Sig=0.000<0.05，故拒绝原假设，认为督导和学生在教学课程上评分存在差异，该差异具有统计学意义。

从表1可知，督导评教平均分为86.12，学生评教平均分为90.68，督导的评教分数整体比学生低4.56分，标准差比学生评分低1.03分;从变异系数看，督导和学生的评分组内个体间离散程度较小，说明督导和学生评教分数在平均值附近较为集中。根据上述统计结果发现，督导评分普遍低于学生评分，两者存在一定差异性。

为验证督导评分和学生评分是否存在显著性差异，先对1590条有效的评教数据进行正态性检验。

教学质量评价差异性量化

上文已经得出督导和学生的教学质量评价结果不完全一致。为考察存在显著差异的课程情况，进一步地对教学质量评价的差异性进行分析。教学质量评价的总体情况有3种，即督导和学生同时评分高、督导和学生同时评分低，以及督导和学生评分存在不同级别的等级差。本文设定前两种情况为一致性评教，第三种情况视为差异性评教。为了找出评教一致和差异相对应的课程特征，进一步对课程差异性进行量化，将督导和学生的评教分数转换为5个评教等级，即分数≥95分设为优秀，95分<分数≤85分为良好，85分<分数≤75分为一般，75分<分数≤60分为合格，分数<60分为不合格，并按等级从高到低分别量化为5、4、3、2、1。将督导和学生的评教分数转换为等级制后，能明显看出两者区别，督导评教的结果主要集中于“良好”和“一般”两个等级，而学生评教结果集中在“优秀”和“良好”两个等级，具体如图2所示。

本文将督导和学生评教等级差在两个等级及以上的视作显著性差异，将评教等级差在一个等级以内的视为一致性评教。经筛选，在1590条有效评教数据中，得出165条为具有显著差异的数据，即约10.3%的数据显示学生和督导评教存在显著性差异;89.7%课程的评教具有一致性。其中，一致评价差(评教分数小于75分)的课程仅有21门，约占1.47%，一致评价好的情况占大概率，这说明该高校的评教体系是合理的。总体课程差异情况结果如图3所示。

具有差异与一致评价差的课程特征分析

在以上分析中，已经了解到督导和学生的评教结果有89.7%的概率趋于一致，该结果符合客观事实。为课程改革方案提供指导性帮助，对评教具有差异性的课程以及被督导和学生一致评价差的课程进行特征分析，具体如图4—图7所示。

从图4可以看出，显著差异课程学生成绩平均分为75.68，一致评价差的课程学生成绩平均分为69.42，可得知这两类课程对学生而言难度都较大，学生成绩整体不高。

根据图5—图7可得出以下两个结论：

显著差异课程主要是必修课，由某工科学院承担，属于工科类课程。具有显著差异的课程开课时间与所有课程分布一致。根据该类课程规模显示，上课人数在11~100人以内，可以得出该类课程主要为专业类课程。

一致评价差的课程主要是选修课，且主要由理工类学院承担。课程开课时间主要集中在2018-2019秋季学生评教产生0.01显著相关，说明学生上课状态是督导和学生同时比较关注的点。期内，2016级学生正处于大三下学年阶段，课程人数在100人以内，由此推断出该类课程属于基础公共课程。

综上，可总结得出差异和评价差的课程都具有规模小、开课学期集中度高、学生成绩偏低的一致特征。

督导与学生评教相关性

在高校中，督导对教学质量评价是依据一套指标体系完成，该指标体系能客观准确地反映教学基本情况，涵盖教师的思想态度、授课形式、仪容仪表、教案设计、课堂氛围等方面。本文所选取大学的课程评教体系包括一级指标和二级指标，具体如表3所示。

由表5可知，督导和学生评教都与课程属性、开课学期及课程规模显著相关。具体表现为必修课的评价分数高于选修，选修分数高于任选，这种现象在督导评分中尤为明显。开课学期越往后、规模越小的课程，评价就越高。对于全校性的公共课，比如体育课、思政课等，督导和学生对其教学评价比专业类课程低。此外，学生评教还与授课教师具有正相关联系，入职时间排在靠后的教师，学生对其教学质量评价就越高，说明学生更偏向于新来的教师。

为了进一步找出差异课程的内在原因，考察督导评教的指标体系与学生评教之间的联系，采用统计学上的相关性进行刻画，包括所有课程上学生综合评分与督导评教各项指标的相关分析、督导和学生评分与课程特征的相关性分析，从而揭示多视角评价的内在标准，找出差异存在的影响因素。

由表4可得，学生评教与督导的评教指标x5、x8呈现出

0.05水平的显著性，以及与x4、x7、x9和x10在0.01水平上也呈现显著相关性。特别地，x7和x10指标的相关系数大。具体表现在学生注重教师在教学课程上的目标和任务是否清晰明确，以及教学信息技术、传统教学手段、教学资源等应用是否合理这两方面。同时也看重教师备课情况，反映在教师上课时是否能透彻阐述课程内容，还有教师的普通话水平对评教也会产生一定影响。x9和x10都属于学生上课的状态，是督导评分标准里分值最高的两项，也是与学

总结与建议

总结

本文以某所“双一流”高校2016级本科生4年培养过程的相关数据为研究对象进行多视角教学质量评价结果的一致性分析，挖掘不同角度教学质量评价结果之间的联系，为学生个性化培养、培养方案优化、教学质量改革提供量化参考。根据对评教结果的定量分析，高校应将评教结果及时反馈至学院和教师，并在课程设置和课程教学上作出相应调整，一定程度上帮助教师改进教学，促进教师在教学过程中与学生形成良好关系。