提高信度和效度的方法

提高信度和效度的方法

提高信度和效度的方法 篇1

交际策略问卷信度和效度的研究

该研究从心理语言学和社会交互性的角度对交际策略加以定义,并将交际策略分为减缩策略,成就策略,交互策略和拖延策略,然后着重对交际策略问卷的效度和信度进行了分析. 该研究选取30名在校学生对同一份问卷进行了前后两次调查,对每个策略选项两次调查的相关性和一致性以及量表的`信度进行了定量分析,对每个选项的可接受性和量表的效度进行了定性分析.最后得出结论,这一问卷对测量学生交际策略的使用情况是基本有效的, 并从词汇、选项理解、级别理解、调查间隔时间等几个方面提出了对问卷设计和实施过程的改进方法.该研究体现了调查问卷的有效性研究的一般方法.

作 者：张荔 王同顺 ZHANG Li WANG Tong-shun 作者单位：上海交通大学外国语学院,上海,30刊 名：外语研究 PKU CSSCI英文刊名：FOREIGN LANGUAGES RESEARCH年，卷(期)：“”(1)分类号：H319关键词：交际策略 问卷 效度 信度

提高信度和效度的方法 篇2

信度和效度是用来反映研究工具质量高低的2个指标, 高信度和高效度的研究工具是科研的必需条件[3]。在调查研究中问卷质量的高低直接影响所收集资料的准确程度, 继而影响根据调查结果所得出结论的可靠性。因此, 使用问卷做调查研究前应先评估问卷的信度和效度。信度包括稳定性、内在一致性和等同性3个主要特征, 其中内在一致性信度最为常用, 一般通过计算Cronbach’sα系数来表示;效度可以用内容效度、效标关联效度和结构效度来反映[3]。现就问卷的内在一致性信度和结构效度的R软件实现作一阐述, 以期为同行评价问卷质量提供方法学参考。

1问卷内在一致性信度的R软件实现

[例1]在1次调查研究开始前, 某研究人员随机抽取了30例样本, 使用自制问卷进行预调查, 得到30例样本的调查数据, 试评价问卷的内在一致性信度。调查问卷包含50个条目, 均采用Likert 5级计分法。步骤: (1) 将30例样本的数据输入Excel表格 (也可使用EpiData软件录入后导出为Excel文件) , 先分别求30例样本的50个条目之和, 结果作为一个新条目, 即表格中一共有51个条目, 然后删除编号一列。 (2) 将数据另存为“文本文件 (制表符分隔) ”, 仍以“总分去除编号”命名。 (3) 打开R软件, 依次输入函数:

得出结果。函数可存入word文件, 需要时复制、粘贴, 注意文件路径等的修改。

该问卷本次调查的Cronbach’sα系数值为0.90 (保留2位小数) , 说明问卷具有较高信度。

2问卷结构效度的R软件实现

[例2]某医院欲招聘护士, 护理部对45名应聘者的15项指标进行打分 (最高10分, 最低0分) 。这15项指标是按照外显能力 (设计了7个问题) 、是否受人欢迎 (设计了3个问题) 、经历经验 (设计了3个问题) 、动手能力 (设计了1个问题) 和外貌 (设计了1个问题) 5个维度发展而来, 即事业心 (q1) 、自信心 (q2) 、操作能力 (q3) 、观察能力 (q4) 、理解能力 (q5) 、语言表达能力 (q6) 、仪表气质 (q7) 、人际交往能力 (q8) 、诚实 (q9) 、潜能 (q10) 、受人喜欢 (q11) 、经验 (q12) 、适应性 (q13) 、简历情况 (q14) 、外语能力 (q15) 。试评价该问卷的结构效度。分析:结构效度的数字计算, 最常使用的方法是因子分析[3]。步骤: (1) 将45名应聘者的15项得分情况输入Excel表格, 注意A1格不能有内容。 (2) 将数据另存为“文本文件 (制表符分隔) ”, 仍以“效度”命名。方法同例1第2步。 (3) 使用R软件, 依次输入函数:

得出结果。从所得结果可知公共因子具有比较鲜明的实际意义。

第一公共因子中, 系数绝对值大的变量有适应性 (q13) 、自信心 (q2) 、观察能力 (q4) 、语言表达能力 (q6) 、事业心 (q1) 、外语能力 (q15) 和理解能力 (q5) , 这些主要表现应聘者的外显能力。第二公共因子中, 系数绝对值大的变量有诚实 (q9) 、受人喜欢 (q11) 和潜能 (q10) , 这些主要表现应聘者是否受人欢迎。第三公共因子中, 系数绝对值大的变量有人际交往能力 (q8) 、经验 (q12) 和简历情况 (q14) , 这些主要表现应聘者的经历和经验。第四公共因子中, 系数绝对值大的变量有操作能力 (q3) , 主要表现应聘者的动手能力。第五公共因子系数绝对值较小, 说明此公共因子相对次要一些。其中较大的变量是仪表气质 (q7) , 主要表现应聘者的外貌情况。

综上所述, 问卷完全符合研究者在设计问卷时的具体条目分布, 即问卷的结构效度通过因子分析的方式得以确认。

总之, 问卷的内部一致性信度和结构效度可以使用R软件轻易实现。其功能强大, 完全免费, 不存在版权争议, 是一款可供所有研究人员无偿使用的统计软件, 具有广阔的使用前景。

参考文献

[1]薛毅, 陈丽萍.统计建模与R软件[M].北京:清华大学出版社, 2007:47.

[2]王本洋.试卷质量分析的数学模型及其R语言实现[J].长江大学学报 (自然科学版) , 2012 (8) :114-116.

提高信度和效度的方法 篇3

摘要：学生评教作为高校了解教师教学情况、促进教师改进教学的一种手段，正日益受到我国高校的高度重视并已广泛开展。然而，许多学校学生评教的实践也显现，学生评教中存在的诸多问题，影响了其信度和效度。高校必须认真分析和研究学生评教中存在的问题，采取切实有效的措施，改善学生评教的环境和条件，为提高学生评教的可信度和有效度提供保障。

关键词：学生评教；信度：效度

在一些发达国家，学生评教开展得十分普遍，在实际的教学过程中发挥着积极的、不可替代的作用。在我国，学生评教作为高校了解教师教学情况、促进教师改进教学的一种手段，正日益受到高度重视并已广泛开展。然而，许多学校学生评教的实践也显现，学生评教中存在的诸多问题，影响了其可信度和有效性的发挥。高校必须认真分析和研究学生评教中存在的问题，采取切实有效的措施，改善学生评教的环境和条件，为提高学生评教的可信度和有效度提供保障。

高等学校的学生评教存在什么问题，是哪些因素影响了学生评教的信度和效度呢?

一、对学生评教认识的不足

近年来虽然国内高校都开展了学生评教活动，但是由于各种原因，无论是学校领导、教学管理部门，还是教师、学生，对学生评教的目的和作用都认识不足。一些高校只把学生评教看成是一种单纯的测量工具，对评教结果为学校教学产生的实际作用关注甚少，致使学生评教工作在整个教学质量管理中处于一种边缘化状态。有的高校则把学生评教作为一种简单的学校人事决策的手段，将评教结果直接与职称评定、岗位聘任、工资晋升等挂钩，忽视了其促进教师改进教学、带动学生参与教学过程、提供学生选课参考和学校拟定课程规划的重要参考等功能，致使学生评教的有效度大打折扣。

高校对于学生评教的简单测量和简单应用，虽然在短时间内加强了教师对学生评教的重视，但也导致了不少教师过于功利地追求评教的等级和排名，产生了许多与学生评教本意相违背的各种不良行为。比如有的教师降低对学生的要求，放宽评分标准以迁就学生，有的教师甚至在被做出不良评价后为难学生。对于评价的主体学生而言，由于学校很少对他们公布评价结果及其使用情况，他们看不到评教的意义，在所经历的评教过程中也没有切实体会到评教的实效。这样的学生评教既不利于教师的成长，也影响了学生对评教的态度和参与程度，根本上影响了学生评教的可信度和有效度，更不利于学生评教工作的自我完善和发展。

高校学生评教作为教师评价的主要方式之一，其根本目的是学生根据一定的评价指标对教师的教学活动过程进行评价，为教师提供有效的反馈信息，帮助教师提高教学水平和技能，最终为学生学习服务。首先，学校要通过一定的方式和渠道，使所有参与评价的学生和教师包括具体负责的教学管理部门了解学生评教的目的和作用，提高师生对学生评教的认识。学生作为评教的主体，他们对评教的认识程度决定了其对评教的态度和参与评教的程度。作为学校教学活动的主体，学生对学校的各项教学工作有参与权，教学评价自然包括其中。而且由于其分担了部分教育成本，因而评价教师的教学并要求教师改进教学也是他们的一项权利。对教师而言，也应正确地理解和看待学生评教，以积极的态度、抱着提高改进教学的目的主动参与到评价过程中。随着我国高等教育改革的不断深化，高等教育已被当成一种特殊的商品，大学生作为高等教育服务这种特殊商品的需求者和消费者，他们有权利选择教育服务。根据学生评教的结果改进教学是高校教师的义务。

有研究者曾做过一个比较实验，同一个评价表，分别请10名教学督导组的专家和100名学生对本学期该年级的8名主要授课教师进行评价，评价时间分别在期中考试和期末考试之后。评价结果表明：专家与学生评价基本一致，特别是对教学质量优秀和教学质量较差教师的评价，认同率达100％，评分也相差不大。对于教学质量处于中间状态的教师，专家与学生的评价略有出入。就笔者了解，许多高校历年学生评教的实际结果亦大致如此。这样的研究和调查结果表明，如果以较为科学合理的评价方案在规范有序的组织下实施学生评教，对于“教师的教学能否满足学生的需要”，“教学方法是否适合”，“有无激发学生的学习兴趣”，学生是能够做出较为客观准确的判断的。

二、学生评教的指标体系不完善，评价标准编制过程不够科学

科学、合理地设计评价指标体系是一项基础工作，只有指标体系设计科学、客观、有效，评价结果的信度和效度才能得到保障。目前大多数高校虽然都在进行学生评教，但由于没有权威性的评价标准，因此多数学校只能根据少数人的认识水平来设计和制订学生评教的评价量表，往往是教学教务部门站在管理角度组织少数的专家、领导、行政人员设计和修改后即投入使用，没有充分听取一线教师以及学生们的意见和建议，没有以学生的学习为出发点设计评价量表，也没能在正式使用之前按照科学的程序进行必要的试测和修正。

评价指标体系是决定学生评教的信度和效度的核心要素。学生评教评价指标体系的构建，既要考虑学生的评价能力，突出学生作为学习者的主体作用，又要考虑学校的特色和不同学科的特点。这是遵循学生评教规律的基本要求。笔者认为以下几条原则是每个高校在设计评价指标体系时应当遵循和考虑的。

一是评价指标应能反映大学教学课堂的特点。与中小学相比，大学的课堂教学有其独特的风格和特点。在教学内容上，科学性强，信息量大，具有一定的宽广度和深度，有的涉及科研领域的前沿问题，甚至会涉及讨论一些尚存争议的问题。在教学对象上，大学生相对成熟，基本形成了自己的思想意识和观点，有较强的自学能力和表现欲，希望能在课堂学习中有机会参与和交流。这些特点应体现在评价指标体系中。

二是应考虑学生的评价能力，注重评价指标的可测性。教师的教学质量内涵丰富，外延也极广，有些是学生可以直接观察和感知的，能做出较真实、客观的评价，但有些却是学生知识范围以外的，学生无法做出准确的判断。综合国内外研究成果，学生一般可对下述方面做出较好的描述：第一，教师的教学技能；第二，教师的职业行为和伦理观点；第三，学生参与和课堂交流；第四，师生关系；第五，课堂的组织与管理；第六，教学的明晰性、系统性；第七，考试公正性；第八，学生学习收获。但是，对于“教师的教学目标”、“授课内容的适合性和先进性”、“评分的宽严程度”等与课程、学术有关的内容，学生则略显能力不足。因此，评价指标体系的确立应扬长避短，量力而行。

三是应考虑和尊重不同学科的特点和要求。学科不同，课程不同，其知识内涵和知识构成也不同，课程的教学重点、对学生的要求、教师的教学方式方法等存在着相当大的差异，评估标准就不应该是一个模式。国内有的高校根据不同学科和不同课程的特点，分别建立了共性指标和个性指标结合构成评价指标体系，如汕头

大学，针对课程共性内容建立了“通用理论课程评估指标(11个)”，“通用实验课程评估指标(7个)”，而对于非共性的内容不同院系和学科各自建立了的评价指标(7～17个不等)，体现不同学科的不同需求和不同课程的不同特点，二者结合共同构成学校学生评教的评价指标体系。国外不少大学采用自助系统进行学生评教，即允许教师在一系列评价项目中选择一些最适合自己特点(或所授课程特点)的项目构成评定表，以便获取与其教学有关的问题的准确反馈。可以看出，使用自助系统的主要目的是为了最有效地帮助教师改进教学。

四是评价指标体系应具有适度的动态性。随着社会的发展和进步，教育目的、教育理论和教育实践也在不断的发展和变化，评价指标体系还应当是动态可调整的，其评估指标、权重系数、记分标准等应结合现代教育教学理念和教学改革的重点发生合理的变化，使其更加科学、合理、并充满活力。

在考虑和遵循上述原则的基础上，学校应组织专家、学生、教师、管理者共同构建评价指标和评价标准。学生和教师参与评价量表的构建，是他们认识和理解学生评教的非常直接和有效的方式，对于提高学生评教的信度和效度具有十分重要的作用。

三、制度不健全，缺乏严格规范的管理和组织

制度是带有根本性、全面性、稳定性和长期性的问题，没有政策和制度作为保障，再好的观念和方案也难以产生实效。实践证明，只有当学生评教是稳固连贯的，它才可能作为一种可靠的评价手段而被接受。目前，有不少高校对于学生评教组织管理的规范程度还很不足，存在制度不健全、选择时间和方式不利、组织过程不严格、缺乏指导、没有监督、统计分析过于简单等各种不同情形和不同程度的问题，极大地损害了学生评教的信度和效度，影响了其作为一种长期稳定的制度在学校实行，更无法在实践过程中实现自身完善和发展。

学校应建立相应的管理制度作保证，通过一系列成文的条例和规定，明确学生评教的质量标准和实施细则，规范约束参评者、被评者、评价组织者及管理者的行为。具体来说，应包含这样的内容：学生评教的组织机构、评价人员的职责与权限、过程实施细则、学生评教的结果处理与利用等。有了明确的管理制度，组织者还应对学生评教的过程实施监督检查和反馈，要依据制度规定和各个环节的质量标准对实施过程中各环节、各种行为进行及时协调、检测、反馈、纠正。

此外，由于影响教师教学质量的因素很多，很难就一两次评价简单地下结论，只有进行多次评价和综合各方面收集的信息，才能克服不定因素的影响，得出较客观和准确的判定。

四、不重视对评教结果深入分析，结果反馈和使用过于简单

目前国内大部分高校对学生评教结果的反馈和利用都十分简单，尤其是教学管理部门，除了对学生评教统计结果进行排序、评定优良中差等级外，很少进行深入分析。而事实上，学生评教结果中蕴含着许多来自课堂教学一线的信息和建议，对学生评教结果的合理反馈和有效利用不仅可以反映出高校管理层对教学的重视，同时也可折射出高校教学管理水平。

首先，负责评价工作的人员应对评价结果进行认真研究，通过学生评教结果中蕴含的信息尽可能地了解学生对课程设置、教学安排等的反应和看法，了解教师教学的全貌，对普遍存在的问题进行深入研究和分析。

其次，评价结果反馈是不可被忽视或者省去的，学校应建立持续的反馈机制。评价结果向教师反馈应遵循一些基本的原则：一是以人为本的原则。学生评教在我国推行的时间不长，评教过程中存在的影响评教有效性的因素还不能有效控制，因此，在反馈学生评教结果时，既要尊重科学、尊重事实，也应考虑对教师心理的影响，保护教师的自尊心，真正从帮助被评教师改进教学工作出发。比如适度范围内保密的方式，一人一袋的方式等。二是既要反馈定量结果，也要反馈定性结果。应让教师既能够看到学生肯定自己的一面，又能看到教学中的不足，能够从内心接受学生评教的结果并努力改进教学。三是在解释评价结果时应考虑课程的特点并允许被评价教师回应评价结果。同时，学生作为评教的主体，他们也应当了解评价结果以及被使用情况。而且，学生更关心的是他们的评价对于教师改进教学、对于调整教学计划或学校提高教学管理和教学服务水平起到了怎样的作用。学校若不能及时将学生评教的结果信息反馈给学生，将会直接影响学生参与评教的兴趣和态度。

关于学生评教结果的使用，很多高校将学生评教的评价结果或多或少地与教师管理中的奖励、职称评定、岗位聘任及业绩考核等直接挂钩。笔者认为，只要能够综合多次评估的结果或者几种方式的评价结果结合使用，是能够克服学生评教中存在的不足，使其得到合理的使用。但也应注意，切忌把学生评教与学校内部管理体制改革的其它措施混淆起来，使其成为区分教师优劣的工具和标准，这是一种高利害、高风险的做法。这种对于学生评教结果的不当使用，容易挫伤教师的工作热情，当然也就起不到调动广大教师的积极性、提高教学质量的作用。

提高信度和效度的方法 篇4

1 资料与方法

1.1 一般资料

采用分层抽样方法, 抽取9所高职院校2015年1月—2016年1月的270名学生进行调查, 其中大专院校4间, 本科院校5间, 采用面对面访问和学生自主填写方式, 统一收集资料, 对无效的问卷剔除在外, 样本基本资料见表1。

1.2 量表

参考《教学规划纲要》组织制定的人才培养模式测评标准, 查阅相关文献和其他国家的评判标准, 通过对高校教授专家进行调查咨询, 形成养老护理人才培养模式能力测评量表, 共有4个维度10个条目组成, 分别为知识能力、实践能力、创新能力、自律自主等, 并有10个分维度, 三个等级分别为熟练掌握、基本掌握、部分掌握, 对应分值为3分、2分和1分。

1.3 测评方法

1.3.1 信度测评方法

采用Cronbach’s系数和折半信度系数评估内部一致性量表的信度。

1.3.2 效度测评方法

(1) 表面效度:由9名高校教师和学生进行检测, 其中养老护理专业教师5名, 专业学生4名, 进行量表内容的审阅, 对各项条目的可行性进行筛选, 评估各县条目是否可以反映高校培养养老护理人才培养模式的有效性, 对概念不清、不易理解或不符合实际的项目进行修改。 (2) 内容效度:由专家评审内容, 计算各维度和总维度的CVR, 最大值为1, 表示专家认为该项目具有较好的代表性, 最小值为-1, 表示专家认为该项目无代表性, CVR值越高越具有代表性, 其内容效度越好。

1.4 统计方法

使用SPSS 18.0统计学软件对数据进行统计分析, 计数资料才有百分率表示, 并比较采用卡方检验进行比较, 计算量表Cronbach’s系数检测量表内部一致性。

2 结果

2.1 调查对象一般情况

共对9所高职院校发放270份问卷, 共收回且填写完整符合要求的问卷252份, 有效率93.33%, 调查对象均为高职院校学生, 本科学历居多, 见表1。

2.2 量表的效度分析

2.2.1 表面效度

通过对9名高校教师和学生, 其中养老护理专业教师5名, 专业学生4名, 进行量表内容的审阅, 结合国内情况和研究目的, 修改部分条目, 使之符合对养老服务人才能力测评的要求。

2.2.2 内容效度

邀请9名高校学生, 对内容效度进行检测, 计算总量表内容效度比 (CVR) 和各分维度CVR, 总量表CVR为0.941, 各维度系数0.822~0.931之间, 见表2。

2.2.3 结构信度

纳入探索性因子之后进行分析, 确定4个维度和所包含的条目, 计算累计方差贡献率, 各因子均达40%以上。因子1、因子2和因子3的累计方差贡献率分别为40.36%、51.26%和47.88%

2.3 量表的信度分析

内部一致性Cronbach’s系数0.947, 各分维度Cronbach’s系数0.845~0.921之间, 总量表折半信度系数0.934, 均大于0.8, 在可接受范围内, 见表3。

3 讨论

针对目前中国老年化越来越严重的趋势, 老年人口基数日益增大, 预计到2020年, 中国老年人口将达2.43亿[2]。发展养老服务事业必然需要先发展养老护理专业人才, 为老人提供医疗保障和生活护理, 使老年人获得较高的生活质量, 然而中国的养老护理人才严重不足, 与老年群体需求不相符, 导致国家养老负担加重, 养老问题已成为了社会发展的热点问题, 如何促进我国养老服务事业的发展, 应对人口老龄化的现状是当前急需解决的问题是当前的热点[3]。培养一批专业的养老照护护理人员, 建设和开发养老护理专业, 为养老服务机构和社区提供专业的高水准的养老护理人才, 以满足社会发展和市场的需求。

构建良好的测评体系是提高护理人员能力的重要前提, 然而目前, 关于养老护理人才能力测评的体系尚不健全, 如何界定养老护理人员的能力, 界定养老护理胜任能力, 明确养老护理的教育需求, 具有重要的实践意义。国外有关于养老护理人员能力测评体系的评价标准, 但规定过细, 部分内容不符合中国国情, 不在中国养老护理人员的工作范畴内[4,5], 因此, 急需探讨适合中国国情的养老护理人才培养模式测评体系, 为今后中国养老事业的研究进一步提供科学依据, 并采用因子分析测量法研究测评体系的效度和信度, 提供可靠的结果。

信度是指调查测评表测量结果的可靠性和一致性[6], 该研究使用Cronbach’s系数评估量表总维度系数值大于0.9, 表示该测评量表具有较好的内部一致性, 而各分维度折半系数介于0.845~0.92之间, 均大于0.8分以上, 表示量表达到了检验要求。效度主要包括表明效度、内容效度和结构信度, 表面效度根据个人对概念的主观理解进行判断, 属于直觉判断, 因此不能作为测量工具的有力证据[7], 但通过专业人员对量表进行表面的评判, 有利于收集有用的信息, 进一步修改使之符合我国国情。内容信度是专家通过评估量表, 得出CVR值, CVR值越高提示各项目代表性越好[8], 该研究证实该量表具有较高的内容效度, CVR达0.94。结构信度是指量表可以测量理论的特质程度, 反映量表内容与概率框架的结合程度, 常用因子分析进行评价, 该研究通过纳入探索性因子之后进行分析, 确定4个维度和所包含的条目, 计算累积方差贡献率, 各因子均达40%以上, 表明该量表具有较好的结构效度, 该研究的累积方差贡献率与李琳[9]等基本相一致, 其Cronbach′sα系数为0.84, 累积方差贡献率为56.48%, 表明量表具有较好的结构效度。国内王雪云[10]也认为, 当量表中的Cronbach’s系数为0.860, 分半信度为0.810时即可评定量表具有较好的结构效度和内容效度。

综上所述, 该研究结果表明, 该养老护理人才培养模式能力测评量表具有较好的效度和信度, 适用于我国养老护理人才培养模式能力的测评分析。

参考文献

[1]冯会玲, 白建英, 秦爱军.中医药院校护生从事老年护理就业意愿的现状调查与分析[J].临床合理用药杂志, 2016, 9 (14) :44-47.

[2]王芳.老年护理本科教学课程体系模块的构建与阶段性效果评价[J].护理学杂志, 2013, 12 (13) :87-89.

[3]孔令磷, 程梦琳, 饶玉霞.老年护理实践教学存在的问题与对策[J].湖北科技学院学报, 2015, 10 (11) :257-259.

[4]R mn JC.Adverse factors and the mental health of older npeople:Implications for socialand professional practice[J].Journal of Psychiatric and Mental Health Nursing, 2005 (12) :290-296.

[5]任艳, 胡晓莹.临床护理教师教学感知质量评价量表的研制[J].中国实用护理杂志, 2013, 5 (30) :145-148.

[6]岳彤, 孙宏玉.护理硕士专业学位研究生专业能力自评问卷的信度和效度研究[J].护理管理杂志, 2014, 8 (2) :224-228.

[7]朱丽娜, 孙宏玉.护理硕士专业学位研究生专业能力评价指标体系的初步构建[J].护理管理杂志, 2014, 4 (2) :147-149.

[8]廖敏.问卷的信度和效度以及SPSS软件运用[J], 科技展望, 2016, 9 (16) :336-338.

[9]李琳, 许乐, 颜超, 等.烧伤专科医护人员疼痛管理知识、态度和行为问卷的研制[J].护理学杂志, 2015, 12 (24) :112-115.