2022年6月10日晚,由浙江大学行政管理研究所和浙江省人才发展研究院联合举办的学术讲座活动在浙江大学紫金港校区公共管理学院301会议室圆满举行。
美国奥本大学(Auburn University)心理学系终身教授范津砚博士应邀作了题为“事中警告对降低网络考试作弊行为的效应和机制——一个现场实验研究”的学术讲座。浙江大学行政管理研究所所长、浙江省人才发展研究院执行院长陈丽君教授主持了本次讲座。浙江大学等多所高校和科研机构的100余名师生通过线上线下结合的方式参与了本次讲座并开展了研讨,讲座引起了热烈的反响。
讲座伊始,陈丽君教授首先向各位老师和同学们介绍了范津砚教授的学术履历和研究方向。随后,陈丽君教授为同学们介绍了范津砚教授最有影响力的研究成果是提出了在人事测评中,如何能够防范被选拔者出现一些“伪装好”与作弊的行为,从而引入今天的讲座主题——事中警告如何降低网络考试中的作弊行为?
与“伪装好”不同,作弊行为往往用于有标准答案的测试情境,即“为了获取不正当的竞争优势而违反规则的一种行为”。伴随着网络测试的日益普及,测试者的作弊行为成为了非常令人头痛的问题。有研究表明,网络测验,尤其是没有监考的环境下,测试者的分数相对偏高。相比于监控、监考软件等传统网络测试作弊的预防手段,在测试过程中由测试系统对“作弊者”或“伪装好者”发出警告信息的事中警告措施是否会有更好的效果?是否可以用于选拔情境的网络知识题场景?其具体的心理机制又是怎样?围绕这些问题,范津砚教授从背景介绍、理论模型和假设、研究方法、研究结果、讨论反思这五个方面进行了详实的学术报告。
首先,范津砚教授介绍了作弊和伪装好的一般定义,以及当前网络测试的种种利弊对比,指出作弊问题的严重性,因为在网络测试条件下测试分数会得到大幅度提升。当前对网络测试作弊行为的检验手段包括自由方式的回答题和按键分析两种,而对网络测试作弊的预防手段则包括摄像头监控、监考软件、限时测验、题目呈现顺序随机化、从题库里随机抽取、与事前警告。与这些方法手段相比,事中警告可能会是一种更好的手段。既有研究发现也表明,事中警告具有降低选拔情境下的个性分数,有效提升伪装好者在警告后的个性分数的真实性,不影响个性分数的内在因素结构等积极功效。因此,本研究旨在考察是否可以将事中警告技术用于选拔情境的网络知识题场景,并初步探索其中的心理机制。
接着,范津砚教授提出了本研究的理论模型与假设。是否受到事中警告为自变量,被试的恐惧感为中介变量,因变量包括作弊行为的变化、知识测试分数的变化与被试心理感受三类,被试在第一部分测试中是否作弊为第二阶段的调节变量,具体模型图如下所示。相应地,范教授围绕“事中警告是否会对申请者对测试的感受产生负面影响,这种影响是否会受到在第一部分测试中是否是作弊者的调节”的研究问题,提出了5点假设:假设1、3分别是因变量为作弊行为变化和测试分数变化时的主效应假设,假设2、4则是在假设1、3基础上关于调节效应的假设,假设5是对恐惧感作为中介变量时完整的被调节的中介假设。
随后,范津砚教授为我们介绍了本研究采用的现场实验研究方法。被试为中国中部某大学的1088名本科学生,平均年龄在20.38岁,女性占比为78%;实验场景是学生在申请本校“未来学院”的人才项目过程中,需要完成网络知识测试;实验的合作方包括美国奥本大学心理系、河南师范大学与北森云计算公司。变量的衡量上,自变量衡量为随机分配给被试的两类事中信息(警告信息vs控制信息),因变量衡量为考试作弊行为、知识测验分数、测试者对测试的感受,中介变量衡量为道德脱离与恐惧感,调节变量衡量为知识测验的第一部分中是否作弊(作弊者vs没有作弊者)。实验流程方面,先对被试进行邮件通知,再进行第一部分知识测验,在随机给出两种信息后进行第二部分的知识测验,最后通过研究问卷填答获取被试的恐惧感、测试公平感与测试动机水平。范教授还向我们清晰展示了警告信息与控制信息文本的区别,知识测验题目的设计和修改,研究问卷里题项的来源,以及两种认定作弊行为的方式(摄像头照片记录和测试中跳出页面的记录)。当被试在照片记录中被判定为作弊一次或以上,以及被试至少出现一次时长超过5秒的页面跳出,则被视作是作弊者。
研究的主要发现包括:第一,描述性统计表明1088名被试中,有309人(28.4%)被判定为在知识题第1部分有作弊行为,基于照片与跳出测试界面的作弊次数变化、测试得分变化以及中介变量恐惧感水平在组间均差异显著,但被试的测试公平性和测试动机感知则无显著组间差异。第二,事中警告既显著降低基于摄像头照片的作弊次数,也显著降低基于跳出界面的作弊次数,假设1得到支持;T1作弊情况对假设1效应的调节作用也显著,假设2得到支持;事中警告能够显著降低被试的知识题测试成绩,假设3得到支持;T1作弊情况对假设3效应的调节作用也显著,假设4得到支持。第三,申请者对测试的感受不受事中警告的影响,也不受T1是否是作弊者的调节作用的影响。第四,基于摄像头照片、基于跳出测试界面的作弊行为以及基于知识题分数的被调节的中介假设检验均表明,T1为作弊者的情况下,恐惧感的中介作用更强,但也意外发现,对T1的非作弊者进行警告会导致其在T2的作弊行为上升,假设5得到部分支持。
在研究的讨论与反思部分,范津砚教授总结道,研究发现事中警告能够有效降低网络考试中的作弊行为,并且有效减少了作弊所带来的分数虚高;事中警告对作弊者更加有效,且总体上对未作弊者的分数和对测试过程的感受没有产生不良影响;而恐惧感则是事中警告背后的一个可能的中介机制,而且该机制对于作弊者更为适用,对于非作弊者则产生了一些意外的效应。对于意外结果,范教授也提出了两点可能的解释,一是事中警告提醒了非作弊者,其他申请者可能会作弊,自己不作弊的话,可能会吃亏;二是事中警告激怒了非作弊者,使得他们反其道而行之。当然,本研究也存在诸如外部效度不佳、中介机制尚未完全搞清楚、存在其他可能的调节变量(例如不同个体对警告的反应是不同的)等局限不足,需要在将来进行更为深入的研究,如研究其它更为负责的抗作弊手段的效应和机制等。从测评实践意义出发,本研究具有两点启示:一方面,本研究发现大概有1/3的申请人有作弊行为,企业在招聘环节考虑使用(有标准答案)的网络测试时,要对考试作弊的问题给与充分的重视,必须要求测试供应商提供切实可行的应对方案;另一方面,事中警告是一种非常便宜、易于实行、且效果较好的一种抗网络考试作弊的策略,鼓励测评公司和招聘企业积极考虑使用这一技术。
范津砚教授报告完后,各位老师和同学就被试恐惧感的来源差异,事中警告的作用中是否还存在惩罚机制,情绪机制的解释外是否还有认知机制角度的解释,被试的学习阶段和年龄阶段,事中警告文本形式带来的不同影响,未来AI技术可能的加持,是否会在事前告知被试作弊识别机制,研究个体差异影响实验结果是否有意义,组间测试公平性没有显著差异的解释,研究生入学考试受到作弊判定的人数较多,作弊者受到警告后是否会更换方式继续作弊,事中警告可能因为影响考试状态而导致最终分数降低,未来测试产品的改进和更新等问题,与范教授展开了热烈的学术研讨,范津砚教授均给出了详实且精妙的回应。最后,陈丽君教授对范津砚教授严谨扎实的研究内容与细致入微的交流分享表达了由衷感谢,并对本次学术讲座议题进行了精彩总结。陈老师指出,考试作弊是非常值得关注的问题,高校的线上博士生考试就存在作弊行为,甚至今年的高考也出现了恶劣的作弊现象,范教授的研究非常切中现实痛点,希望今后能够出现可以更好应对考试作弊现象的事中警告手段与技术,进而有效抑制考试作弊行为。
本次学术讲座在学生们的热烈掌声中圆满落下帷幕。