本院动态
范津砚:《通过交互式的AI聊天机器人来测量个性——兼谈机器学习方法在人事测评中的应用》
返回列表
发布时间:2021-05-10

 2021年5月7日上午,由浙江大学行政管理研究所和浙江省人才发展研究院联合举办的“大数据时代的人才测评”学术讲座在浙江大学紫金港校区公共管理学院112报告厅圆满举行。

    美国奥本大学(Auburn University)心理学系终身教授范津砚博士应邀作了题为“通过交互式的AI聊天机器人来测量个性——兼谈机器学习方法在人事测评中的应用”的学术讲座。浙江大学行政管理研究所所长、浙江省人才发展研究院执行院长陈丽君教授主持了本次讲座。浙江大学等十几所高校近200名师生通过线上线下结合方式参与了本次讲座并开展了研讨。讲座引起了热烈的反响。


    讲座开始后,陈丽君教授首先向各位老师和同学们介绍了范津砚博士的学术履历和研究方向。随后,陈丽君教授为同学们介绍了在大数据时代,人才测评所面临的新形态、新方法和新挑战,从而引入今天的讲座主题——如何运用大数据方法实现人事测评?

    “伪装好”现象一直都是人事测评领域关注的核心问题之一。伴随着数字技术的进步,作为新兴热点的大数据方法在学术研究的领域应用日益拓展。在这种背景下,大数据方法有望成为破解“伪装好”这一难题的新路径。那么,大数据方法能够被如何运用到人事测评领域?相较于传统的人事测评方法,大数据方法精度、效度如何?有哪些优势和缺陷?其未来发展趋势究竟如何?围绕这些问题,范津砚博士进行了详实的学术报告。

    首先,范津砚博士介绍了个性测评的传统方法及其弱点,常见的弱点例如“伪装好”倾向明显、个性题目的解读因人而异等等,导致以往研究未能有效地测量个性。鉴于以上的缺点,大数据/机器学习/AI方法应运而生。这类新方法通过收集数据集和建模的方法来间接地测量个性。



    接着,范津砚博士分享了两个关于大数据在个性测评领域应用的经典研究——Yarkoni (2010)和Youyou et al.(2015)分别基于社交动态文本信息和Face book点赞信息对个体人格进行了预测。通过这两篇研究,范津砚博士指出,机器学习方法为我们带来三点的重要启示,首先是我们的人格测试可以更加地多样(文本、声音、图像等等),其次是模型效率高可重复型使用。最后是模型预测下被试者很难预先伪装好。

    据此,范津砚博士为我们归纳了将机器学习方法应用到人才测评的一般思路。第一步是获取建模样本,其中预测变量需要获得很多人的个体信息,比如文本内容、声音品质、面部微表情、朋友圈点赞等;结果变量需要获得这些人的结果变量信息,比如个性分数、价值观分数、工作绩效分数、离职/留职信息等。第二步是建立模型,可以建立一个或多个预测模型(个性、价值观、智力等),通过回归方程,获得模型参数。第三步,将模型应用到候选人身上——首先获得新人的预测变量信息比如文本内容,声音品质等,其次通过模型估算出结果分数(个性、价值观、工作绩效、离职可能性等等)并据此作为参考之一进行人事决策。

    就现状来看,利用机器学习方法进行人事测评有两种策略,第一种是直接预测工作绩效、离职等最终结果,这种策略的优点在于直接预测企业最为关心的变量,容易被企业接受,但同时面临着可推广性不高的问题——换一个岗位、换一家企业就要重新建模。第二种策略即预测个性、价值观分数,范津砚博士用Juji.io聊天机器人的例子为大家具体展示了这一策略的应用。这种策略的优势在于预测的是稳定的个人特征,比如个性,不需要针对不同企业和岗位不断地建模,而缺陷在于机器算出来的个性分数能否预测工作绩效尚无过硬的证据即便有,在预测企业最为关心的结果变量也存在信息缺失。

    回到具体的研究问题中,范津砚博士指出,现阶段几乎没有过硬的实证研究显示基于机器算法的人格分数可以预测企业情景下的最终结果变量,比如客观的或是他评的工作绩效。而对于机器算出的个性分数能否预测绩效,学界有两种观点:(1)可以,但其预测效度不高,意义轻微;(2)机器分数不一定要通过自我报告分数来预测绩效,机器分数是否能预测工作绩效是个实证问题,要让实际的数据来说话。

    随后,范津砚博士分享了其团队近期实验室进行的一个研究,该研究聚焦两个重要问题,一是通过机器算法得出的个性分数和自我报告的个性分数的内在结构是否一致?二是机器算法得出的个性分数能否预测大学生平均绩点和他评的大学适应程度。这一研究希望通过考察和比较自我报告的人格分数和机器算法估计的人格分数在预测大学生平均绩分点和他评的大学适应程度来检验机器算法的效度。

    为此,他们收集了1000多名奥本大学本科生与juji聊天机器人聊天得出的个性测试分数,利用聊天记录进行文本分析,构建了个性分数计算模型。随后,他们挑选了473个奥本大学的学生作为被试,邀请其与juji机器人聊天45分钟左右,并完成一份自我报告的“大五”个性测试,同时通过学校教务处拿到被试学生们的绩点成绩,并邀请其朋友对其进行大学适应情况填写评价问卷。由此可以得到几组数据——从自我报告中拿到了人格分数,机器算出来的人格分数,以及他评的大学表现,和教务处提供的客观指标GPA。

    该研究的主要发现如下:

    自我报告的个性分数(尤其是认真负责性分数)可以预测大学生的学业成绩和适应。这个发现与现有文献高度一致。

    机器算出来的个性分数跟自我报告的个性分数的内在结构高度一致。机器算出来的个性分数可以预测大学生的学业成绩和适应,但是校标效度总体上比自我报告的分数低不少。在10个效度PK中,自我报告的分数赢了7次,机器算出来的分数赢了3次。

    我们特别指出:以上结果是在较少的数据量(每个学生提供的平均字数是616字)和聊天问题针对性不强的条件下获得的,令人振奋,因为提升空间巨大。

    测量个性的传统方法总体上是有效的,目前还没有到要被机器算法替代的程度,将来则不好说。

    同时,范津砚博士也对未来的研究进行了展望。他指出,机器学习的方法要想超越传统的个性测量方法必须要发展岀更为智慧的算法,特别是要超过对文本和语音信息的表面特征处理,要真正理解文本内容和所发生的情境。机器算法所提炼岀来的各种特征需要深入了解,探索它们的心理学意义。要知其然,也要知其所以然。传统的个性测量方法还会存在相当长的一段时间,而且其本身也有不少可以改进的余地,比如其团队发展的“范氏抗伪装好”程序。



    范津砚博士报告完后,十几位老师和同学就大数据建模的样本要求和特征、大数据方法预测的合理性、大数据方法面临的伦理问题、大数据方法的实践应用和实践场景、等问题与范老师展开了热烈的学术研讨,范津砚博士均给出了详实且精妙的回应。最后,陈老师对本次学术讲座议题进行了精彩的总结,指出大数据时代,大数据资源既是机遇也是挑战,在变化中唯有拥抱变化才能适应变化,范津砚博士的研究成果对我们人才管理数字化变革及大数据时代人才测评研究有很大借鉴意义。

    本次学术讲座在学生们的热烈掌声中结束。


浙江大学行政管理研究所

浙江省人才发展研究院

(徐林源,梁家和供稿)