2023年12月11日下午,由浙江省人才发展研究院、浙江大学行政管理研究所联合主办的“人才测评中人工智能和机器学习方法”在浙江大学紫金港校区公共管理学院901会议室圆满举行。
本次讲座由浙江省人才发展研究院院长、浙江大学公共管理学院教授陈丽君主持,美国奥尔本大学心理系教授范津砚担任主讲嘉宾,杭州市就业管理服务中心、台州市人才市场有限公司相关人员、浙江大学硕士生、博士生参加了讲座。
讲座伊始,陈丽君院长对范津砚教授的到来表示热烈欢迎,并介绍了范津砚教授是美国俄亥俄州立大学工业与组织心理学博士,目前任美国奥本大学心理系教授。主要研究领域是人工智能、认识选拔、新员工入职培训和社会化过程、跨文化适应和培训。范教授在组织行为与组织心理学的专业杂志上发表了多篇论文,获得了美国工业与组织心理学会(SIOP)和美国管理学会(AOM)的一系列奖项和基金资助,曾担任Journal of Vocational Behavior杂志的副主编。实践方面,范博士开发了一系列人才测评的工具、模型、方法,并长期从事人力资源管理相关的企业咨询工作。
讲座环节,范津砚教授首先向大家介绍了研究运用人工智能和机器学习测评人才的原因。范教授以Yarkoni(2010)和Youyou et al.(2015)的研究为例,指出个性或其他个体差异的分数可能与文本、声音、图像、点赞等电子痕迹存在关联,因此研究者可以通过电子痕迹间接测量个性。与传统方法相比,AI/ML的优势在于:一是建立模型后,输入数据可以自动判别个性差异,避免了传统问卷测量方式的繁琐性;二是可利用社交媒体数据、视频面试数据或文本访谈数据(如聊天机器人)等多种类型数据进行分析;三是间接测量的方式抗伪性更好。
接下来,范教授对机器测评分数的三个相关研究问题进行系统分析与讲解。第一个研究运用人工智能聊天机器人(Juji’s AI Chatbot)的数据进行建模测量个性,并与自我报告分数进行比较,研究报告如下发现:第一,机器测量的个性分数信度汇聚效度和模型推广性、校标效度均较好,机器分数的内在因素结构与自我报告的内在因素结构等价。第二,区分效度不好是机器测量的普遍现象,原因可能是用同一个文本预测多个维度,自变量的重叠推高了其相似性。范老师认为该研究有如下重要性:一是说明即使在AI时代,社会科学研究者关于心理测量的培训仍然非常有用和关键,二是鼓励将来心理学专业、计算机专业等不同领域的研究者共同合作,三是文章打开了机器测量个性的窗口,是一个新的研究领域。
随后,范教授分享了关于机器分数抗伪性的实证研究。文章提出三个研究问题,第一是机器分数能不能伪装好,第二是机器分数的抗伪性和自我报告分数的抗伪性孰强孰弱,第三是机器分数的抗伪性是否与建模时采用的NLP方法有关。基于此,范教授团队对260位南佛罗里达大学学生开展实验调查,学生分为控制组(诚实回答)和实验组(想象在申请实习机会),分别完成自我报告和机器测量。研究发现机器测量的抗伪装性明显好于自我报告,且相较于深度学习方法,采用早期NLP方法建模抗伪性更好,但二者的区别在统计意义上不显著。
范教授分享的第三个研究是通过机器测量职业兴趣,研究采用SETPOINT职业兴趣模型,重新建立模型并设计职业发展相关的面试问题,通过对职业兴趣定义的成分分析,设计面试问题和追问问题。研究发现总体而言信度、汇聚效度、区分效度等都较好,后续需要继续计算校标效度,以及探讨是否需要重新设计面试问题,该研究主要亮点在于被试来自不同专业,推广性更好。
现场互动提问环节,与会人员从不同角度就人才测评中人工智能相关问题与范津砚教授进行了深度探讨和交流。最后,陈丽君院长对讲座内容进行总结,并再次对范津砚教授表示感谢,认为此次精彩讲座让大家看到AI人才测评在实践领域的应用价值,也希望未来会有更多人能够加入到AI人才测评领域的研究中。
最后,浙江省人才发展研究院举行了聘任仪式,聘请范津砚教授为浙江省人才发展研究院的高级研究员,由陈丽君院长为范津砚教授颁发聘书。