基于项目生成算法的矩阵推理测验的实现与验证
矩阵推理测验作为智力g因素的一种有效测量方式,因其具有操作简便、免受文化干扰的优点,广泛应用于临床评估、招聘与安置等领域中,然而以瑞文推理测验为代表的矩阵推理测验存在着项目曝光率过高的弱点。计算机化项目生成是一种应对项目曝光问题的非常有前途的测量技术,本研究以瑞文推理测验为项目生成的起点,系统地考查影响瑞文推理项目难度的设计特征,在完善矩阵推理项目实现算法的基础上,初步实现了矩阵推理测验的项目生成,为项目曝光率的控制进行了初步尝试。
研究中矩阵推理项目生成以瑞文标准推理测验和高级推理测验中3×3的项目为蓝本。首先对大学生被试在瑞文推理测验项目上的作答数据进行正态性、单维性、IRT模型拟合及测量精度等方面心理测量学分析,以探讨这两个矩阵推理测验合并的可行性；然后采用分层回归模型探讨项目设计特征对瑞文推理测验项目难度和区分度的影响,从而得到矩阵推理项目问题解决的认知模型。
在得到的认知模型的基础上,研究者采用认知设计系统取向开发了矩阵推理项目生成与测试系统,通过系统地操纵8种图形属性的变化实现了6种不同的规则,生成了题量庞大的矩阵推理题库。
按照31种项目设计结构从题库中抽取题目组成三个平行测验,每个测验包含36道题目,研究者对大学生被试在三个平行测验上的作答数据进行分析,考查每个测验的正态性、单维性、IRT模型拟合及测量精度等方面心理测量学特征,同时考查测验版本、项目设计结构及答案位置对项目难度和反应时的影响,同时考查项目设计结构中项目难度及反应时的影响因素。
为了考察瑞文测验项目和生成项目的差异,研究者基于16种共同的项目设计结构,分别从瑞文推理测验和生成项目库中抽取题目组成效度验证测验,基于项目水平的难度、区分度和反应时以及被试水平上的测验得分和耗时考查不同来源项目的差异及相关程度。本研究的对象为大学生被试,被试人数总计约1602人,主要研究结论如下：1.发现来自两种不同版本的瑞文推理项目合并后的测验在测验分数正态性、单维性、IRT模型拟合及测量精度测量学属性达到可以接受的程度；2.发现项目设计特征对项目难度的预测好于对项目区分度的预测,在由规则类型、个数及抽象构成的认知复杂变量基础上加入有覆盖、融合和变形构成的视知觉变量,模型的决定系数有显著提高,将逻辑异或从二值分布中单列出来模型决定系数有明显的提高；3.生成项目组成的三个平行测验在正态性、单维性、IRT模型拟合及测量精度等方面达到了心理测量学的基本要求,项目设计特征能显著预测项目难度和反应时,测验版本和答案位置对项目难度及反应时的影响不显著；认知复杂变量对项目难度的影响达到显著,在此基础上加入视知
正则化一个五行五列的随机矩阵觉变量模型的决定系数没有显著的提升；4.相同项目结构下不同来源的矩阵推理项目的反应时和难度差异不显著,所测结构为单维测量结构,满足IRT模型。
基于以上研究结果,研究者对本研究的创新和不足之处进行了反思,并对未来的研究方向和测验评估的实践操作提出建议。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。