第46卷第2期
教学研究
Vol.46No.2
2023年3月
Research in Teaching
Mar.2023
国际学生技术与工程素养评估项目的比较研究
以ICILS 2018与TEL 2018评估框架为例
顾乃景∗
(盐城师范学院江苏农村教育发展研究中心，江苏盐城224002)
㊀[收稿日期]㊀2022-02-14㊀㊀㊀[基金项目]㊀国家社会科学基金教育学青年项目(CBA220317)；盐城市 乡村教育专项课题 (XCZX21113)
㊀[作者简介]㊀∗顾乃景(1990 )，男，江苏建湖人㊂硕士，助教，主要研究方向为科学教育㊁农村教育㊂
㊀㊀[摘㊀要]㊀为促进我国技术与工程教育的发展，提升学生科学与技术素养水平，实现 以评促教  以评促学 ，从框架目标和项目特点两方面出发，比较分析ICILS 2018与NAEP TEL 2018两种典型模式的异同，得出两
者在维度划分㊁重视情境㊁采用量规等方面存在相似点，在评估重点㊁试题分布㊁编制依据等方面存在不同点的结论㊂结合我国实际，提出了科学与技术素养评估今后的发展思路：统一课程标准，完善评估体系；明确评估目标，构建三维架构；营造真实情境，提升解决能力；凸显整体平衡，科学编制试题；重视人机交互，增强现实体验；强化过程评价，实现 质  量 结合；重视环境影响，改进后续教学㊂㊀㊀[关键词]㊀ICILS 2018;TEL 2018；技术与工程素养；比较研究
㊀㊀[中图分类号]㊀G 632.0㊀㊀[文献标识码]㊀A ㊀㊀[文章编号]㊀1005-4634(2023)02-0009-09
㊀㊀当今，作为促进经济增长和提升国家竞争力的重要战略,STEAM 教育日益成为全球教育变革的核心议题㊂21世纪以来，技术与工程的重要性不断增加，而作为STEAM 教育重要组成部分，除艺术(Art,A)外，技术(Technology,T)与工程(En-gineering,E )相较于科学(Science,S )及数学(Mathematics,M)长期以来 评估核心学科 的地
位而言[1]，重视程度及相关评估力度严重不足㊂
技术与工程素养评估作为评价学生科学素养
的有效方式，对技术与工程教育的发展㊁学生技术与工程素养水平的提高起着重要的导向作用㊂由国际教育成就评价协会(International Association
for the Evaluation of Educational Achievement,IEA)
主持的国际计算机与信息素养研究项目(Interna-tional Computer and Information Literacy Study,ICILS)和美国国家教育评测中心(National Center for Education Statistics,NCES)推行的美国NAEP
技术与工程素养评估(NAEP Technological and En-
gineering Literacy Assessment,NAEP TEL)作为当前国际上大规模评估学生技术与工程素养的典型模式，其成熟的运作体系对我国的科学素养评估有着重要的借鉴意义[2]㊂本研究从 测什么 (即架构目标)和 怎么测 (即项目特点)两方面来比
较ICILS 2018和NAEP TEL 2018(以下简称TEL
2018)评估体系的异同，归纳有益经验，从而为我国的技术与工程素养评估及相关问题研究解决提供参考建议㊂
1㊀架构目标的比较
1.1㊀总体框架
在框架设计目的方面,ICILS 2018的主要目
的是 系统评估学生为实现一系列不同目的，从而利用信通技术能力的有效度 ，次要目的是 调查学生㊁教师使用计算机与其他数字设备的情况，以及对使用计算机技术的态度 [3]㊂而TEL
2018突出 作为数字信息时代NAEP 评估的重要补充 特点，主要包括三个目的：一是评估学生对技术与工程知识的掌握程度；二是了解技术和工程知识在日常生活中的使用程度；三是了解工程师设计和开发技术的程度㊂
在具体框架内容(或维度)方面,ICILS 2018
包含两个维度: 领域 (Areas)㊁ 情境 (Contexts /
Contextual Factors);TEL 2018包含三个维度: 领域 (Areas)㊁ 实践 (Practices)及 情境 (Con-texts)㊂
10
㊀教学研究
2023
1.2㊀内容领域
ICILS 2018主要涉及三个核心领域：计算机与
信息素养(Computer Information Literacy,CIL)㊁计
算思维(Computational Thinking,CT)㊁学习中使用
数字技术(Use of Digital Technologies in Learning)㊂
TEL 2018也包含三个领域：技术与社会(Technolo-gy and Society,TS)㊁设计与系统(Design and Sys-tems,DS)㊁信息和通信技术(Information and Com-munication Technology,ICT)㊂ICILS 2018和TEL 2018各自三大领域都有具体的子领域，且子领域又包含具体的评估方面(见图1㊁图2)[4]㊂
图1㊀ICILS 2018评估框架内容领域
图2㊀TEL 2018评估框架内容领域
㊀㊀就核心领域看,ICILS 2018基于其 系统评估
学生利用信通技术能力的有效度 的主要目标，将计算机与信息素养(CIL)定义为 个人使用计算机进行调查㊁创造和交流的能力，以便在家庭㊁学校㊁工作场所和社会生活中得到有效参与 ；计算思维(CT)定义为 个人识别现实世界问题的各方面的能力，采用计算公式，评估和开发解决问题的相关方案，并实施以相关计算机操作 ㊂值得一提的
是,ICILS 2018首次创造性地对学生的计算思维进
行了大规模国际测评，这为各国深入理解计算思维㊁把握学生计算思维发展状况㊁明确相关影响因素等提供了科学有效的途径与工具㊂在TEL 2018
方面，将技术与社会(TS)定义为 涉及技术对社会和自然的影响，以及由此产生的伦理问题 ；设计与系统(DS)定义为 涵盖技术的性质㊁开发设计及日常处理的基本原则，包括相关维护及故障
第2期顾乃景国际学生技术与工程素养评估项目的比较研究  以ICILS 2018与TEL 2018评估框架为例
11
㊀排除 ；信息和通信技术(ICT)定义为 包括计算机和软件学习工具㊁网络系统协议㊁数字化设备及获取㊁新建和推进创造性表达的其他技术 [5]㊂由此可见,TEL 2018对 技术与工程 的关注比
ICILS 2018对 计算机信息素养及计算思维 的关
注更广泛㊂
1.3㊀情境方面
情境，即上下文因素，是ICILS 2018及TEL
2018评估的重要方面㊂ICILS 2018强调将测评设
置在校内外不同影响因素之下，让学生通过自身不同知识经验来解决系列问题(见图3)[3]㊂ICILS
2018认为影响学生计算机与信息素养(CIL)及计算思维(CT)水平的背景因素复杂，如不同的学习场所㊁不同的家庭环境以及学生自身经历，等等㊂ICILS 2018将其细化为四个方面，一是宏观(社
区)环境：学生计算机与信息素养㊁计算思维学习的广泛背景，如整个教育系统㊁教育政策等；二是学校(课堂)环境：学校及课堂条件，包括学校的ICT 课程㊁教师引导能力等；三是个人因素：学生自身特征，如年龄㊁性别㊁学习动机等；四是家庭环境：学生的家庭背景特征，如家长的社会经济地
位㊁学生ICT 资源使用频率等㊂
图3㊀ICILS 2018情境(上下文)因素
㊀㊀由图3可见，宏观环境对个人㊁家庭及学校环境均产生作用，其中学生成长受到学校和家庭环境的双重影响㊂按照关联程度,ICILS 2018将影响
学生信息素养的情境分为间接因素和直接因素㊂间接因素，也称前置因素，即限制学生信息素养的外在条件，如家长的社会经济地位；直接因素，也称过程因素，即影响学生信息素养的直接条件，其受间接因素及更高层次因素的影响，如课堂中教师CIL 与CT 的引导能力[6]
㊂上述提到的个人㊁家
庭㊁社区㊁学校四个层次都涉及到间接因素和直接因素㊂其中，间接因素直接作用于直接因素，如教育系统的相关特征决定着Internet 网络课程的设置[7]
；直接因素与结果相互影响㊁相互制约，如学生
在家庭中ICT 资源使用频率越高，其计算机与信息素养越高，反过来又在一定程度上增进了学生ICT 资源使用的频率，从而形成了一个良性循环㊂
TEL 2018围绕 社会议题(Issues)  设计问
题(Problems)  学校和社区目标(Goals) 三方面，突出 将相关任务及问题设置于相关情境下
的理念，重在获取真实的学生测试及反应数据[1]㊂由于三个领域内问题类型㊁测试目标侧重点不同，评估项目的背景情况也会有所不同[8]㊂四年级㊁八年级和十二年级学生的评估难度由 相对简单 到 相对复杂 递进㊂以八年级学生为例，其信息与技术素养评估的三个领域情境各不相同(见表1[4])，在每个领域对应的子领域(及情境下)下，又
包含着相应的核心原则和具体的情境描述(见表2[4])㊂
1.4㊀实践方面
实践是技术与工程素养的重要内容㊂在
ICILS 2018方面，虽未明确提出 实践 这一概念,
但其着重强调 在学习中使用数字技术 ，并提出 使用计算机进行调查㊁创造和交流的能力，以便在家庭㊁学校㊁工作场所和社会生活中有效参与 ,
突出数字技术运用的重要性，足见其对 实践 的重视程度㊂而在TEL 2018层面，将 实践 定义为
对学生技术与工程思维及推理的期望 ，即期望
12㊀教学研究2023
学生在实际生活中展现出其对技术知识和技能的理解和运用㊂TEL强调学生所进行的实践活动是带有 普遍性 和 跨领域 特点的推理过程，并将其分为 理解技术原则  设计方案与实现目标 以及 交流与合作 [1]㊂由此可见,ICILS2018与TEL2018均重视 实践 的作用，即要培养一个精通技术与工程知识，且思维活跃㊁推理和行动能力强的人㊂
表1㊀八年级学生TEL评估领域的情境
领域技术和社会(TS)设计和系统(DS)信息和通信技术(ICT)
情境A.农业和健康情境，如水是一种稀缺资源
B.能源情境，如供家庭使用的风力涡轮机
C.电子通讯情境，如个人通讯设备
A.农业和相关生物技术
B.建造技术
C.能源和电力技术
D.信息通讯技术
E.材料制造技术
F.医疗制药技术
G.交通运输技术
需要通过理解信息通讯知识，并使用
相关技术来实现预定目标或解决实
际问题的情境
表2㊀八年级学生TEL评估 技术和社会(TS)领域 的具体情境
子领域技术和人类的相互作用技术对自然界的影响技术对信息和知识领域的影响伦理㊁平等与责任
核心原则社会推动了技术变革，而
技术变革反过来塑造了
社会
部分技术决策加剧经济与
环境间的竞争，而部分对
两者均有积极影响
信息技术迅猛发展，各种不断
增加的信息和数据可以通过多
种媒体(格式)设备予以存储㊁
访问和分析等
技术本身无好坏之分，但其使
用会影响他人
情境：农业和健康，如水是一种稀缺资源社会需要什么，如何推动
了河流自然流量的变化
为确保水系健康，需要解
决哪些问题
到两份描述替代水净化方法
的报告
从河流中引水的决定会如何
影响下游的农民和小城镇
情境：能源，如供家庭使用的风力涡轮机描述住宅风力涡轮机对社
会可能产生的积极和负面
影响
对比风力涡轮机与其他潜
在能源对环境和经济的
影响
比较关于替代风力涡轮机设计
的两种多媒体演示的说服力
描述一个让公民评估风力涡
轮机可能对社区中其他人产
生的影响的过程
情境：电子通讯，如个人通讯设备个人通讯设备对传统的人
类通讯有何积极和负面
影响
基于环境破坏的视频证
据，描述对社会对全球污
染的影响
描述个人通讯设备提供访问信
息和专业知识的方式
允许个人使用通讯设备会产
生什么影响
图4㊀TEL2018评估的三维架构
此外，评估的内容领域㊁实践和情境三者构成了TEL2018评估的三维架构㊂由图3[4]可知，整个架构由内到外分别为三个内容领域㊁三个实践目标和三种情境㊂其中，内容领域构成了一个三面金字塔，显示了其基础作用㊂而最外侧为情境，充分展现了 内容领域与实践都依赖于情境的实现 这一理念[9]㊂
2㊀项目特点的比较
2.1㊀试题类型分布
ICILS2018针对计算机与信息素养(CIL)和计算思维(CT)两大内容领域，采用 模块 概念，将整个测评分为CIL和CT两个测试模块，并将相关模块划分为六种任务类型，其中:CIL测试模块包含基础信息响应任务(Information-Based Re-sponse Tasks)㊁技能任务(Skills Tasks)㊁编辑任务(Authoring Tasks);CT测试模块包含非线性系统传输任务(Nonlinear Systems Transfer Tasks)㊁仿真模拟任务(Simulation Tasks)㊁可视化编码任务(Visual Coding Tasks)㊂ICILS2018题型主要为情境任务题，按照难易程度和耗时长短，可分为简短
第2期顾乃景国际学生技术与工程素养评估项目的比较研究  以ICILS 2018与TEL 2018评估框架为例
13
㊀任务㊁持续性任务等类型㊂一般来讲，学生有120分钟的时间完成整个测评的四个模块㊂
TEL 2018主要包含两种题型：一是基于场景
的任务题(Scenario-Based Item Sets,SBT)；二是传统的独立题(Discrete Item Sets)㊂其具体的时间及
反应类型见表3[4]㊂
表3㊀TEL 2018题型分布
题型
时间
反应类型基于场景的任务题
(SBT)
长场景题中场景题短场景题
30分钟20分钟10分钟选择题㊁建构反应题独立题(约10~15个独立项目组成)
60分钟
选择题㊁建构反应题
㊀㊀在TEL 2018评估中，基于场景的任务题
(SBT)通过构建真实世界的场景，使学生处在宏观的背景之下，着重强调学生 必须使用ICT 工具来分析
技术对人类社会的影响 ，最为典型的就是计算机交互任务，即计算机构建相关虚拟情境，学生在相关提示下通过操作计算机来逐步完成相关任务㊂可见,SBT 任务可以 复制 生活中可能遇到的真实情况，从而为学生提供 其他类型评估任务中无法展现的真实性 ，大大提升了评估的有效性㊂但在SBT 任务中，由于相关问题多与同一场景相关，导致许多度量相互依赖，为抵消这种相互
依赖性并确保可靠性,TEL 2018还采用了传统的
独立题(Discrete Item Sets)，包含10~15个独立项
目，并通过建构或选择的响应类型，让学生在60分钟内完成㊂
在评分方面,ICILS 2018与TEL 2018均采用
评分量规(Scoring Rubric)对学生的答案进行测
评，根据学生答案中所包含答题要点的多少，由高
到低分为三个层次，分别给予满分㊁部分分和零分㊂
2.2㊀试题编制方式
评价试题的编制是评估体系的核心㊂ICILS怎么看项目是什么框架
2018试题是根据其测评目标进行编制，测评内容在其评估框架中有详细规定㊂而TEL 2018遵循
NAEP 的试题编制的依据，主要根据‘美国国家科学教育标准“和‘科学素养基准“两个基本文件，基
于学生的 表现期望 (Performance Expectation)，编制相关测评试题㊂由试题引发出学生相关反应，以此作为测评学生科学素养的依据(见图5)[2]㊂此外,TEL 2018特别强调测评时间分布的
整体平衡，如在内容领域，四年级强调信息与通信技术，八年级强调设计与系统，而十二年级则注重信息与通信技术㊁设计与系统间的平衡㊂具体的时间占比见表4[4]
㊂
图5㊀NAEP 的试题编制流程图
表4㊀TEL 2018内容领域分布比例
内容领域
四年级(%)八年级(%)十二年级(%)
技术与社会252530设计与系统
304035信息与通信技术(ICT)
45
35
35
注：表中百分比均为各领域占总测评时间之比㊂
2.3㊀相关比较
基于探究ICILS 2018与TEL 2018两个评估
框架之间异同的目的，美国国家教育统计中心(NCES)于2018年对两个评估相关项目(主要涉及八年级学生)进行编码，具体为:ICILS 2018包
含113个基于场景的测试题(SBT);TEL 2018包
含184个项目，其中：基于场景的测试题(SBT)107
题，独立题77题(见表5㊁表6)[10]㊂
表5㊀TEL 内容领域题型分布
TEL 内容领域基于场景的测试题(SBT)
独立题设计与系统2323信息与通信技术4432技术与社会4022总计(题)
107
77
表6㊀ICILS 内容领域题型分布
ICILS 内容领域基于场景的测试题(SBT)
计算机与信息素养(CIL)95计算机思维(CT)18总计(题)
113

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。