1. 项目总体目标:
评估在线作业对于学生英语学习效果的影响,是否实现“减负不减质”
2. 项目目标分解:
2.1 基础问题:
在控制练习数量(或练习时间)的前提下:在线作业是否提高了学生的学习成绩
2.2 中级问题:
- 在控制练习数量和练习难度(知识点)的前提下,在线作业的形式是否影响学生的学习成绩提高。这个问题的核心是在能力建模时,需不需要把知识点和题型分开。例如,在知识点相同的前提下,连线题和选词填空是否是两种能力。
- 在控制练习数量和练习形式的前提下,在线作业的难度是否影响学生成绩的提高。这个问题的核心是依据难度的个性化推送策略是否有效
2.3 高级问题:
- 在基础和中级问题的基础上,区分听说读写四种能力
- 在基础和中级问题的基础上,区分词汇、句型和语用三级能力
3. 项目研究方法:
3.1 实验方法:
核心问题是回答如何设置干预类型和实验最小单元。例如,如果干预类型是“是否使用17作业网”,那么最小实验单元可能是班级或者是学校。抽样到个人很难保证实验组和对照组之间不发生“污染”,而且存在严重的执行可行性(家长可能不会满意自己的孩子不能使用免费教育产品)
3.2 非实验方法:
核心问题是如何控制学生能力、家庭背景以及教师固定效应。
4. 测评工具:
4.1 标准化测试
- 测试题如何应对不同地区教学大纲的不同
- 取决于回答的问题,测试题如何反应不同层次的评测目标
- 如何测量标准化测试和当地考试间的相关关系。如何保证测试的外部效度
4.2 当地测试
- 如何保证不同时间和不同区域间的可比性
- 取决于回答的问题,测试题如何反应不同层次的评测目标
5. 测试实施的方式:
5.1 线上测试:
- 如何保证参与率
- 如何控制学生的认真程度(学生可以故意提交错误答案)
5.2 线下测试:
- 如何进行数据搜集(谁监考、谁打分;是否进行抽样)
- 测试的合规性(是否违反素质教育的相关规定)
6 测评采样
- 测评样本规模及其原因:需要预先估计评测的误差大小
- 测评样本的采样方法及其原因:需要评估样本的区域代表性和年龄代表性