作者：马逸骏，14’ Teacher’s college, Columbia University， NY
编辑: Jc

 

首先，非常感谢一起作业网提供的数据。在此分享一下自己的思路，希望能够抛砖引玉。

本文将结合一起作业网的数据以及哥大Education Data Mining课中Basic Assignment 3的数据（点此链接获取）。使用两组数据是为了方便对比，从而找出不同系统的共性与特性。

做题时间是衡量学生学习程度的一个重要指标。以学习曲线（learning curve）为例（参见图1），尽管做题时间【y轴】与做题次数【x轴】的负相关并非完美，但是一个明显的结论是随着学生做题数量的增加，学生做题时间下降。图2是另一个更具代表性的学习曲线。图中有两次做题时间明显的下降，第一次（1-4）是学生学会了解题思路，第二次（18-21）则是经过多次训练得到了顿悟(We call it “Ahaa” phenomenon)。

 

 

由于一起作业分享的数据不是个人的历时数据(time series)，而是一个群体的截面数据(cross section)；因此我无法完全复制学习曲线。但是以之为模板，依然可以绘制一条做题时间的分布曲线，x轴是做题时间，y轴是频数分布。一起作业的数据在图3中展示，而Baker（2014）所使用的Basic Assignment数据在图4中展示。

可以发现，两者基本都呈向左偏斜的钟形曲线，这可能是所有intelligent tutoring system普遍存在的规律——大部分人集中在一定时间段内完成题目，时间越短，人数下降越快；而时间越长，则会出现长尾效应。两组数据不同的地方在于：
1) 一起作业网平均做题时间较短
2)Basic Assignment中，低于1秒的做题时间的数量非常多（1600个），而一起作业网的则很少。

 

 

我在这两张图中提取出一下问题：

（1）在做题时间人数达到峰值的时刻，短短数秒的差别为什么会导致如此巨大的人数变化？

（2）是什么因素使得学生既不能更快的做完，也不愿更慢的做完题目？而当做题时间足够长时，为什么人数差异越来越少？

（3）做题时间越长，对于学生而言到底意味着什么？他们是否需要更长的做题时间？

为了进一步分析上述问题，我进一步绘制了一起作业网听力题和非听力题的做题时间与正确率的散点图（图5、图6）以及Basic Assignment的做题时间【x轴】与正确率【y轴】的散点图。圆圈越大，表示处在这个点上的数据越多。

 

 

从上述几张图中，我们可以有以下观察：

（1）听力题中，做题时间低于1秒的记录正确率很低。这个现象在非听力题和Basic Assignment的新题中也有出现。这可能是学生直接放弃努力的表现。
（2）Basic Assignment的新题记录中，做题时间越长，正确率越高；而在一起作业数据中，做题时间越长，反而正确率越低。是不是可以在学生长期停顿后，给出一定的提示。
（3）尽管Basic Assignment的新题曲线和一起作业的相似，但是它的错题补做记录却非常不同。做题时间和正确率不存在倒U型，而是统一的正相关关系(uniformly positive correlation)。这可能是因为Basic Assignment第一次做题错误之后，系统会给予提示，然后会让学生再做一次。通过不停的喂题，根据类似Baysian  Knowledge Tracing的一个分析模型，判断学生是否还需要更多的练习。因此，错题重做较单纯地显示了学生思考的效果：思考的越多，正确的概率越大。

总结：

本文主要探讨的是如何从学生的做题时间挖掘出更多的有效信息：

1. 一般而言，当做题时间少于2-4秒的时候，很有可能是学生在钻空子（Gaming the System），但也有可能是学生对该知识点非常熟练。一般可以通过分析学生一系列的行为分析（sequential pattern mining)，确定是否在Gaming the System。但是一起作业网似乎暂时不能提供学生的做题顺序，未来可以在这方面改进一下。
2. 无论对于听力题或者非听力题，当做题时间超过4秒之后，多多少少都存在的现象是做题时间越长，正确率越低（听力的相关性尤为明显）。此时，做题时间反应了学生对知识的熟练程度。
3. 但是，也有可能出现的情况是，做题时间越长，说明学生思考的越多，结果学生分数的会升高。这有可能是导致填空题正确率分布不成规律的原因之一。如何筛选开来这部分因子，是未来数据分析或者产品设计需要思考的问题。

 

参考文献：

Baker, R.S. (2014) Big Data and Education. New York, NY: Teachers College, Columbia University.