Dartmouth 课堂的硬证据：嵌入式 AI 辅导效应量 0.71–1.30 SD
Dartmouth 一门统计课跑出 0.71–1.30 SD,设计原则或重塑 AI 教育部署。
本文要点
- Phosphor 把 LLM 从『外挂聊天』移到『内容中嵌入的形成性评估』,以 Claude Sonnet 4.6 自动批改 CRQ 为评估骨架
- 同一门课在 Module 2 临时改成纯选择题后,效应量近零;恢复 CRQ 后效应回归,首次在真实课堂给出『CRQ 是引擎而非装饰』的对照
- 90.2% 自采用率 + 0.71–1.30 SD 期末效应同时出现,打破『高效必然小众 / 普及必然稀释』的隐性权衡
阅读辅助
先看数字、证据和来源，再读正文。
完整使用 Phosphor 的学生在期末卷上比零参与学生高 0.71–1.30 SD
2025-01-01 · Bastani 等 PNAS RCT：无防护 GPT-4 让高中数学后续成绩下降 17%
导语
Dartmouth College 在 2026 春季把一款名为 Phosphor 的 AI 评估平台塞进《统计学入门》(MATH 010)的三个平行班,151 名学生完整跑完一轮后,论文给出最亮眼的一行:完整使用 Phosphor 与零参与学生在期末卷上的差距,落在 0.71 SD(控制期中成绩)到 1.30 SD(未控先验) 之间。这不是新模型的发布,也不是新融资——它是 AI 教育领域过去一年最稀缺的那类东西:一份带强对照设计、单门课程完整部署、且明确分清楚『什么有效 / 什么无效』的实证报告。论文由 Jonah Bard 撰写,6 月 28 日在首尔 iTextbooks’26 workshop 上以 CC BY 4.0 公开。
Phosphor 的设计哲学:不把 LLM 当万能 tutor
论文把背景矛盾摊得很清楚:94% 的大学生已经在评估作业中使用生成式 AI(HEPI 2026 调查,两年前仅 53%),而 Bastani 等人 2025 年在 PNAS 上发表的近千名高中生随机对照试验却显示,无防护 GPT-4 在工具被撤走后成绩下降 17%——学生把它当拐杖而不是学习辅助。Ma & Zhong 2025 在 JCAL 上的元分析把这一矛盾进一步收窄为一句:LLM 整体对学习有正向作用,但「严密实验设计下的广泛有效干预仍然稀缺」。
Phosphor 没有顺着「学生都已经用 AI」往前走,而是反方向把 AI 嵌进内容本身:每个 Lesson 自带 15–20 题题库,学生答题时抽 4 题,40% 是构造题(CRQ),60% 是多选题(MCQ);CRQ 由 Claude Sonnet 4.6 按教师预先写好的 rubric 自动判分,过 75% 即视为完成,允许无限重试。Module Review 是覆盖整个模块的 10 题综合测试,90% 及格线,同样允许重试。旁边还挂着一个 RAG 聊天侧栏,基于课程内容做检索增强生成,但几乎没人用——后面会再讲这件事的反向意义。
整套系统作为完全可选、不计入成绩的替代阅读方案部署,与传统阅读作业形成对照。学生自报阅读合规基线约 15%,教师估计约 10%;Phosphor 跑完后,90.2% 的在册学生至少用了一次,触达 20 课以上的占 59.4%,quiz 完成率 48% 作为阅读下界、触达率 76% 作为上界——区间 [48%, 76%] 已经把基线翻了好几倍。
关键数据:0.71–1.30 SD 怎么来的
论文最值得反复读的是 Table 4 的 Tobit 模型——这是把课程剂量和期末表现同时拉进来估计的关键一步。
| 模型规格 | 完整 vs 零参与差距(原始分) | 差距(SD) | 备注 |
|---|---|---|---|
| 仅参与度 | 14.7 分 | 1.30 SD | 24 课全完成 + 3 模块复习全过 vs 零参与,期末 0–100 分制 |
| + Midterm 1 控制 | 8.0 分 | 0.71 SD | 控制先验成绩后,复习变量被「吸收」大半 |
| + Midterm 2 控制 | 8.0 分 | 0.71 SD | 同上,换期中 2 做控制 |
作者自己把这 0.71 SD 写成「过度调整后的保守下界」,而不是点估计——理由是期末大量内容已经在期中重复考过,Midterm 控制变量吸收的不仅是先验能力,可能也吸收了 Phosphor 自己此前的学习收益。因此真正的累积效应量被夹在 0.71 SD 和 1.30 SD 之间,在教育干预领域属高位区间。
更细一层的 Welch t 检验(Table 3)给出可验证的单点信号:三模块复习全部通过的 31 名学生在期末上比剩下 107 人高 7.1 分,d=0.66,p<0.0001——这是五组预设对照里唯一通过 Holm 校正的强结果。Module 2 内部的准对照显示,通过 Module 2 复习的学生在 MT2 上高 6.1 分(d=0.39,p=0.009),量级与方向都一致。
这门课意外做了一次『自然实验』:CRQ vs MCQ
最有意思的一段不是数据本身,而是它的方法论意外。Module 1 全 CRQ + MCQ,但学生反馈说 CRQ 自动评分「死板、打击信心」;教师于是把 Module 2 改成纯 MCQ,同时引入 Module Review;后来发现 Module 2 效应消失,又把 Module 3 改回 CRQ + MCQ。三段自然对照跑出来的回归(Table 2)是这样的:
| 模块 | Quiz 形式 | 期末/期中回归方程 | R² | 解读 |
|---|---|---|---|---|
| Module 1 → MT1 | CRQ + MCQ | 1.64x + 77.9 | 0.123 | 每多完成 1 课,MT1 多 ~1.6 分,p<0.001 |
| Module 2 → MT2 | 纯 MCQ | 0.90x + 76.0 | 0.027 | 几乎看不到剂量-表现关系 |
| Module 2(去掉零参与) | 纯 MCQ | −0.29x + 84.7 | 0.001 | 斜率转负,MCQ 没有学习增益 |
| 全部 24 课 → 期末 | 混合 | 0.41x + 84.7 | 0.091 | 期末回归斜率不依赖零参与,信号由 M1/M3 的 CRQ 课次承担 |
这张表是整篇论文的方法论心脏:同样学生、同样教师、同样考试,只是临时把评估形式从 CRQ 切到 MCQ,效应就消失了。Kang、McDermott 与 Roediger 2007 年在 European Journal of Cognitive Psychology 上的老实验早就指出,带反馈的短答题测试效应比多选高 d=0.41——Phosphor 把这件事搬到了真实课堂。
RAG 聊天助手为什么没人用
72 次总查询,只有 14 名学生发过第二条消息。学生自己给出的两条理由很实在:通用 LLM 更快、能力更强;课程内容本身「够用」,阅读过程中产生的疑问不足以撑起独立聊天界面。论文把这条对照到 Khan Academy 2026 年冬季博客里的一个数字——只有 15% 的用户经常使用其辅助聊天机器人。当评估已经嵌入内容,外置聊天就变成了多余入口——这是一个对产品形态很有压力的信号。
反方视角:为什么 0.71 SD 不该被读成「LLM 显著提分」
读这篇论文必须同时读它的局限段。
第一,这是观测研究,没有随机对照。完成更多 quiz 的学生本来就更有动力、更擅长考试——Tobit 模型控制了期中成绩,但也只能控制能控制的;0.71 SD 已经「控制过头」,作者承认其中包含 Phosphor 自己此前的学习收益。真正的因果效应落在 0.71 到 1.30 之间的某个位置,目前没有点估计。
第二,跨模块对照同时被内容、时间和新引入的 Module Review 三个变量混淆。Module 2 改成 MCQ 不是随机实验,而是学生反馈驱动的设计变更;同时 Module Review 这条「最强信号」也是在 Module 2 之后才加入的,把它单独归因于「复习」是危险的。
第三,Claude Sonnet 4.6 的批改稳定性未做正式的评分者一致性研究。论文承认这一点,只说遵循了 LLM 自动评分最佳实践。在跨学科、跨文化、跨年级的复制场景里,这个前提需要被重新检验。
第四,单校(高选拔性的达特茅斯)、单课程(统计学入门)、单学期。论文作者明确把这列为下一步要做的事。
附录:课程问卷关键指标(S1: n=33; S2: n=31, Mentimeter 课内即时)
| 指标 | S1(期中考 1 后) | S2(期中考 2 后) |
|---|---|---|
| 比传统阅读更投入 | 94% | 94% |
| 记得更牢 | 94% | 97% |
| 让我更好地准备上课 | 76% | 87% |
| 评分准确反映我的理解 | 79% | — |
| 足够应付考试 | 79% | 61% |
| 希望其他课也用类似工具 | 85% | 90% |
样本小、社会期望偏差,论文明确把这部分作为描述性指标处理,不作为效应估计。
这篇论文给出的是一份带具体证据骨架的设计原则,值得从三个层面分别读。
第一层:它提供了一组「嵌入式 AI 评估」的可复制证据。 0.71–1.30 SD 这个区间给了产品团队一个能落地的参考值,跨模块的 CRQ vs MCQ 自然对照则给出了「为什么 CRQ 是引擎而非装饰」的机制证据。2025 年 Bastani PNAS 的 RCT 把「无防护 GPT-4 损害 17%」写进教科书,直接结果是大量高校开始讨论「禁 ChatGPT」。Phosphor 给出的相反答案是把 AI 从聊天框里拆出来塞进题目——CRQ 强制学生写答案,Claude Sonnet 4.6 按 rubric 批改,学生不可能把 AI 当成直接问答案的拐杖,因为他们必须自己先写。
第二层:与元分析的结论同向且具体,说明稀缺的是产品设计而非技术。 Ma & Zhong 2025 总结 LLM 整体正向,但「严密设计的广泛有效干预稀缺」。Phosphor 这条路如果被复制,会重塑三类玩家的产品形态:一,智能教材/学习平台(Khan Academy、Duolingo、Anki、各国「数字课本」)会开始把 RAG 聊天侧栏降权,转押嵌入式形成性评估;二,通用 LLM 公司(Anthropic、OpenAI)会被更频繁地要求提供「rubric-graded CRQ」API 而不仅是自由对话;三,学校与考试机构会被迫重新讨论「AI 参与评估」的定义——从「是否允许用 AI」转到「AI 嵌在哪一格、评估的是哪一步」。
但必须警告三点。 第一,0.71 SD 是过度调整后的下界,1.30 SD 包含自选择膨胀,真值未知;把它读成「AI 让所有学生期末涨 0.7 个标准差」是过度泛化。第二,论文里最强信号(三个模块复习全过,+7.1 分)来自自选择最强的那一组,d=0.66 不能直接外推到「只要学生多用就好」。第三,RAG 聊天被低用这件事,作者读成「嵌入内容比外挂聊天更高效」,也可能是「RAG 在这门课里的设计不到位」——这是用证据溢出做产品判断的常见陷阱。
总之,这是 2026 年至今 AI 教育领域最该被读的一份工作流级别论文,但它给出的是设计原则,不是产品承诺。
接下来看什么
- 强制完成条件下的清洁对照。论文作者明确计划把 Phosphor 与课程成绩挂钩,期望提升参与度后获得更干净的剂量-表现曲线,把 0.71 SD 推向可信点估计。这是 2026–2027 学年最值得追的进展。
- 跨课程、跨学校、跨基础模型的复制。统计学入门是相对友好的课程(题目有标准答案),CRQ 在写作、社会科学入门课上能不能跑出同样的「剂量-表现斜率」?这是 AI 教育从单一证据走向产品决策的最大瓶颈。
- LLM 自动评分的一致性研究。Claude Sonnet 4.6 在单一课程、单一 rubric 上跑得不错,但没有正式的评分者间一致性检验;一旦部署到不同年级、不同学科,这条短板会被放大。
- 「嵌入式评估」对 RAG 聊天侧栏的挤压。如果 Phosphor 这条设计被 Khan Academy、Duolingo 等平台采纳,RAG 聊天侧栏在 LLM 教育产品中的位置需要重新评估——是被吃掉,还是被升级成「嵌入式反馈生成器」?
- 与 Bastani 团队的口径竞争。PNAS 的 17% 下降与 Phosphor 的 0.71–1.30 SD 上行并不矛盾,但两组作者对「LLM 应如何介入教育」显然持不同主张;后续辩论会决定「自由聊天 vs 嵌入式评估」是不是会成为教育 AI 的方法论分水岭。