跳到正文
IFAI

AI科研

OpenAI 推出学习成效评估套件:不只看考分,还要测思维与坚持度

首次发布 传播指数 33

OpenAI 联手斯坦福大学和塔尔图大学推出学习成效测量套件,用于长期追踪 AI 对认知、元认知和坚持度的影响。此前 300 名大学生测试显示,使用 ChatGPT 学习模式让微观经济学成绩提高约 15%。目前该套件正面向爱沙尼亚近 2 万名中学生进行验证,未来将向全球学校开放。

OpenAI 推出学习成效评估套件:不只看考分,还要测思维与坚持度
图:openai.com

学生拿 AI 赶作业到底会变聪明还是变懒,现在谁也说不准。

考试分数提高,可能只是 AI 帮他把答案全顺了一遍,并不代表脑子里真正装进了东西。3 月 4 日,OpenAI 拿出了一个叫做学习成果评估套件(Learning Outcomes Measurement Suite)的框架,准备和教育界一起把这笔账算清楚。

这套工具由 OpenAI、爱沙尼亚塔尔图大学以及斯坦福大学学习加速器的 SCALE 倡议团队联合打造,专门用来长期追踪学生拿 AI 学习后的认知变化,不再只盯着一张期末考卷。

考试提分 15%,但不代表全部

去年 OpenAI 在 ChatGPT 里推出了「学习模式」(study mode)。简单来说,就是用系统指令约束模型,不直接给答案,而是像家教一样给台阶、做理解检查、带着学生一步步推导。

为了验证效果,他们拉了 300 多名准备神经科学和微观经济学考试的大学生做随机对照实验。对照组只能用常规搜索和 YouTube,AI 概括功能被掐掉;实验组则使用带有脚手架引导的学习模式。

结果很有意思:在微观经济学考试中,拿到学习模式的学生成绩比对照组高出大约 15%;但在神经科学科目上,实验组的表现只是略微占优,和用常规搜索引擎的学生拉不开统计学上的差距。

OpenAI 自己也承认,短期的卷面分数很容易被技术手势带偏,甚至可能带来隐形代价,比如虽然短期记住了知识点,但自主探索的韧性和创造力却下降了。

把「家教辅导过程」拆开打分

为了看清学生是真学会了还是被 AI 喂饱了,这次发布的评估套件搭了一整套评分机器。

它不再只看最后的考试结果,而是用分类器和评估模型去扫描去标识化的对话。系统会自动识别出对话里的关键学习节点,看看学生是不是自己发现了错误、有没有顺着引导继续深挖。

套件的核心目标是监控五种长期认知能力:自主学习动机、有效投入度、死磕难题的任务坚持度、元认知能力(即学生会不会自己规划、反思学习过程),以及记忆回溯能力。

OpenAI 还成立了 Learning Lab 研究生态,拉来了亚利桑那州立大学、伦敦大学学院知识实验室和麻省理工学院媒体实验室。目前这套评估体系正在爱沙尼亚近 2 万名 16 到 18 岁的高中生群体中进行真实场景的大规模验证。

为什么重要

我们认为,OpenAI 这次最聪明的举动,是终于把 AI 教育的评测话语权往前推了一步。过去科技巨头推销 AI 家教,拿出的数据大多停留在「写作业快了一倍」「模拟考提了 10 分」,学校和家长心里其实直打鼓,生怕孩子变成了不会思考的提词器。拉上斯坦福和爱沙尼亚教育部做长期追踪,是想给教育采购吃一颗定心丸。

对学校和老师来说,如果这个评估套件后续真的向全球开源,它最大的价值在于提供了一套衡量 AI 教学质量的通用标尺。老师不用再全凭感觉去抓作弊,而是能在后台看到学生到底是在偷懒抄答案,还是在用 AI 训练高阶思维。

但这里的隐患也很明显。所谓的自主动机、元认知和死磕难题的坚持度,本身在心理学里就极难被量化。现在全靠打分模型去扫描对话文本,模型很容易把「话痨型学生」或者擅长说漂亮话的提问误判为深度思考。如果这套打分机制成了标准,学生为了迎合评估,完全可能反向表演提问技巧。AI 究竟是解放了思考还是把思维标准化了,这套体系能不能自证其说,爱沙尼亚那 2 万名高中生的长期数据才是真正的试金石。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选