本文. 一个说明性的实例演示,不是客户成果。这家在线课程公司、其班次规模和所有数字都是假设。AI 按公司自己的评分标准给每份作业打分,需要判断的情形仍由人来处理。
这个例子里的买方是一家开设直播班次的在线课程公司的学习负责人。每份作业都靠人工批改。这项工作消耗讲师的时间,而讲师时间是每个班次成本中最大的一项。利润空间就这样一份作业一份作业地流失。
担心的是质量。把一个工具扔到作业堆上,批改会更快,也会更差。讲师们会直接这样说。所以设计并不取代他们。它是一个 lms 扩展,按他们的评分标准给作业打分,并把每个分数显示在抽样审计面板里。
#AI 批改能在不牺牲质量的前提下降低在线课程的成本吗？
在线课程使用 AI 批改,能在不损害质量的前提下降低成本吗?
如果设计能守住质量,就可以。AI 按公司自己的评分标准给作业打分,把处于边界的交给讲师。评分标准始终归公司所有,每个边界判断都由人负责。团队会在上线前后追踪每个班次的批改工时和讲师质量的 NPS,并以这两项来评判。
保持质量不变的原因在这里。评分标准始终归公司所有。AI 把它一致地应用到明确的作业上,把边缘情形交给人。为便于说明,假设 85% 的作业明确通过或明确不通过,15% 处于评分标准的边界附近。讲师就会把时间花在那需要判断的 15% 上,而不是整堆作业。
节省的时间会从哪里来?
不是来自每份作业批得更快,而是来自人工批改得更少。在这个假设的划分里,AI 给明确的作业打分。靠近评分标准边界的情形交给讲师,评分标准的对应条目和学生的作业并排呈现。节省多少取决于你自己的划分,所以先用样本量一量。
- LMS 扩展读取每一份作业，并对照客户现有的评分标准打分
- 一个置信度阈值把作业分成两堆：明确的直接打分，边界情况升级处理
- 一个抽样审核仪表盘让讲师可以调出任意一批作业，覆盖任意一个分数
- 每一个分数都能追溯到它对应的评分标准条目
讲师怎么知道这些分数是对的？
他们会审计。每个批次都会出现在一个面板里,讲师可以抽取样本,把 AI 的分数和评分标准并排阅读,并可以覆盖修改。质量就是这样保住的:担心质量下滑的人,正是检查这项工作的人。讲师质量的 NPS 是要盯住的数字。
We are
我们设计一个 lms 扩展,按你的评分标准打分,并给讲师一个用于审计和覆盖的面板,同时说明要衡量什么:每个班次的批改工时。
We aren't
我们不是通用的批改机器人,不会用它自己的标准替换你的标准,也不会不经阅读就批完整堆作业。
这个设计属于我们的 AI 落地实施工作:运行在你产品内部的软件。评分标准的设计和人在回路中的政策,来自 AI 咨询这一侧。扩展、面板和升级规则是一个整体。
这是一个实例演示,不是客户成果。85 比 15 的划分是假设,背后没有真实的班次。我们展示机制和要衡量的内容,因为没有凭据的案例只是一种说法。更多实例演示在日志里。
原则用一句话说:明显的由 AI 批改,困难的留给讲师。
如果你开设班次,批改正在吞噬你的利润,上面的形态同样适用。同样的评分标准,同样的讲师,在明显的那一堆上花更少的时间。告诉我们你在搭建什么,我们和你一起弄清楚,在你的课程里节省会从哪里来。
