この記事について. 匿名化された1件の実績です。4か月間のライブコホートを運営するオンライン教育企業が、コホートごとの採点時間を70%削減しました。AIはクライアント自身のルーブリックに沿って各課題を採点します。判断が必要なケースは今も人が担当します。
今回の依頼主は、あるオンラインコース企業のラーニング責任者です。コホートはライブ形式で4か月間続きます。すべての課題が手作業で採点されていました。その作業が講師の時間を食い、講師の時間はコホートのコストのなかで最大の項目です。マージンは提出物1件ごとに少しずつ漏れていきます。
懸念は品質でした。積み上がった課題の山にツールを投入すれば、採点は速くなるが質は落ちる。講師たちははっきりそう口にしていました。そこで私たちは講師を置き換えませんでした。彼らのルーブリックに沿って課題を採点し、すべてのスコアをサンプル監査ダッシュボードに表示するLMS拡張機能を構築しました。
#AI採点はオンラインコースを質を落とさずに安くできるのか
オンラインコース向けのAI採点は品質を損なわずにコストを下げられるか
この案件では、できました。あるオンラインコース企業は、自社のルーブリックに沿ってAIで課題を採点し、境界線上にある残り15%を講師にエスカレーションすることで、コホートごとの採点時間を70%削減しました。講師品質のNPSは維持されました。ルーブリックはクライアントのものであり続けました。境界線上の判断はすべて今も人が担っています。
品質が落ちなかった理由はこうです。ルーブリックはクライアントのものであり続けました。AIは明快な85%の提出物に対して一貫してそれを適用し、境界線上のケースは人にエスカレーションしました。そのため講師は、山全体ではなく本当に判断が必要な15%に自分の時間を使えるようになりました。
#その70%は実際どこから生まれているのか
すべての課題を速く採点したからではありません。手作業で採点する数そのものを減らしたからです。これらのコホートでは提出物の約85%が、ルーブリックに照らして明確な合格か明確な不合格でした。それをAIが採点しました。ルーブリックの境界線付近にある15%は、該当するルーブリックの項目と学生の提出物を並べたうえで講師に渡されました。
- LMS拡張機能が各提出物を読み込み、クライアントの既存ルーブリックに照らして採点する
- 信頼度のしきい値が山を振り分ける: 明確なケースは採点され、境界線上のケースはエスカレーションされる
- サンプル監査ダッシュボードにより、講師は任意のバッチを抽出し、任意のスコアを上書きできる
- すべてのスコアは、その根拠となったルーブリックの項目までたどれる
スコアが正しいと講師はどうやって確認するのか
監査するのです。すべてのバッチはダッシュボード上に表示され、講師はサンプルを抽出し、ルーブリックと並べてAIのスコアを確認し、上書きできます。だからこそ講師品質のNPSは維持されました。品質低下を懸念していた人たち自身が、その仕事をチェックしているのです。
we are
私たちは、あなたのルーブリックに沿って採点し、講師に監査と上書きのためのダッシュボードを渡すLMS拡張機能を構築します。そして具体的な数字を示します。コホートごとの採点時間70%削減です。
we aren't
私たちは、あなたの基準を独自の基準に置き換え、山全体を読まずに採点する汎用の採点ボットではありません。
この構築は私たちのプラットフォームの仕事に位置づけられます。あなたのプロダクトの中で動くソフトウェアです。ルーブリックの設計とヒューマン・イン・ザ・ループのポリシーは、コンサルティング側から生まれました。私たちはモデルだけを納品して去ることはしません。拡張機能、ダッシュボード、エスカレーションルールをまとめて納品します。
クライアントはまだ実名を出さないよう求めています。数字は本物で、構築も本物です。裏付けのないケーススタディはただの主張にすぎないため、私たちは成果とひとつの裏付けを公開します。同様の事例はジャーナルにさらにあります。
AIが採点するのは明白なものだけです。難しいものは講師が引き受けます。
コホートを運営していて採点がマージンを食っているなら、上記の形はそのまま再現できます。同じルーブリック、同じ講師陣、明白な山にかける時間だけが減ります。あなたが取り組んでいることを教えてください。あなたのコースでその70%がどこから生まれるかをお見せします。