この記事について. 説明用のワークド・エグザンプルであり、顧客の実績ではありません。オンラインコース企業、コホートの規模、数字はすべて仮定です。AIは企業自身のルーブリックで各課題を採点し、判断が必要なケースは今も人が担当します。
この例の購入者は、ライブのコホートを運営するオンラインコース企業のラーニング責任者です。すべての課題が手作業で採点されています。その作業が講師の時間を食い、講師の時間はコホートのコストで最大の項目です。マージンは提出物1件ごとに少しずつ漏れていきます。
懸念は品質です。積み上がった課題にツールを投入すれば、採点は速くなるが質は落ちる。講師たちははっきりそう言うでしょう。そのため設計は講師を置き換えません。講師のルーブリックで課題を採点し、すべてのスコアをサンプル監査ダッシュボードに表示するLMS拡張機能です。
#AI採点はオンラインコースを質を落とさずに安くできるのか
オンラインコース向けのAI採点は、品質を損なわずにコストを下げられますか
設計が品質を守るなら、可能です。AIは企業自身のルーブリックで課題を採点し、境界線上のものを講師にエスカレーションします。ルーブリックは企業のものであり続け、境界線上の判断はすべて人が担います。チームは導入の前後で、コホートごとの採点時間と講師品質のNPSを追い、その両方で評価します。
品質を保つ仕組みはこうです。ルーブリックは企業のものであり続けます。AIは明快な提出物に一貫して適用し、境界線上のケースは人にエスカレーションします。説明のため、提出物の85%が明確な合格か明確な不合格で、15%がルーブリックの境界付近にあると仮定します。すると講師は、山全体ではなく、判断が必要な15%に時間を使えます。
時間の節約はどこから生まれますか
1件ごとの採点を速くすることからではありません。手作業で採点する件数を減らすことからです。この仮定の内訳では、AIが明快なものを採点します。ルーブリックの境界付近のケースは、ルーブリックの該当行と学生の提出物を並べて講師に渡されます。節約量を決めるのはご自身の内訳なので、まずサンプルで測ってください。
- LMS拡張機能が各提出物を読み込み、クライアントの既存ルーブリックに照らして採点する
- 信頼度のしきい値が山を振り分ける: 明確なケースは採点され、境界線上のケースはエスカレーションされる
- サンプル監査ダッシュボードにより、講師は任意のバッチを抽出し、任意のスコアを上書きできる
- すべてのスコアは、その根拠となったルーブリックの項目までたどれる
スコアが正しいと講師はどうやって確認するのか
監査します。すべてのバッチがダッシュボードに表示され、講師はサンプルを引き出し、AIのスコアをルーブリックの隣で読み、上書きできます。品質はこうして保たれます。品質の低下を恐れる人たちが、その作業を確認する人たちです。見るべき数字は、講師品質のNPSです。
We are
私たちは、あなたのルーブリックで採点し、講師が監査と上書きをできるダッシュボードを備えたLMS拡張機能を設計し、測るものを明示します。コホートごとの採点時間です。
We aren't
あなたの基準を自分の基準に置き換え、山全体を読まずに採点する汎用の採点ボットではありません。
この設計は、私たちのAI導入の仕事に含まれます。あなたのプロダクトの中で動くソフトウェアです。ルーブリックの設計とヒューマン・イン・ザ・ループのポリシーは、AIコンサルティングの側から生まれます。拡張機能、ダッシュボード、エスカレーションの規則は一体です。
これはワークド・エグザンプルであり、顧客の実績ではありません。85対15の内訳は仮定で、実在のコホートは背後にありません。証跡のない事例はただの主張なので、仕組みと測るものを示します。ほかのワークド・エグザンプルはジャーナルにあります。
原則を一行で言えば、明らかなものはAIが採点し、難しいものは講師が持ちます。
コホートを運営していて、採点がマージンを食っているなら、上の形が当てはまります。同じルーブリック、同じ講師で、明らかな山にかける時間が減ります。何を作っているか教えてください。あなたのコースで節約がどこから生まれるかを一緒に見極めます。
