cet article. un résultat anonymisé. une entreprise d'éducation en ligne qui fait tourner des cohortes en direct de 4 mois a réduit son temps de correction par cohorte de 70 %. l'ia note chaque devoir sur la grille propre du client. une personne continue de traiter les cas qui demandent un jugement.
l'acheteur ici est un responsable pédagogique d'une entreprise de cours en ligne. les cohortes sont en direct et durent 4 mois. chaque devoir est corrigé à la main. ce travail mange des heures d'instructeurs, et les heures d'instructeurs sont le plus gros poste du coût de la cohorte. la marge fuit un devoir à la fois.
la crainte, c'était la qualité. poser un outil sur la pile et la correction devient plus rapide et moins bonne. les instructeurs l'ont dit tout haut. alors nous ne les avons pas remplacés. nous avons livré une extension lms qui note les devoirs sur leur grille et affiche chaque note dans un tableau de bord d'audit par échantillon.
#la correction par ia rend-elle les cours en ligne moins chers sans les rendre moins bons ?
la correction par ia pour les cours en ligne réduit-elle le coût sans nuire à la qualité ?
dans cette mission, oui. une entreprise de cours en ligne a réduit son temps de correction de 70 % par cohorte en notant les devoirs sur sa propre grille avec l'ia, puis en faisant remonter les 15 % marginaux aux instructeurs. le nps de qualité des instructeurs est resté stable. la grille est restée celle du client. une personne a continué de trancher chaque cas limite.
voici ce qui a gardé la qualité stable. la grille est restée celle du client. l'ia l'a appliquée de façon cohérente sur les 85 % de devoirs simples. elle a fait remonter les cas marginaux à un humain. les instructeurs ont donc passé leurs heures sur les 15 % qui demandaient réellement un jugement, pas sur toute la pile.
#d'où viennent réellement les 70 % ?
pas d'une correction plus rapide sur chaque copie. d'une correction manuelle sur moins de copies. environ 85 % des devoirs de ces cohortes étaient des réussites ou des échecs clairs au regard de la grille. ce sont ceux-là que l'ia a notés. les 15 % proches d'une limite de grille sont allés à un instructeur avec la ligne de grille et le travail de l'étudiant côte à côte.
- l'extension lms lit chaque devoir et le note par rapport à la grille existante du client
- un seuil de confiance divise la pile : les cas clairs sont notés, les cas limites remontent
- un tableau de bord d'audit par échantillon permet aux instructeurs de tirer n'importe quel lot et de modifier n'importe quelle note
- chaque note est traçable jusqu'à la ligne de grille dont elle vient
#comment les instructeurs savent-ils que les notes sont justes ?
ils auditent. chaque lot apparaît dans un tableau de bord où un instructeur peut tirer un échantillon, lire la note de l'ia à côté de la grille, et la modifier. c'est pour cela que le nps de qualité des instructeurs est resté stable. les personnes qui craignaient la baisse sont celles qui vérifient le travail.
we are
nous livrons une extension lms qui note sur votre grille et donne aux instructeurs un tableau de bord pour auditer et modifier, et nous donnons le chiffre : 70 % de temps de correction en moins par cohorte.
we aren't
nous ne sommes pas un robot de correction générique qui remplace vos standards par les siens et corrige toute la pile sans relecture.
cette réalisation s'inscrit dans notre activité de plateformes : un logiciel qui tourne à l'intérieur de votre produit. la conception de la grille et la politique d'humain dans la boucle viennent du côté cabinet de conseil. nous ne livrons pas un modèle avant de repartir. nous livrons l'extension, le tableau de bord et la règle d'escalade ensemble.
le client a demandé à ne pas être nommé pour l'instant. le chiffre est réel et la réalisation est réelle. nous publions le résultat et une preuve, parce qu'une étude de cas sans preuve n'est qu'une affirmation. d'autres résultats de ce type se trouvent dans le journal.
l'ia corrige ce qui est évident. l'instructeur garde ce qui est difficile.
si vous faites tourner des cohortes et que la correction mange votre marge, le schéma ci-dessus se répète. même grille, mêmes instructeurs, moins d'heures sur la pile évidente. dites-nous ce que vous construisez et nous vous montrerons d'où viendraient les 70 % dans vos cours.