questo post. un risultato anonimizzato. una società di formazione online che gestisce coorti live di 4 mesi ha ridotto il tempo di correzione per coorte del 70%. l'ai valuta ogni compito secondo la rubrica del cliente. una persona gestisce ancora le decisioni che richiedono giudizio.
l'acquirente qui è un responsabile della formazione presso una società di corsi online. le coorti sono live e durano 4 mesi. ogni compito viene corretto a mano. questo lavoro consuma ore di istruttori, e le ore degli istruttori sono la voce più pesante nel costo della coorte. il margine se ne va una consegna alla volta.
la paura era la qualità. butti uno strumento sul mucchio e la correzione diventa più veloce e peggiore. gli istruttori lo hanno detto ad alta voce. quindi non li abbiamo sostituiti. abbiamo consegnato un'estensione lms che valuta i compiti secondo la loro rubrica e mostra ogni voto in una dashboard di audit a campione.
#la correzione ai rende i corsi online più economici senza peggiorarli?
la correzione ai per i corsi online riduce i costi senza danneggiare la qualità?
in questo incarico, sì. una società di corsi online ha ridotto il tempo di correzione del 70% per coorte valutando i compiti con l'ai secondo la propria rubrica, per poi passare agli istruttori il 15% marginale. l'nps sulla qualità degli istruttori è rimasto stabile. la rubrica è rimasta del cliente. una persona ha continuato a decidere ogni caso limite.
ecco cosa ha mantenuto stabile la qualità. la rubrica è rimasta del cliente. l'ai l'ha applicata in modo coerente sull'85% delle consegne chiare. ha passato i casi marginali a una persona. così gli istruttori hanno speso le loro ore sul 15% che aveva davvero bisogno di giudizio, non su tutto il mucchio.
#da dove viene davvero il 70%?
non dal correggere più in fretta ogni elaborato. dal correggerne meno a mano. circa l'85% delle consegne in queste coorti erano promozioni chiare o bocciature chiare rispetto alla rubrica. sono quelle che l'ai ha valutato. il 15% che si trovava vicino a un confine della rubrica è andato a un istruttore, con la riga della rubrica e il lavoro dello studente affiancati.
- l'estensione lms legge ogni consegna e la valuta secondo la rubrica esistente del cliente
- una soglia di confidenza divide il mucchio: i casi chiari vengono valutati, i casi limite vengono passati a una persona
- una dashboard di audit a campione permette agli istruttori di estrarre qualsiasi lotto e correggere qualsiasi voto
- ogni voto è tracciabile fino alla riga della rubrica da cui proviene
#come fanno gli istruttori a sapere che i voti sono corretti?
fanno audit. ogni lotto compare in una dashboard dove un istruttore può estrarre un campione, leggere il voto dell'ai accanto alla rubrica, e correggerlo. per questo l'nps sulla qualità degli istruttori è rimasto stabile. le persone che temevano il calo sono quelle che controllano il lavoro.
we are
consegniamo un'estensione lms che valuta secondo la tua rubrica e mette in mano agli istruttori una dashboard per fare audit e correggere, e diciamo il numero: 70% in meno di tempo di correzione per coorte.
we aren't
non siamo un bot di correzione generico che sostituisce i tuoi standard con i propri e corregge tutto il mucchio senza leggerlo.
questa build rientra nel nostro lavoro di piattaforme: software che gira dentro il tuo prodotto. la progettazione della rubrica e la policy human-in-the-loop sono nate dal lato consulenza. non consegniamo un modello e ce ne andiamo. consegniamo insieme l'estensione, la dashboard e la regola di escalation.
il cliente ha chiesto di non essere nominato per ora. il numero è vero e la build è vera. pubblichiamo il risultato e una prova concreta perché un caso di studio senza prove è solo un'affermazione. altri casi come questo sono nel journal.
l'ai corregge quelli ovvi. l'istruttore tiene per sé quelli difficili.
se gestisci coorti e la correzione sta mangiando il tuo margine, lo schema qui sopra si ripete. stessa rubrica, stessi istruttori, meno ore sul mucchio ovvio. raccontaci cosa stai costruendo e ti mostreremo da dove verrebbe il 70% nei tuoi corsi.