dit artikel. één geanonimiseerd resultaat. een online-onderwijsbedrijf dat live cohorten van 4 maanden draait, verkortte de nakijktijd per cohort met 70%. de ai beoordeelt elke opdracht op basis van de eigen rubric van de klant. een mens behandelt nog steeds de gevallen die inzicht vereisen.
de koper hier is een head of learning bij een online cursusbedrijf. de cohorten zijn live en duren 4 maanden. elke opdracht wordt met de hand nagekeken. dat werk vreet instructeursuren op, en instructeursuren zijn de grootste kostenpost van het cohort. de marge lekt weg, één inzending tegelijk.
de angst was kwaliteit. gooi een tool op de stapel en het nakijken wordt sneller en slechter. de instructeurs zeiden dat hardop. dus we hebben ze niet vervangen. we leverden een lms-extensie die opdrachten beoordeelt op hun rubric en elke score toont in een steekproef-auditdashboard.
#maakt ai-nakijken online cursussen goedkoper zonder ze slechter te maken?
verlaagt ai-nakijken voor online cursussen de kosten zonder de kwaliteit te schaden?
in deze opdracht wel. een online cursusbedrijf verkortte de nakijktijd per cohort met 70% door opdrachten met ai te beoordelen op de eigen rubric, en de marginale 15% te escaleren naar instructeurs. de nps voor instructeurskwaliteit bleef stabiel. de rubric bleef van de klant. een mens bleef eigenaar van elk grensgeval.
dit hield de kwaliteit vlak. de rubric bleef van de klant. de ai paste hem consistent toe op de eenvoudige 85% van de inzendingen. het escaleerde de grensgevallen naar een mens. instructeurs besteedden hun uren dus aan de 15% die echt inzicht vereiste, niet aan de hele stapel.
#waar komt die 70% nu eigenlijk vandaan?
niet doordat elk werkstuk sneller wordt nagekeken. doordat er handmatig minder worden nagekeken. ongeveer 85% van de inzendingen in deze cohorten waren duidelijke voldoendes of duidelijke onvoldoendes tegenover de rubric. dat zijn de inzendingen die de ai beoordeelde. de 15% die dicht bij een rubricgrens lag, ging naar een instructeur, met de rubricregel en het werk van de student naast elkaar.
- de lms-extensie leest elke inzending en beoordeelt hem tegenover de bestaande rubric van de klant
- een betrouwbaarheidsdrempel splitst de stapel: duidelijke gevallen worden beoordeeld, grensgevallen worden geëscaleerd
- een steekproef-auditdashboard laat instructeurs elke batch opvragen en elke score overschrijven
- elke score is te herleiden tot de rubricregel waar hij vandaan komt
#hoe weten instructeurs dat de scores kloppen?
ze controleren. elke batch verschijnt in een dashboard waar een instructeur een steekproef kan opvragen, de score van de ai naast de rubric kan lezen, en hem kan overschrijven. daarom bleef de nps voor instructeurskwaliteit stabiel. de mensen die de daling vreesden, zijn degenen die het werk controleren.
we are
we leveren een lms-extensie die beoordeelt op jouw rubric en instructeurs een dashboard geeft om te controleren en te overschrijven, en we noemen het getal: 70% minder nakijktijd per cohort.
we aren't
we zijn geen algemene nakijkbot die jouw normen inruilt voor zijn eigen normen en de hele stapel ongelezen beoordeelt.
deze bouw valt onder ons platforms-werk: software die binnen jouw product draait. het ontwerp van de rubric en het human-in-the-loop-beleid kwamen uit de consultancy-kant. we leveren geen model om vervolgens te vertrekken. we leveren de extensie, het dashboard en de escalatieregel samen.
de klant heeft gevraagd nog niet genoemd te worden. het getal is echt en de bouw is echt. we publiceren het resultaat en één bewijsstuk, want een case study zonder bewijs is gewoon een bewering. meer hiervan staat in het journal.
de ai beoordeelt de duidelijke gevallen. de instructeur houdt de moeilijke.
als jij cohorten draait en het nakijken je marge opeet, herhaalt bovenstaand patroon zich. dezelfde rubric, dezelfde instructeurs, minder uren aan de voor de hand liggende stapel. vertel ons wat je bouwt en we laten je zien waar de 70% vandaan zou komen in jouw cursussen.