Dit artikel. Een illustratief uitgewerkt voorbeeld, geen klantresultaat. Het online cursusbedrijf, de omvang van zijn cohorten en zijn cijfers zijn aannames. De AI beoordeelt elke opdracht met de eigen rubric van het bedrijf, en een mens behandelt nog steeds de gevallen die oordeelsvermogen vragen.
De koper in dit voorbeeld is een hoofd leren bij een online cursusbedrijf met live cohorten. Elke opdracht wordt met de hand nagekeken. Dat werk vreet docenturen, en docenturen zijn de grootste post in de kosten van een cohort. De marge lekt weg, inzending voor inzending.
De zorg is kwaliteit. Gooi een tool op de stapel en nakijken wordt sneller en slechter. Docenten zouden dat hardop zeggen. Daarom vervangt het ontwerp hen niet. Het is een lms-extensie die opdrachten beoordeelt met hun rubric en elke score toont in een dashboard voor steekproefcontrole.
#Maakt ai-nakijken online cursussen goedkoper zonder ze slechter te maken?
Verlaagt ai-beoordeling voor online cursussen de kosten zonder de kwaliteit te schaden?
Dat kan, als het ontwerp de kwaliteit beschermt. De AI beoordeelt opdrachten met de eigen rubric van het bedrijf en schuift twijfelgevallen door naar docenten. De rubric blijft van het bedrijf, en een mens is verantwoordelijk voor elk twijfelgeval. Het team zou de beoordelingsuren van elk cohort en de NPS van docentkwaliteit voor en na volgen en op beide oordelen.
Dit houdt de kwaliteit stabiel. De rubric blijft van het bedrijf. De AI past hem consistent toe op de duidelijke inzendingen en schuift de randgevallen door naar een mens. Ter illustratie: neem aan dat 85% van de inzendingen duidelijk voldoende of duidelijk onvoldoende is en 15% dicht bij een rubricgrens zit. Docenten besteden hun uren dan aan de 15% die oordeelsvermogen vraagt, niet aan de hele stapel.
#Waar zou de tijdwinst vandaan komen?
Niet doordat elk werkstuk sneller wordt nagekeken. Maar doordat er minder met de hand wordt nagekeken. In deze aangenomen verdeling beoordeelt de AI de duidelijke gevallen. De gevallen dicht bij een rubricgrens gaan naar een docent, met de rubricregel en het werk van de student naast elkaar. Jouw eigen verdeling bepaalt de winst, dus meet die eerst op een steekproef.
- De lms-extensie leest elke inzending en beoordeelt hem tegenover de bestaande rubric van de klant
- Een betrouwbaarheidsdrempel splitst de stapel: duidelijke gevallen worden beoordeeld, grensgevallen worden geëscaleerd
- Een steekproef-auditdashboard laat instructeurs elke batch opvragen en elke score overschrijven
- Elke score is te herleiden tot de rubricregel waar hij vandaan komt
#Hoe weten instructeurs dat de scores kloppen?
Ze controleren. Elke batch verschijnt in een dashboard waar een docent een steekproef kan trekken, de score van de AI naast de rubric kan lezen en hem kan overschrijven. Zo blijft de kwaliteit behouden: wie de daling vreest, is degene die het werk controleert. De NPS van docentkwaliteit is het getal om in de gaten te houden.
We are
Wij ontwerpen een lms-extensie die beoordeelt op jouw rubric en docenten een dashboard geeft om te controleren en te overschrijven, en we benoemen wat je meet: beoordelingsuren van elk cohort.
We aren't
Wij zijn geen algemene beoordelingsbot die jouw normen door de zijne vervangt en de hele stapel ongelezen beoordeelt.
Dit ontwerp hoort bij ons werk in ai-implementatie: software die binnen je product draait. Het rubricontwerp en het beleid met een mens in de lus komen van de kant van ai-advies. Extensie, dashboard en doorschuifregel horen bij elkaar.
Dit is een uitgewerkt voorbeeld, geen klantresultaat. De verdeling 85/15 is een aanname en er zit geen echt cohort achter. We laten de mechaniek zien en wat je meet, omdat een casus zonder bewijs slechts een bewering is. Meer uitgewerkte voorbeelden staan in het journal.
Het principe in één regel: de AI beoordeelt de duidelijke gevallen. De docent houdt de moeilijke.
Als je cohorten draait en nakijken je marge opeet, geldt de vorm hierboven. Dezelfde rubric, dezelfde docenten, minder uren op de duidelijke stapel. vertel ons wat je bouwt en we werken met je uit waar de winst in jouw cursussen vandaan zou komen.
