Dieser beitrag. Ein illustratives praxisbeispiel, kein kundenergebnis. Der online-kursanbieter, seine kohortengröße und alle zahlen sind annahmen. Die AI bewertet jede aufgabe nach der eigenen rubrik des anbieters, und ein mensch übernimmt weiterhin die fälle, die urteilsvermögen brauchen.
Der käufer in diesem beispiel ist eine lernleitung bei einem online-kursanbieter mit live-kohorten. Jede aufgabe wird von hand bewertet. Das frisst dozentenstunden, und dozentenstunden sind der größte posten in den kosten einer kohorte. Die marge versickert eine abgabe nach der anderen.
Die sorge gilt der qualität. Wirft man ein tool auf den stapel, wird das bewerten schneller und schlechter. Dozenten würden das offen sagen. Deshalb ersetzt das design sie nicht. Es ist eine lms-erweiterung, die aufgaben nach ihrer rubrik bewertet und jede note in einem stichproben-dashboard zeigt.
#Macht ai-bewertung online-kurse günstiger, ohne sie schlechter zu machen?
Senkt ai-bewertung für online-kurse die kosten, ohne die qualität zu schädigen?
Das kann sie, wenn das design die qualität schützt. Die AI bewertet aufgaben nach der eigenen rubrik des anbieters und gibt grenzfälle an dozenten weiter. Die rubrik bleibt die des anbieters, und ein mensch verantwortet jeden grenzfall. Das team würde bewertungsstunden je kohorte und den NPS der dozentenqualität vorher und nachher verfolgen und an beidem urteilen.
Das hält die qualität stabil. Die rubrik bleibt die des anbieters. Die AI wendet sie konsistent auf die eindeutigen abgaben an und gibt die grenzfälle an einen menschen weiter. Zur veranschaulichung: angenommen, 85% der abgaben sind klare treffer oder klare fehlschläge und 15% liegen nahe an einer rubrikgrenze. Dozenten würden ihre stunden dann auf die 15% verwenden, die urteilsvermögen brauchen, nicht auf den ganzen stapel.
#Woher käme die zeitersparnis?
Nicht daher, dass jede arbeit schneller bewertet wird. Sondern daher, dass weniger von hand bewertet werden. In dieser angenommenen aufteilung bewertet die AI die eindeutigen. Die fälle nahe einer rubrikgrenze gehen an einen dozenten, die rubrikzeile und die arbeit des studierenden nebeneinander. Deine eigene aufteilung bestimmt die ersparnis, miss sie also zuerst an einer stichprobe.
- Die lms-erweiterung liest jede einreichung und bewertet sie gegen die bestehende rubrik des kunden
- Ein konfidenz-schwellenwert teilt den stapel: eindeutige fälle werden bewertet, grenzfälle werden eskaliert
- Ein stichproben-audit-dashboard lässt dozierende jeden batch ziehen und jede bewertung überschreiben
- Jede bewertung lässt sich auf die rubrikzeile zurückführen, aus der sie stammt
#Woher wissen dozierende, dass die bewertungen stimmen?
Sie prüfen. Jeder stapel erscheint in einem dashboard, in dem ein dozent eine stichprobe ziehen, die ai-note neben der rubrik lesen und sie überschreiben kann. So bleibt die qualität erhalten: wer den abfall fürchtet, kontrolliert die arbeit. Der NPS der dozentenqualität ist die zahl, die man beobachten sollte.
We are
Wir entwerfen eine lms-erweiterung, die nach deiner rubrik bewertet und dozenten ein dashboard zum prüfen und überschreiben gibt, und wir benennen, was zu messen ist: bewertungsstunden je kohorte.
We aren't
Wir sind kein allgemeiner bewertungs-bot, der deine maßstäbe durch seine eigenen ersetzt und den ganzen stapel ungelesen bewertet.
Dieses design gehört zu unserer arbeit in ai-implementierung: software, die in deinem produkt läuft. Das rubrik-design und die human-in-the-loop-policy kommen von der seite der ai-beratung. Erweiterung, dashboard und eskalationsregel gehören zusammen.
Das ist ein praxisbeispiel, kein kundenergebnis. Die aufteilung 85/15 ist eine annahme, und keine echte kohorte steht dahinter. Wir zeigen die mechanik und was zu messen ist, denn ein fall ohne beleg ist nur eine behauptung. Weitere praxisbeispiele stehen im journal.
Das prinzip in einer zeile: die AI bewertet die eindeutigen. Der dozent behält die schwierigen.
Wenn du kohorten betreibst und das bewerten deine marge frisst, gilt die form oben. Dieselbe rubrik, dieselben dozenten, weniger stunden auf dem eindeutigen stapel. sag uns, was du baust, und wir klären mit dir, woher die ersparnis in deinen kursen käme.
