ten wpis. jeden zanonimizowany wynik. firma edukacyjna online prowadząca 4-miesięczne kohorty na żywo skróciła czas oceniania na kohortę o 70%. ai ocenia każde zadanie według własnej rubryki klienta. człowiek nadal zajmuje się przypadkami wymagającymi osądu.
kupującym jest tu osoba zarządzająca działem edukacji w firmie oferującej kursy online. kohorty są prowadzone na żywo i trwają 4 miesiące. każde zadanie jest oceniane ręcznie. ta praca pochłania godziny instruktorów, a godziny instruktorów to największa pozycja kosztowa kohorty. marża wycieka po jednym zgłoszeniu naraz.
obawą była jakość. dorzuć narzędzie do stosu, a ocenianie stanie się szybsze i gorsze. instruktorzy mówili to wprost. więc ich nie zastąpiliśmy. wdrożyliśmy rozszerzenie do lms, które ocenia zadania według ich rubryki i pokazuje każdą ocenę w dashboardzie do próbkowego audytu.
#czy ocenianie ai obniża koszt kursów online bez pogarszania ich jakości?
czy ocenianie ai dla kursów online obniża koszt bez szkody dla jakości?
w tym projekcie tak. firma oferująca kursy online skróciła czas oceniania o 70% na kohortę, oceniając zadania według własnej rubryki za pomocą ai, a następnie eskalując marginalne 15% do instruktorów. nps jakości instruktorów pozostał stabilny. rubryka pozostała klienta. każdy graniczny przypadek nadal był w rękach człowieka.
oto co utrzymało jakość na stałym poziomie. rubryka pozostała klienta. ai stosowało ją konsekwentnie do prostych 85% zgłoszeń. graniczne przypadki eskalowało do człowieka. dzięki temu instruktorzy poświęcali swoje godziny na 15%, które naprawdę wymagały osądu, a nie na cały stos.
#skąd naprawdę bierze się tych 70%?
nie z szybszego oceniania każdej pracy. z ręcznego oceniania mniejszej ich liczby. około 85% zgłoszeń w tych kohortach było jednoznacznymi zaliczeniami albo jednoznacznymi niezaliczeniami względem rubryki. to te oceniało ai. 15%, które balansowało na granicy rubryki, trafiało do instruktora razem z linią rubryki i pracą studenta obok siebie.
- rozszerzenie lms odczytuje każde zgłoszenie i ocenia je według istniejącej rubryki klienta
- próg pewności dzieli stos: jednoznaczne przypadki są oceniane, graniczne są eskalowane
- dashboard do próbkowego audytu pozwala instruktorom wyciągnąć dowolną partię i nadpisać dowolną ocenę
- każda ocena jest identyfikowalna do linii rubryki, z której pochodzi
#skąd instruktorzy wiedzą, że oceny są prawidłowe?
audytują je. każda partia pojawia się w dashboardzie, gdzie instruktor może wyciągnąć próbkę, przeczytać ocenę ai obok rubryki i ją nadpisać. dlatego nps jakości instruktorów pozostał stabilny. osoby, które obawiały się spadku jakości, to te same osoby, które sprawdzają tę pracę.
we are
wdrażamy rozszerzenie do lms, które ocenia według twojej rubryki i daje instruktorom dashboard do audytu i nadpisywania ocen, i podajemy liczbę wprost: 70% mniej czasu na ocenianie na kohortę.
we aren't
nie jesteśmy ogólnym botem do oceniania, który zamienia twoje standardy na własne i ocenia cały stos bez czytania.
ta budowa mieści się w naszej pracy platformowej: oprogramowaniu, które działa wewnątrz twojego produktu. projekt rubryki i polityka z człowiekiem w pętli wyszły ze strony konsultingowej. nie dostarczamy modelu i nie znikamy. dostarczamy rozszerzenie, dashboard i regułę eskalacji razem.
klient poprosił, żeby na razie nie ujawniać nazwy. liczba jest prawdziwa i budowa jest prawdziwa. publikujemy wynik i jeden dowód, bo studium przypadku bez dowodu to tylko twierdzenie. więcej takich znajdziesz w dzienniku.
ai ocenia te oczywiste. instruktor zostaje przy tych trudnych.
jeśli prowadzisz kohorty i ocenianie zjada twoją marżę, powyższy schemat się powtarza. ta sama rubryka, ci sami instruktorzy, mniej godzin na oczywistym stosie. powiedz nam, co budujesz, a pokażemy ci, skąd wzięłoby się tych 70% w twoich kursach.