Ten wpis. Ilustracyjny przykład praktyczny, nie wynik klienta. Firma z kursami online, wielkość jej kohort i jej liczby to założenia. AI ocenia każde zadanie według własnej rubryki firmy, a człowiek nadal zajmuje się przypadkami wymagającymi osądu.
Kupującym w tym przykładzie jest szefowa nauczania w firmie z kursami online, prowadzącej kohorty na żywo. Każde zadanie jest oceniane ręcznie. Ta praca pochłania godziny instruktorów, a godziny instruktorów to największa pozycja w koszcie kohorty. Marża ucieka z każdą pracą po kolei.
Obawa dotyczy jakości. Rzuć narzędzie na stos, a ocenianie stanie się szybsze i gorsze. Instruktorzy powiedzieliby to na głos. Dlatego projekt ich nie zastępuje. To rozszerzenie lms, które ocenia zadania według ich rubryki i pokazuje każdy wynik w panelu audytu próbkowego.
#Czy ocenianie AI obniża koszt kursów online bez pogarszania ich jakości?
Czy ocenianie AI w kursach online obniża koszty bez szkody dla jakości?
Może, jeśli projekt chroni jakość. AI ocenia zadania według własnej rubryki firmy i przekazuje graniczne instruktorom. Rubryka pozostaje firmy, a człowiek odpowiada za każdy przypadek graniczny. Zespół śledziłby godziny oceniania każdej kohorty i NPS jakości instruktora przed i po, i oceniał po obu.
Oto, co utrzymuje jakość na stałym poziomie. Rubryka pozostaje firmy. AI stosuje ją spójnie do wyraźnych prac i przekazuje przypadki marginalne człowiekowi. Dla ilustracji załóżmy, że 85% prac to wyraźne zaliczenia lub wyraźne niezaliczenia, a 15% leży blisko granicy rubryki. Instruktorzy poświęcaliby wtedy godziny na te 15%, które wymagają osądu, a nie na cały stos.
#Skąd wzięłaby się oszczędność czasu?
Nie z szybszego oceniania każdej pracy. Ale z oceniania ręcznego mniejszej liczby. W tym założonym podziale AI ocenia wyraźne prace. Przypadki blisko granicy rubryki trafiają do instruktora, z linią rubryki i pracą studenta obok siebie. O oszczędności decyduje twój własny podział, więc najpierw zmierz go na próbce.
- Rozszerzenie lms odczytuje każde zgłoszenie i ocenia je według istniejącej rubryki klienta
- Próg pewności dzieli stos: jednoznaczne przypadki są oceniane, graniczne są eskalowane
- Dashboard do próbkowego audytu pozwala instruktorom wyciągnąć dowolną partię i nadpisać dowolną ocenę
- Każda ocena jest identyfikowalna do linii rubryki, z której pochodzi
#Skąd instruktorzy wiedzą, że oceny są prawidłowe?
Audytują. Każda partia pojawia się w panelu, gdzie instruktor może pobrać próbkę, przeczytać ocenę AI obok rubryki i ją nadpisać. Tak utrzymuje się jakość: ci, którzy obawiają się spadku, sprawdzają pracę. NPS jakości instruktora to liczba, którą trzeba obserwować.
We are
Projektujemy rozszerzenie lms, które ocenia według twojej rubryki i daje instruktorom panel do audytu i nadpisywania, i nazywamy, co mierzyć: godziny oceniania każdej kohorty.
We aren't
Nie jesteśmy ogólnym botem do oceniania, który podmienia twoje standardy na własne i ocenia cały stos bez czytania.
Ten projekt mieści się w naszej pracy we wdrożeniach AI: oprogramowanie działające wewnątrz twojego produktu. Projekt rubryki i polityka z człowiekiem w pętli pochodzą ze strony doradztwa AI. Rozszerzenie, panel i reguła eskalacji idą razem.
To przykład praktyczny, nie wynik klienta. Podział 85/15 to założenie i nie stoi za nim żadna prawdziwa kohorta. Pokazujemy mechanikę i to, co mierzyć, bo przypadek bez dowodu to tylko twierdzenie. Więcej przykładów praktycznych jest w dzienniku.
Zasada w jednej linii: AI ocenia oczywiste prace. Instruktor zachowuje te trudne.
Jeśli prowadzisz kohorty, a ocenianie zjada twoją marżę, powyższy kształt ma zastosowanie. Ta sama rubryka, ci sami instruktorzy, mniej godzin na oczywistym stosie. powiedz nam, co budujesz, a ustalimy z tobą, skąd wzięłaby się oszczędność w twoich kursach.
