este post. um resultado anonimizado. uma empresa de educação online que roda turmas ao vivo de 4 meses cortou o tempo de correção por turma em 70%. a ia pontua cada tarefa com base na própria rubrica do cliente. uma pessoa continua responsável pelas decisões que exigem julgamento.
o comprador aqui é um head de learning em uma empresa de cursos online. as turmas são ao vivo e duram 4 meses. toda tarefa é corrigida à mão. esse trabalho consome horas de instrutor, e horas de instrutor são a maior linha no custo da turma. a margem vaza uma entrega de cada vez.
o medo era a qualidade. jogue uma ferramenta em cima da pilha e a correção fica mais rápida e pior. os instrutores disseram isso em voz alta. então não os substituímos. entregamos uma extensão de lms que pontua as tarefas com base na rubrica deles e mostra cada nota em um painel de auditoria por amostragem.
#a correção por ia deixa os cursos online mais baratos sem piorá-los?
a correção por ia para cursos online reduz o custo sem prejudicar a qualidade?
nesse projeto, sim. uma empresa de cursos online cortou o tempo de correção em 70% por turma pontuando as tarefas com ia, com base na própria rubrica, e escalando os 15% marginais para os instrutores. o nps de qualidade dos instrutores se manteve estável. a rubrica continuou sendo do cliente. uma pessoa continuou responsável por toda decisão limítrofe.
foi isso que manteve a qualidade estável. a rubrica continuou sendo do cliente. a ia a aplicou de forma consistente nos 85% de entregas diretas. ela escalou os casos marginais para uma pessoa. assim, os instrutores gastaram suas horas nos 15% que realmente exigiam julgamento, não na pilha inteira.
#de onde vêm de fato os 70%?
não de corrigir mais rápido cada trabalho. de corrigir menos deles à mão. cerca de 85% das entregas nessas turmas eram aprovações claras ou reprovações claras em relação à rubrica. essas foram as que a ia pontuou. os 15% que ficavam perto de um limite da rubrica foram para um instrutor, com a linha da rubrica e o trabalho do aluno lado a lado.
- a extensão de lms lê cada entrega e a pontua com base na rubrica já existente do cliente
- um limite de confiança divide a pilha: casos claros são pontuados, casos limítrofes são escalados
- um painel de auditoria por amostragem permite que os instrutores puxem qualquer lote e substituam qualquer nota
- toda nota pode ser rastreada até a linha da rubrica de onde veio
#como os instrutores sabem que as notas estão certas?
eles auditam. cada lote aparece em um painel onde um instrutor pode puxar uma amostra, ler a nota da ia ao lado da rubrica, e substituí-la. é por isso que o nps de qualidade dos instrutores se manteve estável. as pessoas que temiam a queda são as que estão checando o trabalho.
we are
entregamos uma extensão de lms que pontua com base na sua rubrica e dá aos instrutores um painel para auditar e substituir, e dizemos o número: 70% menos tempo de correção por turma.
we aren't
não somos um bot de correção genérico que troca os seus padrões pelos dele e corrige a pilha inteira sem ler.
essa construção faz parte do nosso trabalho de platforms: software que roda dentro do seu produto. o desenho da rubrica e a política de humano no loop vieram do lado da consultoria. não entregamos um modelo e vamos embora. entregamos a extensão, o painel e a regra de escalonamento juntos.
o cliente pediu para não ser identificado por enquanto. o número é real e a construção é real. publicamos o resultado e uma prova porque um estudo de caso sem prova é só uma afirmação. mais casos como esse estão no journal.
a ia corrige as que são óbvias. o instrutor fica com as que são difíceis.
se você roda turmas e a correção está consumindo a sua margem, o padrão acima se repete. mesma rubrica, mesmos instrutores, menos horas na pilha óbvia. conte o que você está construindo e mostraremos de onde viriam os 70% nos seus cursos.