journal

Exemplo prático: correção com AI guiada por rubrica para cursos

Um exemplo prático ilustrativo de correção com AI guiada por rubrica numa empresa de cursos online. Empresa e números são premissas, não um resultado de cliente.

elias a.applied ai & data4 min de leitura

Este artigo. Um exemplo prático ilustrativo, não um resultado de cliente. A empresa de cursos online, o tamanho de suas turmas e seus números são premissas. A AI pontua cada tarefa com a rubrica própria da empresa, e uma pessoa continua cuidando dos casos que exigem julgamento.

O comprador neste exemplo é uma responsável de aprendizagem de uma empresa de cursos online com turmas ao vivo. Cada tarefa é corrigida à mão. Esse trabalho consome horas de instrutor, e horas de instrutor são a maior linha do custo da turma. A margem vaza uma entrega por vez.

O medo é a qualidade. Jogue uma ferramenta na pilha e a correção fica mais rápida e pior. Os instrutores diriam isso em voz alta. Por isso o design não os substitui. é uma extensão de lms que pontua as tarefas com a rubrica deles e mostra cada nota num painel de auditoria por amostragem.

#A correção por ia deixa os cursos online mais baratos sem piorá-los?

A correção com AI em cursos online reduz o custo sem prejudicar a qualidade?

Pode, se o design proteger a qualidade. A AI pontua as tarefas com a rubrica própria da empresa e encaminha as limítrofes aos instrutores. A rubrica continua sendo da empresa, e uma pessoa responde por cada caso limítrofe. A equipe acompanharia as horas de correção de cada turma e o NPS de qualidade do instrutor antes e depois, e julgaria pelos dois.

é isto que mantém a qualidade estável. A rubrica continua sendo da empresa. A AI a aplica com consistência às entregas claras e encaminha os casos marginais a uma pessoa. A título de ilustração, suponha que 85% das entregas sejam aprovações ou reprovações claras e que 15% fiquem perto de um limite da rubrica. Os instrutores gastariam então as horas nos 15% que exigem julgamento, não na pilha toda.

#De onde viria a economia de tempo?

Não de corrigir cada trabalho mais depressa. Mas de corrigir menos à mão. Nesta proporção suposta, a AI pontua os claros. Os casos perto de um limite da rubrica vão para um instrutor, com a linha da rubrica e o trabalho do aluno lado a lado. A sua própria proporção decide a economia, então meça primeiro numa amostra.

  • A extensão de lms lê cada entrega e a pontua com base na rubrica já existente do cliente
  • Um limite de confiança divide a pilha: casos claros são pontuados, casos limítrofes são escalados
  • Um painel de auditoria por amostragem permite que os instrutores puxem qualquer lote e substituam qualquer nota
  • Toda nota pode ser rastreada até a linha da rubrica de onde veio

#Como os instrutores sabem que as notas estão certas?

Eles auditam. Cada lote aparece num painel em que um instrutor pode puxar uma amostra, ler a nota da AI ao lado da rubrica e sobrescrevê-la. é assim que a qualidade se mantém: quem teme a queda é quem confere o trabalho. O NPS de qualidade do instrutor é o número a observar.

We are

Projetamos uma extensão de lms que pontua com a sua rubrica e dá aos instrutores um painel para auditar e sobrescrever, e dizemos o que medir: as horas de correção de cada turma.

We aren't

Não somos um bot de correção genérico que troca os seus critérios pelos dele e corrige a pilha toda sem ler.

Este design fica no nosso trabalho de implementação de AI: software que roda dentro do seu produto. O desenho da rubrica e a política com uma pessoa no circuito vêm do lado de consultoria de AI. A extensão, o painel e a regra de encaminhamento andam juntos.

Isto é um exemplo prático, não um resultado de cliente. A proporção 85/15 é uma premissa e não há turma real por trás. Mostramos a mecânica e o que medir porque um caso sem comprovante é só uma afirmação. Mais exemplos práticos estão no journal.

O princípio em uma linha: a AI corrige o que é óbvio. O instrutor fica com o que é difícil.

Se você conduz turmas e a correção está devorando a sua margem, a forma acima se aplica. Mesma rubrica, mesmos instrutores, menos horas na pilha óbvia. conte o que você está construindo e descobrimos com você de onde viria a economia nos seus cursos.

Diga-nos que tarefa leva mais tempo.

30 minutos. Sem preparação. Diremos com honestidade se a IA pode ajudar e por onde começar.