Você automatiza o QA de suporte pedindo à IA que avalie cada ticket com a sua própria ficha de avaliação e conferindo as notas dela com as dos seus revisores antes de confiar nelas. As pessoas ficam com a calibração, as notas contestadas, os tickets de alto risco e o coaching. A IA substitui a amostra pequena, não o seu critério sobre o que é um bom atendimento.
#Principais pontos
- A avaliação por IA lê todos os tickets, então o QA deixa de depender de uma amostra pequena.
- A ficha de avaliação continua sendo sua: quem a escreve e aprova é o responsável pelo suporte.
- Compare a IA com os seus revisores nos mesmos tickets antes de confiar em qualquer nota.
- Reclamações, casos de alto risco e contestações de nota sempre vão para uma pessoa, e o coaching continua sendo uma conversa humana.
#Por que uma revisão por amostragem não basta?
Uma revisão típica lê uma pequena fatia dos tickets. Exemplo ilustrativo, os números são hipóteses: uma equipe encerra 12.000 tickets e os revisores leem 120. É 1 por cento. Os outros 99 por cento nunca recebem nota, e um mau hábito pode durar muito tempo sem ser visto.
A avaliação por IA lê todos eles. O ganho é de cobertura, e não uma substituição dos seus revisores. O objetivo é direcionar a atenção deles para os tickets que precisam de uma pessoa, e não para os que a amostra por acaso escolheu.
#Como configuro a avaliação por IA com a minha própria ficha?
Comece pela ficha que você já usa. Escreva cada critério como uma pergunta clara, com uma escala definida. Claude Developer Docs, Anthropic, accessed october 2026 recomenda estruturar a avaliação de modo que a correção possa ser automatizada, incluindo escalas corrigidas por LLM, como uma nota de 1 a 5 para o tom de uma resposta de suporte.
Para os critérios, reaproveite o que o guia de agente de suporte ao cliente da Anthropic revisa em uma amostra de conversas: se a intenção foi compreendida, se a resposta foi pertinente e se as escalações foram acertadas ou erradas. Acrescente os seus, como política seguida.
O responsável pelo suporte aprova a ficha. A IA não decide o que é bom. O trabalho de consultoria em IA da Stennir começa aqui, com uma ficha em linguagem simples com a qual os seus revisores já concordam.
#Como saber se posso confiar nas notas da IA?
Antes de confiar em uma nota, peça a dois revisores que avaliem os mesmos 100 tickets às cegas e deixe a IA avaliá-los também. Depois compare. Exemplo ilustrativo, os números são hipóteses: a IA fica a menos de um ponto dos revisores em 90 dos 100. Se ficar abaixo do seu padrão, reescreva a ficha e rode de novo.
A mesma página da Anthropic diz que a boa prática é corrigir com um modelo diferente daquele que produziu a resposta. Se um bot redige respostas, não deixe esse mesmo modelo avaliá-las. Repita a verificação às cegas separadamente para árabe e inglês.
#O que deve continuar com as pessoas?
- Calibração: os revisores reavaliam periodicamente uma amostra nova e a comparam com a IA.
- Contestações: quando um agente questiona uma nota, um revisor identificado decide.
- Tickets de alto risco e reclamações: vão para uma pessoa e não são avaliados automaticamente.
- Coaching: a IA encontra o padrão, e o líder da equipe tem a conversa.
We are
A Stennir define o escopo da sua ficha, constrói a avaliação e a confere com os seus próprios revisores, para que você decida o que ela pode avaliar.
We aren't
Um painel de QA que avalia agentes com regras próprias, ou classifica pessoas sem que nenhum humano revise o resultado.
#O que um responsável pelo suporte deve fazer em seguida?
Escreva a sua ficha atual como perguntas simples e separe 100 tickets que os seus revisores já avaliaram. Isso basta para testar a ideia. Veja como a IA para atendimento ao cliente se encaixa na sua fila e depois peça à consultoria em IA da Stennir que defina o escopo com você. Agende uma conversa de 30 minutos ou faça a avaliação gratuita de prontidão.
#Perguntas frequentes
O que ela precisa de nós para avaliar tickets?
Precisa da sua ficha escrita como perguntas claras, de um conjunto de tickets que os seus revisores já avaliaram e de acesso de leitura ao texto dos tickets. Também precisa de uma regra para quais tickets não são avaliados e vão direto para uma pessoa. A ficha é o mais importante, porque a IA só consegue aplicar o que você define.
Quem decide o que é um bom ticket e quem aprova a ficha?
O responsável pelo suporte decide, junto com os revisores que conhecem o trabalho. A IA aplica a ficha e não a escreve. A Stennir ajuda a transformar os seus padrões em perguntas claras com uma escala, mas a sua equipe aprova, e toda mudança posterior passa pela mesma aprovação.
Ela avalia conversas em árabe e em inglês da mesma forma?
A Stennir atende árabe e inglês por completo, e outros idiomas sob demanda. Mesmo assim, convém verificar cada idioma separadamente, porque uma nota que coincide com a dos seus revisores em inglês pode não coincidir em árabe. Faça a mesma comparação às cegas com tickets em árabe e ajuste a redação antes de confiar nessas notas.
O que acontece quando um agente discorda de uma nota?
O agente levanta a questão, e um revisor identificado reavalia o ticket manualmente. Essa nota humana substitui a nota da IA. Guarde os tickets contestados e use-os para afinar a redação da ficha. Se as contestações se concentrarem em um critério, ele provavelmente não está claro.
O que pode dar errado e quais tickets devem sempre ir para um revisor humano?
A IA pode interpretar mal um sarcasmo, uma expressão local ou um detalhe de política que falta, e dar notas generosas ou severas demais. Envie reclamações, ameaças judiciais e casos de segurança a uma pessoa. Trate a nota da IA como ponto de partida para o coaching, não como veredicto sobre um agente.
