サポートQAを自動化するには、自社のスコアカードに沿ってAIに全チケットを採点させ、信頼する前にその採点を人のレビュー担当者の採点と照合します。キャリブレーション、異議のあった採点、高リスクのチケット、コーチングは人が担います。AIが置き換えるのは少数だけを見るサンプリングであり、良いチケットとは何かという皆さんの判断ではありません。
重要なポイント
- AI採点は全チケットを読むため、QAが小さなサンプルに左右されなくなります。
- スコアカードは自社のものです。サポート責任者が作成し、承認します。
- 1つのスコアを頼りにする前に、同じチケットでAIと自社のレビュー担当者の採点を照合します。
- クレーム、高リスク案件、採点への異議は必ず人が扱い、コーチングは人との対話のままにします。
#サンプリング方式のQAレビューでは、なぜ足りないのですか?
一般的なレビューでは、チケットのごく一部しか読みません。あくまで例示で、数字は仮定です。あるチームが12,000件のチケットを完了し、レビュー担当者が120件を読むとします。割合は1パーセントです。残る99パーセントは一度も採点されないため、悪い習慣が気づかれないまま長く続くことがあります。
AI採点なら、そのすべてを読みます。得られるのはカバー範囲であり、レビュー担当者の代わりではありません。目的は、たまたまサンプルに選ばれたチケットではなく、人が見るべきチケットに注意を向けることです。
#自社のスコアカードでAI採点を設定するには、どうすればよいですか?
すでに使っているスコアカードから始めます。各基準を、評価尺度を定めたはっきりした問いとして書きます。Claude Developer Docs, Anthropic, accessed october 2026は、採点を自動化できるように評価を組み立てるよう述べており、サポート応答のトーンを1から5で評価するLLM採点の尺度も挙げています。
基準については、Anthropicのカスタマーサポートエージェントのガイドが会話のサンプルで確認している項目を再利用できます。意図を理解できたか、返信が的確だったか、エスカレーションが正しかったか誤っていたかです。ここに、方針を守ったかどうかなど自社の基準を加えます。
スコアカードを承認するのはサポート責任者です。良い状態がどういうものかをAIが決めることはありません。StennirのAIコンサルティングは、ここから始まります。レビュー担当者がすでに合意している、平易な言葉のスコアカードです。
#AIの採点が信頼できるかどうかは、どう確かめますか?
採点を信頼する前に、2人のレビュー担当者が同じ100件のチケットを互いに見せずに採点し、AIにも採点させます。そのうえで比べます。あくまで例示で、数字は仮定です。AIが100件中90件でレビュー担当者と1点以内に収まったとします。基準に届かなければ、スコアカードの表現を直してもう一度実行します。
Anthropicの同じページには、出力を作ったモデルとは別のモデルで採点するのがベストプラクティスだと書かれています。ボットが返信を下書きしているなら、同じモデルに採点させないでください。ブラインド確認は、アラビア語と英語で別々に繰り返します。
人に残すべきことは何ですか?
- キャリブレーション:レビュー担当者が新しいサンプルを定期的に採点し直し、AIと比べます。
- 異議:エージェントが採点に異議を唱えたら、名前の決まったレビュー担当者が判断します。
- 高リスクとクレームのチケット:人に回し、自動採点はしません。
- コーチング:AIはパターンを見つけ、チームリーダーが対話します。
We are
Stennirは、スコアカードの範囲を整理し、採点の仕組みを構築し、自社のレビュー担当者の採点と照合します。何を採点させるかは皆さんが決めます。
We aren't
独自のルールでエージェントを採点するQAダッシュボードや、人が結果を確認しないままランク付けする仕組みではありません。
サポート責任者は、次に何をすればよいですか?
今のスコアカードを平易な問いとして書き出し、レビュー担当者がすでに採点した100件のチケットを取り出してください。それで考え方を試すには十分です。カスタマーサポート向けAIが自社のキューにどう合うかを確認し、StennirのAIコンサルティングで一緒に範囲を決めましょう。30分の通話を予約するか、無料の準備度アセスメントを受けることができます。
よくある質問
チケットを採点できるようになるまでに、何が必要ですか?
明確な問いとして書いたスコアカード、レビュー担当者がすでに採点したチケットの一式、チケット本文の閲覧権限が必要です。採点を省いて直接人に回すチケットのルールも必要です。AIは定義されたことしか適用できないため、最も重要なのはスコアカードです。
良いチケットの基準は誰が決め、スコアカードは誰が承認しますか?
サポート責任者が、仕事をよく知るレビュー担当者と一緒に決めます。AIはスコアカードを適用するだけで、書くことはしません。Stennirは皆さんの基準を尺度付きの明確な問いに整える支援をしますが、承認するのは皆さんのチームで、以後の変更も同じ承認を経ます。
アラビア語と英語の会話は、同じように採点されますか?
Stennirはアラビア語と英語に完全対応しており、ほかの言語はご要望に応じて対応します。それでも言語ごとに確認してください。英語ではレビュー担当者と一致する採点でも、アラビア語では一致しないことがあるためです。アラビア語のチケットでも同じブラインド比較を行い、表現を直してから採点を頼りにしてください。
エージェントが採点に納得できない場合は、どうなりますか?
エージェントが申し立て、名前の決まったレビュー担当者がチケットを手作業で採点し直します。その人の採点がAIの採点に取って代わります。異議のあったチケットは残しておき、スコアカードの表現を磨くのに使います。異議が1つの基準に集中するなら、その基準はおそらく分かりにくいのでしょう。
何がうまくいかない可能性があり、どのチケットを常に人のレビュー担当者に回すべきですか?
AIは皮肉、地域特有の言い回し、方針の細部の欠落を読み違え、甘すぎたり厳しすぎたりする採点をすることがあります。クレーム、法的な脅し、安全に関わる案件は人に回してください。AIの採点はコーチングのきっかけとして扱い、エージェントへの評決とはしないでください。
