要自动化客服质检,做法是让 AI 按你自己的评分表给每张工单打分,并在信任它之前,先把它的打分与你的人工质检员对照校验。校准、有争议的评分、高风险工单和辅导仍由人负责。AI 取代的是过于单薄的抽样,而不是你对好工单应该是什么样的判断。
要点速览
- AI 打分会读完每一张工单,质检不再依赖一小部分抽样。
- 评分表仍然归你所有:由客服负责人编写并签字确认。
- 在依赖任何一个分数之前,先用同一批工单把 AI 与你自己的质检员做对照。
- 投诉、高风险案件和评分申诉一律交给人处理,辅导也始终是人与人之间的谈话。
为什么抽样质检不够用?
常见的质检只读一小部分工单。示意性示例,数字均为假设:一个团队关闭了 12,000 张工单,质检员读了 120 张,也就是 1%。其余 99% 从未被打分,坏习惯可能长期无人察觉。
AI 打分会读完全部工单。它带来的是覆盖面,而不是替代你的质检员。目的是把质检员的注意力引向真正需要人来看的工单,而不是抽样碰巧选中的那些。
#如何按我自己的评分表设置 AI 打分?
从你现在使用的评分表开始,把每一项标准写成带明确评分区间的清晰问题。Claude Developer Docs,Anthropic,2026年10月查阅 建议把评估设计成可以自动评分的结构,其中包括由大模型评分的量表,例如对客服回复语气的 1-5 分评级。
在评分标准上,可以沿用 Anthropic 的客服智能体指南中对抽样对话的检查项:是否理解了用户意图、回复是否切题、升级处理是否恰当。再加上你自己的项目,比如是否遵守政策。
评分表由客服负责人签字确认。好的标准是什么样,不由 AI 决定。Stennir 的 AI 咨询工作就从这里开始:先写出一份你的质检员已经认同、用大白话写成的评分表。
#怎么知道 AI 的分数值得信任?
在信任任何分数之前,先让两位质检员对同样的 100 张工单做背靠背盲评,同时让 AI 也打一遍,然后对比。示意性示例,数字均为假设:AI 在 100 张中有 90 张与质检员的分差在一分以内。如果低于你设定的标准,就修改评分表的措辞,再重新跑一遍。
同一份 Anthropic 文档还指出,最佳做法是用与生成内容不同的模型来评分。如果由机器人起草回复,就不要让同一个模型给这些回复打分。阿拉伯语和英语要分别重复这一轮盲评。
哪些事情应该留给人?
- 校准:质检员定期对新抽取的样本重新打分,并与 AI 的结果比较。
- 申诉:当客服对评分有异议时,由指定的质检员裁定。
- 高风险和投诉类工单:这类工单交给人处理,不做自动打分。
- 辅导:AI 找出规律,由团队主管来做谈话。
We are
Stennir 帮你界定评分表的范围,搭建打分流程,并与你自己的质检员对照校验,让你自己决定它可以给什么打分。
We aren't
一个按自己的规则给客服打分、或在没有人复核的情况下给人排名的质检仪表盘。
客服负责人接下来该做什么?
把你现在的评分表改写成简单的问题,再挑出 100 张质检员已经打过分的工单,这就足够验证这个思路了。先看看客户支持领域的 AI如何适配你的工单队列,再请 Stennir 的 AI 咨询与你一起界定范围。你可以预约 30 分钟通话,也可以做免费的就绪度评估。
常见问题
开始给工单打分之前,需要我们提供什么?
需要把你的评分表写成清晰的问题,提供一批质检员已经打过分的工单,以及对工单文本的读取权限,还需要一条规则,说明哪些工单跳过打分、直接交给人。评分表最关键,因为 AI 只能执行你定义好的内容。
谁来决定好工单的标准,谁来签字确认评分表?
由客服负责人决定,并与熟悉业务的质检员一起确定。AI 只负责执行评分表,不负责编写。Stennir 可以帮你把现有标准整理成带量表的清晰问题,但签字确认的是你的团队,之后每一次修改也要走同样的确认流程。
阿拉伯语和英语的对话打分方式相同吗?
Stennir 完整支持阿拉伯语和英语,其他语言可按需支持。不过每种语言仍应单独检查,因为英语里与质检员相符的分数,在阿拉伯语里未必也相符。对阿拉伯语工单做同样的盲评对照,先调整措辞,再依赖这些分数。
客服不同意某个评分时怎么办?
由客服提出异议,指定的质检员手动重新打分,这个人工分数取代 AI 的分数。把有争议的工单留下来,用它们改进评分表的措辞。如果争议集中在某一项标准上,多半是这一项写得不够清楚。
可能出什么问题?哪些工单一定要交给人工质检员?
AI 可能误读讽刺、本地说法,或漏掉某条政策细节,打分过宽或过严。投诉、法律威胁和安全类案件要交给人处理。把 AI 的分数当作辅导的提示,而不是对客服的最终裁决。
