往往可以,但在你亲自测试之前,没有人能替你的业务下结论。已公布的阿拉伯语成绩来自翻译过的考试题,而不是海湾方言、WhatsApp 式的打字习惯、阿拉伯语与英语混用,或语音留言。先在你自己的收件箱里做一次小规模测试,并且让投诉、付款争议和法律事务始终由人来处理。
要点速览
- 已公布的阿拉伯语成绩衡量的是翻译过的考试题,所以很难说明模型处理你客户消息的表现。
- 唯一可靠的测试,是用你自己的消息样本,由你自己的团队标注,并按站点和渠道分组。
- 阿拉伯语与英语混用的消息、拼写简写和语音留言,各自都需要单独的测试集。
- 无论测试结果如何,投诉、付款争议和一切涉及法律的内容都应交给人处理。
- 测试结果好,只说明可以先从由员工审批的草稿开始,而不是直接开启自动回复。
已公布的阿拉伯语成绩到底衡量什么?
Anthropic 的多语言页面给出了阿拉伯语相对英语的结果,基于翻译版 MMLU 基准:Claude Sonnet 4.5 为 97.2%,Claude Haiku 4.5 为 92.5%,两者都是较早的模型。供应商的演示文稿很可能会引用这些数字。
这些成绩背后的基准,是英文 MMLU 测试集,由专业人工译员翻译成包括阿拉伯语在内的 14 种语言(OpenAI simple-evals,未注明日期,2026年10月查阅)。它考的是考试式的知识题,不包含客户消息,也不包含方言。
#为什么海湾地区的 WhatsApp 消息是另一种测试?
迪拜、利雅得或多哈的客户,写出来的东西不像试卷。消息可能是方言,写到一半切换成英语,省略元音和标点,或者干脆是一条语音留言。这些都不是翻译版考试所衡量的内容,所以高分和收件箱里的好结果是两回事。
供应商自己的建议也指向同一个方向。Anthropic 的文档(未注明日期,2026年10月查阅)建议读者用与自身场景相关的语言来测试,提交原生文字而不是转写,并明确指定输入语言和输出语言。
怎样在你自己的收件箱上测试?
从你运营的每个站点和每个渠道,各取一批真实消息,先删去姓名和电话号码。让你自己的两位客服标注每条消息想要什么,再与工具的理解结果对比。可以参考下面的清单。
- 方言:来自你服务的每个国家和城市、按客户实际打字方式写成的消息。
- 混合语言:同一条消息里阿拉伯语和英语并用,包括用英语写的产品名和地名。
- 原生文字与拉丁字母:用拉丁字母和数字拼写的阿拉伯语,客户在手机上经常这样写。
- 错别字、简短回复和只有结合前文才看得懂的单字消息。
- 语音留言和照片:把它们当作独立的一组来测,因为它们取决于模型周边的工具。
- 回复语言:答复是否使用了客户所用的语言和语气?
- 边缘情形:愤怒的消息、讽刺,以及一条消息里提了两件事。
每一组分别打分。一个混合的总数字会掩盖失败的那一组。如果语音留言不行而文字可以,你就知道从哪里入手。
哪些事情应该始终留给人?
无论测试多顺利,投诉、付款争议、安全问题和任何涉及法律的内容,都应交给一位指定的客服。在这些情形下,自动回复出错的代价,比人工回复慢一点要大。这是一条运营规则,不是法律意见。
把这条规则写在路由里,而不是寄希望于模型的好意。匹配这些主题的消息,或者工具拿不准的消息,附上原文转给人。员工还应该每周抽查一批已发出的阿拉伯语回复。
We are
Stennir 用你自己的阿拉伯语和英语消息测试工具,告诉你它在哪里出错,并制定哪些内容必须由人处理的规则。完整支持阿拉伯语和英语,其他语言可按需支持,并按你的规则要求部署在指定的地方。
We aren't
Stennir 不是一家带着准确率说法来向你推销的聊天机器人供应商。在看过你的收件箱之前,Stennir 不会承诺任何分数。
客户运营负责人接下来该做什么?
在签任何合同之前,先用一批样本跑一遍这份清单。如果需要帮助,Stennir 会作为 AI 咨询的一部分,用你自己的消息做这项阿拉伯语测试;如果结果值得推进,再通过 AI 落地实施搭建路由和审批环节。也可以看看客户支持领域的 AI。你可以做免费的就绪度评估,或者预约 30 分钟通话。
常见问题
我们需要用多少条自己的消息来测试?
要多到让你收到的每一类消息都出现很多次,覆盖每个站点、每个渠道和每种语言混用的情形。你的团队需要手动阅读并标注,所以选一个大家能完成的样本量。只对失败的那些组再追加样本。样本量会在通话中由 Stennir 帮你确定。
同一条消息里阿拉伯语和英语混用,它也能处理吗?
有时可以,不测试就无从得知。混合消息在海湾地区的客户对话中很常见,而翻译版考试里没有这类内容。为它们单独建一个测试集,产品名用英语,其余用阿拉伯语,并与纯阿拉伯语的测试集分开打分。
WhatsApp 上发来的语音留言和图片呢?
把它们当作独立的测试。语音留言要先转成文字才有东西可读,照片则需要单独的检查。文字消息上的成功,对这两者都说明不了什么。Stennir 会用你的真实样例分别测试每一类,并告诉你哪些已经可用。
客户看到阿拉伯语回复之前,由谁来检查?
由你自己会说阿拉伯语的客服来检查。先从由员工审批的草稿开始,再只让工具独立发送通过测试的消息类型,并在此之后持续抽查。Stennir 会搭好审批环节和每周抽查,让这项检查不依赖某一个人。
哪些内容应该始终留给人工客服?
投诉、付款争议、安全问题和一切涉及法律的内容。还有工具拿不准的消息,或者提出了超出你规则范围的要求的消息。把它们连同原文一起转给一位指定的人。这是一条运营规则,不是法律意见。
