日志

AI 能看懂海湾阿拉伯语的客户消息吗?

往往可以,但要先测试。基准测试用的是翻译过的考试题,而不是海湾地区 WhatsApp 里的方言。自动化之前,先在你自己的收件箱上做一次检验。

elias a.applied ai & data1 分钟阅读

往往可以,但在你亲自测试之前,没有人能替你的业务下结论。已公布的阿拉伯语成绩来自翻译过的考试题,而不是海湾方言、WhatsApp 式的打字习惯、阿拉伯语与英语混用,或语音留言。先在你自己的收件箱里做一次小规模测试,并且让投诉、付款争议和法律事务始终由人来处理。

要点速览

  • 已公布的阿拉伯语成绩衡量的是翻译过的考试题,所以很难说明模型处理你客户消息的表现。
  • 唯一可靠的测试,是用你自己的消息样本,由你自己的团队标注,并按站点和渠道分组。
  • 阿拉伯语与英语混用的消息、拼写简写和语音留言,各自都需要单独的测试集。
  • 无论测试结果如何,投诉、付款争议和一切涉及法律的内容都应交给人处理。
  • 测试结果好,只说明可以先从由员工审批的草稿开始,而不是直接开启自动回复。

已公布的阿拉伯语成绩到底衡量什么?

Anthropic 的多语言页面给出了阿拉伯语相对英语的结果,基于翻译版 MMLU 基准:Claude Sonnet 4.5 为 97.2%,Claude Haiku 4.5 为 92.5%,两者都是较早的模型。供应商的演示文稿很可能会引用这些数字。

这些成绩背后的基准,是英文 MMLU 测试集,由专业人工译员翻译成包括阿拉伯语在内的 14 种语言(OpenAI simple-evals,未注明日期,2026年10月查阅)。它考的是考试式的知识题,不包含客户消息,也不包含方言。

#为什么海湾地区的 WhatsApp 消息是另一种测试?

迪拜、利雅得或多哈的客户,写出来的东西不像试卷。消息可能是方言,写到一半切换成英语,省略元音和标点,或者干脆是一条语音留言。这些都不是翻译版考试所衡量的内容,所以高分和收件箱里的好结果是两回事。

供应商自己的建议也指向同一个方向。Anthropic 的文档(未注明日期,2026年10月查阅)建议读者用与自身场景相关的语言来测试,提交原生文字而不是转写,并明确指定输入语言和输出语言。

怎样在你自己的收件箱上测试?

从你运营的每个站点和每个渠道,各取一批真实消息,先删去姓名和电话号码。让你自己的两位客服标注每条消息想要什么,再与工具的理解结果对比。可以参考下面的清单。

  • 方言:来自你服务的每个国家和城市、按客户实际打字方式写成的消息。
  • 混合语言:同一条消息里阿拉伯语和英语并用,包括用英语写的产品名和地名。
  • 原生文字与拉丁字母:用拉丁字母和数字拼写的阿拉伯语,客户在手机上经常这样写。
  • 错别字、简短回复和只有结合前文才看得懂的单字消息。
  • 语音留言和照片:把它们当作独立的一组来测,因为它们取决于模型周边的工具。
  • 回复语言:答复是否使用了客户所用的语言和语气?
  • 边缘情形:愤怒的消息、讽刺,以及一条消息里提了两件事。

每一组分别打分。一个混合的总数字会掩盖失败的那一组。如果语音留言不行而文字可以,你就知道从哪里入手。

哪些事情应该始终留给人?

无论测试多顺利,投诉、付款争议、安全问题和任何涉及法律的内容,都应交给一位指定的客服。在这些情形下,自动回复出错的代价,比人工回复慢一点要大。这是一条运营规则,不是法律意见。

把这条规则写在路由里,而不是寄希望于模型的好意。匹配这些主题的消息,或者工具拿不准的消息,附上原文转给人。员工还应该每周抽查一批已发出的阿拉伯语回复。

We are

Stennir 用你自己的阿拉伯语和英语消息测试工具,告诉你它在哪里出错,并制定哪些内容必须由人处理的规则。完整支持阿拉伯语和英语,其他语言可按需支持,并按你的规则要求部署在指定的地方。

We aren't

Stennir 不是一家带着准确率说法来向你推销的聊天机器人供应商。在看过你的收件箱之前,Stennir 不会承诺任何分数。

客户运营负责人接下来该做什么?

在签任何合同之前,先用一批样本跑一遍这份清单。如果需要帮助,Stennir 会作为 AI 咨询的一部分,用你自己的消息做这项阿拉伯语测试;如果结果值得推进,再通过 AI 落地实施搭建路由和审批环节。也可以看看客户支持领域的 AI。你可以做免费的就绪度评估,或者预约 30 分钟通话。

常见问题

我们需要用多少条自己的消息来测试?

要多到让你收到的每一类消息都出现很多次,覆盖每个站点、每个渠道和每种语言混用的情形。你的团队需要手动阅读并标注,所以选一个大家能完成的样本量。只对失败的那些组再追加样本。样本量会在通话中由 Stennir 帮你确定。

同一条消息里阿拉伯语和英语混用,它也能处理吗?

有时可以,不测试就无从得知。混合消息在海湾地区的客户对话中很常见,而翻译版考试里没有这类内容。为它们单独建一个测试集,产品名用英语,其余用阿拉伯语,并与纯阿拉伯语的测试集分开打分。

WhatsApp 上发来的语音留言和图片呢?

把它们当作独立的测试。语音留言要先转成文字才有东西可读,照片则需要单独的检查。文字消息上的成功,对这两者都说明不了什么。Stennir 会用你的真实样例分别测试每一类,并告诉你哪些已经可用。

客户看到阿拉伯语回复之前,由谁来检查?

由你自己会说阿拉伯语的客服来检查。先从由员工审批的草稿开始,再只让工具独立发送通过测试的消息类型,并在此之后持续抽查。Stennir 会搭好审批环节和每周抽查,让这项检查不依赖某一个人。

哪些内容应该始终留给人工客服?

投诉、付款争议、安全问题和一切涉及法律的内容。还有工具拿不准的消息,或者提出了超出你规则范围的要求的消息。把它们连同原文一起转给一位指定的人。这是一条运营规则,不是法律意见。

告诉我们哪项工作最耗时间。

30分钟。无需准备。我们会坦率地告诉您AI能否帮上忙,以及从哪里开始。