多くの場合は理解できます。ただし、自社の場合がどうかは、試してみるまで誰にも分かりません。公表されているアラビア語のスコアは翻訳された試験問題から得られたもので、湾岸方言、WhatsAppでの入力、アラビア語と英語の混在、音声メッセージを対象にしたものではありません。まず自社の受信箱で小さなテストを行い、クレーム、支払いの争い、法的な案件は人に任せ続けてください。
重要なポイント
- 公表されているアラビア語のスコアは翻訳された試験問題を測ったもので、顧客のメッセージをモデルがどう扱うかはほとんど分かりません。
- 確かなテストは、自社のメッセージのサンプルを自社チームが採点し、拠点とチャネル別に分けて行うものだけです。
- アラビア語と英語の混在、省略した綴り、音声メッセージには、それぞれ別のテストセットが必要です。
- クレーム、支払いの争い、法的なことは、テスト結果にかかわらず必ず人に届けます。
- テストで良い結果が出たら、自動返信に切り替えるのではなく、スタッフが承認する下書きから始める理由になります。
公表されているアラビア語のスコアは、実際に何を測っているのですか?
Anthropicの多言語対応のページは、翻訳版MMLUベンチマークでの英語に対するアラビア語の結果を報告しています。Claude Sonnet 4.5は97.2%、Claude Haiku 4.5は92.5%で、どちらも旧モデルです。ベンダーの資料が引用しそうな数字です。
その元になるベンチマークは英語版のMMLUテストセットで、プロの翻訳者によってアラビア語を含む14言語に翻訳されたものです(OpenAI simple-evals、日付なし、october 2026に閲覧)。試験形式の知識問題を出題するもので、顧客のメッセージも方言も含まれていません。
#湾岸のWhatsAppメッセージは、なぜ別のテストになるのですか?
ドバイ、リヤド、ドーハの顧客は、試験の答案のようには書きません。方言で書いたり、途中で英語に切り替えたり、母音や句読点を省いたり、音声メッセージで届いたりします。翻訳された試験はそのどれも測っていないので、高いスコアと受信箱での良い結果は別のものです。
ベンダー自身の助言も同じ方向を向いています。Anthropicのドキュメント(日付なし、october 2026に閲覧)は、自分のユースケースに関係する言語でテストすること、ローマ字表記ではなくネイティブ文字で送ること、入力言語と出力言語を明示することを勧めています。
自社の受信箱で、どうテストしますか?
運営しているすべての拠点とチャネルから、実際のメッセージのサンプルを取り出します。先に名前と電話番号を消します。自社のエージェント2人に、各メッセージが何を求めているかを記してもらいます。次に、それをツールが理解した内容と比べます。次のチェックリストを使ってください。
- 方言:対応している国や都市ごとに、顧客が実際に打つとおりの書き方のメッセージ。
- 言語の混在:同じメッセージの中のアラビア語と英語。英語の製品名や地名を含みます。
- ネイティブ文字とラテン文字:顧客が携帯電話でよく使う、ラテン文字と数字で打ったアラビア語。
- 誤字、短い返信、前のやり取りがないと意味が通じない一言だけのメッセージ。
- 音声メッセージと写真:モデルの周りのツールに左右されるので、別のセットとしてテストします。
- 返信の言語:顧客が使った言語と話し方で答えが返ってくるか。
- 例外的なケース:怒りのメッセージ、皮肉、2つのことを同時に頼むメッセージ。
グループごとに別々に採点してください。1つにまとめた数字では、失敗しているグループが隠れてしまいます。音声メッセージが失敗してテキストがうまくいくなら、どこから始めるべきか分かります。
何を常に人に任せるべきですか?
クレーム、支払いの争い、安全の問題、法的な側面のあるものは、テストがどれほどうまくいっても、名前の決まったエージェントに届けるべきです。そうした場面での誤った自動返信は、遅い人の返信よりも高くつきます。これは運用上のルールであり、法的助言ではありません。
ルールはモデルの善意ではなく、ルーティングに設定してください。そうした話題に当てはまるメッセージや、ツールが判断に迷うメッセージは、元の文面を添えて人に回します。送信されたアラビア語の返信の一部は、スタッフが毎週読むようにしてください。
We are
Stennirは、自社のアラビア語と英語のメッセージでツールを試し、どこで失敗するかを示し、人が対応すべき範囲のルールを定めます。アラビア語と英語に完全対応しており、ほかの言語はご要望に応じ、お客様のルールが求める場所でホストします。
We aren't
Stennirは、精度の主張を売りつけるチャットボットのベンダーではありません。受信箱を見る前にスコアを約束することもありません。
カスタマーオペレーション責任者は、次に何をすればよいですか?
何かに署名する前に、サンプルでチェックリストを実行してください。支援が必要な場合、StennirはAIコンサルティングの一環として、自社のメッセージでこのアラビア語テストを行い、結果が見合うものであれば、AI導入でルーティングと承認の手順を構築します。カスタマーサポート向けAIも参照してください。無料の準備度アセスメントを受けるか、30分の通話を予約することができます。
よくある質問
テストには、自社のメッセージがどれくらい必要ですか?
受け取るすべての種類のメッセージが何度も登場するのに十分な量です。各拠点、各チャネル、各言語の混在をカバーしてください。チームが手作業で読んで採点するので、人が最後までやり切れるサンプルにします。失敗したグループにだけ追加してください。サンプル数は、通話でStennirが決めます。
同じメッセージの中にアラビア語と英語が混ざっても使えますか?
使えることもありますが、テストしなければ分かりません。混在したメッセージは湾岸の顧客チャットでよくありますが、翻訳された試験には含まれていません。製品名を英語、それ以外をアラビア語にした別のテストセットを作り、アラビア語のみのセットとは分けて採点してください。
WhatsAppで送られる音声メッセージや画像は、どうですか?
別のテストとして扱ってください。音声メッセージは、何かが読む前にテキストに変換する必要があり、写真にはそれ自体の確認が要ります。文字メッセージでうまくいっても、どちらについても何も分かりません。Stennirは種類ごとに実際の例でテストし、どれが使える状態かをお伝えします。
顧客が見る前に、アラビア語の返信は誰が確認しますか?
自社のアラビア語を話すエージェントです。まずスタッフが承認する下書きから始め、テストに合格したメッセージの種類だけをツールが単独で送れるようにし、その後もサンプル確認を続けます。Stennirは承認の手順と毎週のサンプル確認を整え、確認が特定の1人に依存しないようにします。
常に人のエージェントに任せるべきことは何ですか?
クレーム、支払いの争い、安全の問題、法的なことです。ツールが判断に迷うメッセージや、自社のルールの範囲外のことを求めるメッセージも同様です。元の文面を添えて、名前の決まった担当者に回してください。これは運用上のルールであり、法的助言ではありません。
