Souvent oui, mais personne ne peut vous le dire pour votre entreprise tant que vous n'avez pas testé. Les scores publiés en arabe viennent de questions d'examen traduites, pas du dialecte du Golfe, de la frappe WhatsApp, des messages mêlant arabe et anglais ni des notes vocales. Faites d'abord un petit test sur votre propre boîte de réception, et gardez les réclamations, les litiges de paiement et les questions juridiques entre les mains d'une personne.
#Points clés
- Les scores publiés en arabe mesurent des questions d'examen traduites : ils disent peu de choses sur la façon dont un modèle traite les messages de vos clients.
- Le seul test fiable porte sur un échantillon de vos propres messages, annotés par votre propre équipe, découpé par site et par canal.
- Les messages mêlant arabe et anglais, les raccourcis d'orthographe et les notes vocales demandent chacun leur propre jeu de test.
- Les réclamations, les litiges de paiement et tout ce qui est juridique doivent toujours atteindre une personne, quel que soit le résultat du test.
- Un bon résultat au test est une raison de commencer par des brouillons que le personnel valide, pas d'activer les réponses automatiques.
#Que mesurent réellement les scores publiés en arabe ?
La page multilingue d'Anthropic donne des résultats en arabe relatifs à l'anglais sur un benchmark MMLU traduit : 97.2% pour Claude Sonnet 4.5 et 92.5% pour Claude Haiku 4.5, deux modèles plus anciens. Ce sont les chiffres qu'une présentation de fournisseur risque de citer.
Le benchmark qui les sous-tend est le jeu de test MMLU anglais, traduit en 14 langues dont l'arabe par des traducteurs humains professionnels (OpenAI simple-evals, sans date, consulté en octobre 2026). Il pose des questions de connaissances de type examen. Il ne contient ni messages de clients ni dialecte.
#Pourquoi un message WhatsApp du Golfe est-il un test différent ?
Un client à Dubaï, Riyad ou Doha n'écrit pas comme une copie d'examen. Le message peut être en dialecte, passer à l'anglais en cours de route, omettre les voyelles et la ponctuation, ou arriver sous forme de note vocale. Rien de tout cela n'est mesuré par un examen traduit : un score élevé et un bon résultat sur votre boîte de réception sont deux choses distinctes.
Le conseil du fournisseur va dans le même sens. La documentation d'Anthropic (sans date, consultée en octobre 2026) invite à tester avec les langues propres à son cas d'usage, à fournir le texte en écriture native plutôt qu'en translittération, et à préciser explicitement la langue d'entrée et de sortie.
#Comment le tester sur votre propre boîte de réception ?
Prélevez un échantillon de messages réels sur chaque site et chaque canal que vous exploitez. Retirez d'abord les noms et les numéros de téléphone. Demandez à deux de vos agents d'indiquer ce que chaque message demande. Comparez ensuite avec ce que l'outil a compris. Servez-vous de cette liste de contrôle.
- Dialecte : des messages de chaque pays et de chaque ville que vous servez, écrits comme les clients les tapent vraiment.
- Langues mêlées : arabe et anglais dans le même message, avec des noms de produits et de lieux en anglais.
- Écriture native ou lettres latines : de l'arabe tapé avec des caractères latins et des chiffres, comme le font souvent les clients sur mobile.
- Fautes de frappe, réponses courtes et messages d'un seul mot qui n'ont de sens qu'avec le fil précédent.
- Notes vocales et photos : testez-les comme un jeu à part, car elles dépendent des outils qui entourent le modèle.
- Langue de réponse : la réponse revient-elle dans la langue et le registre utilisés par le client ?
- Cas limites : messages énervés, sarcasme et messages qui demandent deux choses à la fois.
Notez chaque groupe séparément. Un seul chiffre global masque le groupe qui échoue. Si les notes vocales échouent et que le texte fonctionne, vous savez par où commencer.
#Que doit-on toujours laisser à une personne ?
Les réclamations, les litiges de paiement, les questions de sécurité et tout ce qui a un aspect juridique doivent atteindre un agent nommé, aussi bon que soit le test. Une mauvaise réponse automatique coûte plus cher dans ces cas qu'une réponse humaine lente. C'est une règle d'exploitation, pas un conseil juridique.
Inscrivez la règle dans le routage, pas dans les bonnes intentions du modèle. Les messages qui correspondent à ces sujets, ou dont l'outil n'est pas sûr, vont à une personne avec le texte d'origine joint. Le personnel doit aussi relire chaque semaine un échantillon des réponses en arabe qui sont parties.
We are
Stennir teste l'outil sur vos propres messages en arabe et en anglais, vous montre où il échoue et fixe les règles sur ce qu'une personne doit traiter. L'arabe et l'anglais sont pris en charge en natif, les autres langues sur demande, hébergé là où vos règles l'exigent.
We aren't
Stennir n'est pas un vendeur de chatbots avec une promesse de précision à vous vendre. Stennir ne promet aucun score avant d'avoir vu votre boîte de réception.
#Que doit faire ensuite un responsable des opérations clients ?
Appliquez la liste de contrôle à un échantillon avant de signer quoi que ce soit. Si vous voulez de l'aide, Stennir réalise ce test en arabe sur vos propres messages dans le cadre du conseil en IA et, si les résultats le justifient, construit le routage et les étapes de validation grâce à la mise en œuvre de l'IA. Voir aussi l'IA pour le support client. Vous pouvez faire l'évaluation de maturité gratuite, ou réserver un appel de 30 minutes.
#Questions fréquentes
Combien de nos propres messages faut-il pour tester ?
Assez pour que chaque type de message que vous recevez apparaisse plusieurs fois. Couvrez chaque site, chaque canal et chaque mélange de langues. Votre équipe doit les lire et les annoter à la main : choisissez donc un échantillon que des personnes peuvent finir. N'en ajoutez que pour les groupes qui échouent. Stennir fixe la taille de l'échantillon pendant l'appel.
Fonctionne-t-elle avec l'arabe et l'anglais mêlés dans le même message ?
Parfois, et on ne peut pas le savoir sans tester. Les messages mixtes sont courants dans les conversations clients du Golfe, et un examen traduit n'en contient pas. Constituez un jeu de test à part, avec les noms de produits en anglais et le reste en arabe, et notez-le séparément du jeu en arabe pur.
Et les notes vocales et les images envoyées sur WhatsApp ?
Traitez-les comme un test à part. Une note vocale doit être transcrite en texte avant que quoi que ce soit ne la lise, et une photo demande son propre contrôle. Réussir sur des messages écrits ne dit rien sur l'un ni l'autre. Stennir teste chaque type sur vos exemples réels et vous dit lesquels sont prêts.
Qui vérifie les réponses en arabe avant que les clients les voient ?
Vos propres agents arabophones. Commencez par des brouillons que le personnel valide, puis laissez l'outil envoyer seul uniquement les types de messages qui passent votre test, et continuez d'échantillonner ensuite. Stennir met en place l'étape de validation et l'échantillon hebdomadaire pour que le contrôle ne repose pas sur une seule personne.
Que faut-il toujours laisser à un agent humain ?
Les réclamations, les litiges de paiement, les questions de sécurité et tout ce qui est juridique. Ainsi que les messages dont l'outil n'est pas sûr, ou qui demandent quelque chose hors de vos règles. Routez-les vers une personne nommée avec le texte d'origine joint. C'est une règle d'exploitation, pas un conseil juridique.
