Vaak wel, maar niemand kan je voor jouw bedrijf zeggen of het werkt voordat je het test. Gepubliceerde Arabische scores komen van vertaalde examenvragen, niet van Golf-dialect, WhatsApp-typewerk, gemengd Arabisch-Engels of spraakberichten. Doe eerst een kleine test op je eigen inbox en laat klachten, betalingsgeschillen en juridische kwesties bij een persoon.
#Belangrijkste punten
- Gepubliceerde Arabische scores meten vertaalde examenvragen, en zeggen dus weinig over hoe een model omgaat met de berichten van jouw klanten.
- De enige betrouwbare test is een steekproef van je eigen berichten, beoordeeld door je eigen team en uitgesplitst per vestiging en kanaal.
- Gemengde Arabisch-Engelse berichten, afgekorte spelling en spraakberichten hebben elk een eigen testset nodig.
- Klachten, betalingsgeschillen en alles wat juridisch is, moeten altijd bij een persoon terechtkomen, wat de test ook laat zien.
- Een goed testresultaat is een reden om te beginnen met concepten die medewerkers goedkeuren, niet om automatische antwoorden aan te zetten.
#Wat meten de gepubliceerde Arabische scores eigenlijk?
De meertalige pagina van Anthropic geeft Arabische resultaten ten opzichte van het Engels op een vertaalde MMLU-benchmark: 97,2% voor Claude Sonnet 4.5 en 92,5% voor Claude Haiku 4.5, beide oudere modellen. Dat zijn de cijfers die een leverancier in een presentatie het waarschijnlijkst aanhaalt.
De benchmark erachter is de Engelse MMLU-testset, door professionele vertalers vertaald naar 14 talen, waaronder Arabisch (OpenAI simple-evals, undated, read october 2026). Het stelt kennisvragen in examenstijl. Er zitten geen klantberichten of dialect in.
#Waarom is een Golf-WhatsAppbericht een andere test?
Een klant in Dubai, Riyad of Doha schrijft niet als een examenopgave. Het bericht kan in dialect zijn, halverwege naar het Engels overschakelen, klinkers en leestekens overslaan of als spraakbericht binnenkomen. Dat meet een vertaald examen allemaal niet, dus een hoge score en een goed resultaat in je inbox zijn twee verschillende dingen.
Het advies van de leverancier wijst dezelfde kant op. De documentatie van Anthropic (undated, read october 2026) raadt aan te testen met de talen die voor je eigen toepassing relevant zijn, Arabisch in het eigen schrift aan te leveren in plaats van in transliteratie en de invoer- en uitvoertaal expliciet te vermelden.
#Hoe test je het op je eigen inbox?
Haal een steekproef van echte berichten op uit elke vestiging en elk kanaal dat je gebruikt. Verwijder eerst namen en telefoonnummers. Laat twee van je eigen medewerkers markeren wat elk bericht vraagt. Vergelijk dat daarna met wat de tool begreep. Gebruik deze checklist.
- Dialect: berichten uit elk land en elke stad die je bedient, geschreven zoals klanten echt typen.
- Gemengde taal: Arabisch en Engels in hetzelfde bericht, inclusief product- en plaatsnamen in het Engels.
- Eigen schrift tegenover Latijnse letters: Arabisch getypt met Latijnse letters en cijfers, wat klanten op telefoons vaak doen.
- Typefouten, korte antwoorden en eenwoordberichten die alleen begrijpelijk zijn met de eerdere conversatie erbij.
- Spraakberichten en foto's: test ze als aparte set, want ze hangen af van de tools rond het model.
- Antwoordtaal: komt het antwoord terug in de taal en het register van de klant?
- Randgevallen: boze berichten, sarcasme en berichten die om twee dingen tegelijk vragen.
Beoordeel elke groep apart. Eén gemiddeld getal verbergt de groep die faalt. Als spraakberichten falen en tekst werkt, weet je waar je moet beginnen.
#Wat moet altijd bij een persoon blijven?
Klachten, betalingsgeschillen, veiligheidskwesties en alles met een juridische kant moeten bij een benoemde medewerker terechtkomen, hoe goed de test ook ging. Een verkeerd automatisch antwoord kost in die gevallen meer dan een traag menselijk antwoord. Dit is een werkafspraak, geen juridisch advies.
Leg de regel vast in de routering, niet in de goede bedoelingen van het model. Berichten die bij die onderwerpen passen, of waar de tool onzeker over is, gaan met de originele tekst erbij naar een persoon. Medewerkers moeten ook elke week een steekproef lezen van de Arabische antwoorden die zijn verstuurd.
We are
Stennir test de tool op je eigen Arabische en Engelse berichten, laat zien waar het misgaat en stelt de regels op voor wat een persoon moet afhandelen. Arabisch en Engels worden volledig ondersteund, andere talen op aanvraag, gehost waar jouw regels dat vereisen.
We aren't
Stennir is geen chatbotleverancier met een nauwkeurigheidsclaim om je aan te smeren. Stennir belooft geen score voordat het je inbox heeft gezien.
#Wat kan een hoofd klantenservice nu doen?
Doe de checklist op een steekproef voordat je iets ondertekent. Als je hulp wilt, voert Stennir deze Arabische test uit op je eigen berichten als onderdeel van AI-advies en bouwt het, als de resultaten daar reden toe geven, de routering en goedkeuringsstappen via AI-implementatie. Zie ook AI voor klantenservice. Je kunt de gratis gereedheidsscan doen of een gesprek van 30 minuten plannen.
#Veelgestelde vragen
Met hoeveel van onze eigen berichten moeten we testen?
Genoeg dat elk soort bericht dat je ontvangt vaak voorkomt. Dek elke vestiging, elk kanaal en elke taalmix af. Je team moet ze met de hand lezen en markeren, dus kies een steekproef die mensen kunnen afmaken. Voeg alleen meer toe voor de groepen die falen. Stennir bepaalt de steekproefgrootte tijdens het gesprek.
Werkt het met Arabisch en Engels door elkaar in hetzelfde bericht?
Soms, en je kunt het niet weten zonder te testen. Gemengde berichten komen veel voor in klantchats in de Golfregio, en een vertaald examen bevat ze niet. Bouw er een aparte testset voor, met productnamen in het Engels en de rest in het Arabisch, en beoordeel die los van de zuiver Arabische set.
En spraakberichten en afbeeldingen via WhatsApp?
Behandel ze als een aparte test. Een spraakbericht moet eerst in tekst worden omgezet voordat iets het leest, en een foto heeft een eigen controle nodig. Succes bij getypte berichten zegt niets over beide. Stennir test elk type op je echte voorbeelden en vertelt je welke klaar zijn.
Wie controleert de Arabische antwoorden voordat klanten ze zien?
Je eigen Arabischsprekende medewerkers. Begin met concepten die medewerkers goedkeuren, laat de tool daarna alleen de berichttypen zelfstandig versturen die je test doorstaan, en blijf daarna steekproeven nemen. Stennir richt de goedkeuringsstap en de wekelijkse steekproef in, zodat de controle niet van één persoon afhangt.
Wat moet altijd bij een menselijke medewerker blijven?
Klachten, betalingsgeschillen, veiligheidskwesties en alles wat juridisch is. Ook berichten waar de tool onzeker over is of die iets vragen buiten je regels. Stuur ze met de originele tekst erbij naar een benoemde persoon. Dit is een werkafspraak, geen juridisch advies.
