Wat is word error rate? Zo wordt transcriptienauwkeurigheid gemeten (2026)

Kort antwoord: word error rate (WER, woordfoutpercentage) is de standaardmaatstaf voor transcriptienauwkeurigheid. Hij telt de drie manieren waarop een transcript fout kan zijn — een woord vervangen, een woord weggevallen, een woord verzonnen — en deelt dat totaal door het aantal woorden dat werkelijk is gesproken. Een WER van 10% betekent dat ruwweg één op de tien woorden fout is. De definitie verbergt drie verrassingen: WER kan boven de 100% uitkomen, hetzelfde transcript kan twee verschillende scores krijgen afhankelijk van hoe de tekst vóór het tellen is genormaliseerd, en het getal is betekenisloos zonder te weten op welke audio het is gemeten. En voor talen die zonder spaties worden geschreven, zoals Japans en Chinees, schakelt de sector over op character error rate (CER) — een andere maat, die leveranciers vaak citeren alsof het dezelfde is.

Deze gids is geschreven door het LoroNote-team op 26 augustus 2026. LoroNote draait Whisper Large V3 Turbo op het apparaat, dus WER-cijfers bepalen wat we bouwen en wat we claimen — en elk cijfer hieronder komt uit het gepubliceerde paper en de modelkaarten van OpenAI of van het publieke Open ASR Leaderboard, allemaal onderaan gelinkt. Geen ervan is onze eigen meting.

De formule: drie manieren waarop een transcript fout kan zijn

WER vergelijkt twee teksten: de referentie (wat er werkelijk is gezegd, uitgeschreven door een zorgvuldig mens) en de hypothese (wat de machine ervan maakte). Elk verschil tussen die twee valt in een van drie categorieën:

• Substitutie (S) — een woord vervangen door een ander woord
• Deletie (D) — een gesproken woord dat in het transcript ontbreekt
• Insertie (I) — een woord in het transcript dat niemand heeft gezegd

De score is het totaal van alle drie, gedeeld door het aantal woorden in de referentie:

WER = (S + D + I) / N, waarbij N het aantal gesproken woorden is — niet het aantal woorden in het transcript.

Een uitgewerkt voorbeeld. Iemand zegt: “stuur het rapport dinsdagochtend meteen door naar Priya” — acht woorden. Het transcript luidt: “stuur een rapport dinsdagochtend door naar Prisha.” Dat zijn twee substituties (het → een, Priya → Prisha) en één deletie (meteen): drie fouten op acht woorden, een WER van 37,5%. Let op wat het voorbeeld ongemerkt binnensmokkelt: de verhaspelde naam is de fout die je werkelijk iets zou kosten, en hij telt precies even zwaar als het dat een wordt. Daarover hieronder meer.

Waarom WER hoger dan 100% kan zijn

Substituties en deleties zijn begrensd door de lengte van de referentie — je kunt niet meer woorden weglaten dan er zijn gesproken. Inserties niet. Een generatief spraakmodel dat een stuk bijna-stilte krijgt voorgeschoteld, kan hele zinnen verzinnen, en elk verzonnen woord is een insertie die wordt afgezet tegen een referentie van bijna nul woorden. Dat duwt de WER voorbij de 100%, en dat is geen afrondingsfout maar de formule die precies doet waarvoor ze is ontworpen. Het is ook waarom hallucinatie — Whispers gedocumenteerde neiging om vloeiende tekst te produceren wanneer de audio stilvalt of overgaat in muziek — zwaarder weegt dan zijn aandeel in de gemiddelde WER doet vermoeden; hoe twee modelarchitecturen hier verschillend mee omgaan, vergeleken we in Parakeet V3 vs Whisper Large V3.

WER tegenover “99% nauwkeurig”

Leveranciers adverteren zelden met een woordfoutpercentage; ze adverteren met nauwkeurigheid. De omrekening is simpel — nauwkeurigheid is ruwweg 100% min WER — maar de framing verricht stilletjes veel werk. “99% nauwkeurig” klinkt als een eigenschap van het product. Een WER beschrijft een product alleen ooit op een bepaalde testset, en bij de nauwkeurigheidsbanner wordt er vrijwel nooit een genoemd. Dezelfde engine die 97% haalt op schone, dichtbij opgenomen voorgelezen spraak, kan 84% scoren op een vergadering met een verre microfoon zonder dat er iets aan de software verandert. Een precieze nauwkeurigheidsclaim zonder testset erbij is een reclamebeslissing, geen evaluatie.

De vuistregel: kom je een nauwkeurigheidspercentage tegen, trek het dan van 100 af en vraag “op welke audio?” Is het antwoord niet gepubliceerd, dan valt het getal nergens mee te vergelijken — ook niet met het cijfer van dezelfde leverancier van vorig jaar.

Niet elke fout kost evenveel — en WER trekt zich daar niets van aan

WER is bewust democratisch: een overgeslagen “eh” kost precies evenveel als een verkeerde medicijnnaam — één fout elk. Die neutraliteit maakt de maat objectief en vergelijkbaar tussen systemen, en ze is tegelijk zijn bekendste beperking. Een transcript met vijf verhaspelde stopwoordjes en een transcript met vijf verhaspelde klantnamen hebben dezelfde WER en heel verschillende gevolgen.

Evaluatieteams omzeilen dit soms met trefwoordgewogen maten of foutpercentages per entiteit, maar de kopcijfers die je tegenkomt — in papers, op leaderboards, in marketing — zijn vrijwel altijd kale WER. Het praktische gevolg voor wie een transcriptietool kiest: lees na elke test de werkelijke fouten in plaats van bij het aantal te blijven staan. Waar de fouten terechtkomen weegt zwaarder dan hoeveel het er zijn.

Normalisatie: waarom één model twee verschillende scores krijgt

Voordat er iets wordt geteld, worden referentie en hypothese allebei genormaliseerd: kleine letters, interpunctie eruit, getallen, samentrekkingen en spellingen gelijkgetrokken — is “zesentwintig” een fout tegenover “26”? Is “‘t” een fout tegenover “het”? Elke evaluatie beantwoordt zulke vragen met eigen regels, en die regels verschuiven de score.

OpenAI vond dit belangrijk genoeg om naast Whisper een speciaal gebouwde tekstnormalisator uit te brengen en een appendix van het Whisper-paper te wijden aan hoe die keuzes de gemeten WER veranderen. Op een benchmark als LibriSpeech kunnen normalisatieverschillen op zichzelf al het gepubliceerde cijfer van een model met meer dan een procentpunt verschuiven — ruwweg even groot als het gat dat veel rechtstreekse vergelijkingen claimen te hebben gevonden.

Daarom herhalen we op dit blog steeds dezelfde waarschuwing, het laatst in de vergelijking met Apple SpeechAnalyzer: WER-cijfers uit twee apart gepubliceerde evaluaties zijn ruwe context, geen oordeel. De enige zuivere vergelijking is twee systemen die in dezelfde run zijn gescoord, op dezelfde audio, met dezelfde normalisator.

Een WER zegt niets zonder zijn testset

De meest geciteerde spraakbenchmark, LibriSpeech, is opgebouwd uit luisterboeken in het publieke domein en opgesplitst in twee helften waarvan de namen alles zeggen: test-clean (heldere opnames, makkelijkere sprekers) en test-other (de moeilijkere rest). Eén corpus, twee omstandigheden — en elk model scoort zichtbaar slechter op de tweede. Die structuur is de hele les van WER in het klein: de audio is onderdeel van het getal.

Gepubliceerde cijfers voor de grote Whisper-modellen maken hetzelfde punt op volle schaal. Op schone voorgelezen spraak van één spreker halen ze ruwweg 2–3% WER. Gemiddeld over acht uiteenlopende Engelse testsets op het Open ASR Leaderboard: ongeveer 7,4%. Op vergaderopnames met verre microfoons en door elkaar pratende stemmen: rond 16%. In een taal met weinig trainingsdata, zoals Hindi, liggen gepubliceerde cijfers rond 27%. Dezelfde modelgewichten, een orde van grootte aan spreiding — we liepen die ladder sport voor sport af in Hoe nauwkeurig is Whisper?

De testset kan ook een andere valkuil verbergen: welk model er eigenlijk is getest. De benchmark die in 2026 viraal ging met de claim dat Apples nieuwe engine Whisper versloeg, had Whisper Small gemeten — meerdere maten onder de modellen die apps op het apparaat werkelijk draaien. Het kopcijfer was echt; de vergelijking niet.

Waar “woord” ophoudt te werken: CER voor Japans, Chinees en Koreaans

WER gaat ervan uit dat je een zin in woorden kunt splitsen door ernaar te kijken. Japans en Chinees worden zonder spaties geschreven, dus “hoeveel woorden telt deze zin” is daar zelf al een modelleerbeslissing — twee tokenizers geven twee verschillende aantallen, en het foutpercentage erft dat meningsverschil. Voor die talen schakelen evaluaties over op character error rate (CER): dezelfde rekensom met substituties, deleties en inserties, maar dan per teken in plaats van per woord. OpenAI’s eigen modelkaart voor Whisper Large V3 rapporteert voor talen als Japans, Chinees, Koreaans en Thai CER in plaats van WER.

Koreaans is het leerzame middengeval: het heeft spaties, maar partikels plakken vast aan de woorden waar ze bij horen, en legitieme variatie in spatiëring verlegt woordgrenzen zonder de betekenis te veranderen — een telling op woordniveau bestraft dus verschillen die geen lezer een fout zou noemen, en ook daar is tellen per teken de stabielere keuze.

De praktische waarschuwing: 5% CER en 5% WER zijn niet dezelfde claim. Scores op tekenniveau vallen numeriek lager uit dan scores op woordniveau over dezelfde uitvoer, omdat één fout woord meestal nog meerdere juiste tekens bevat. Een meertalige nauwkeurigheidstabel die de twee maten stilzwijgend mengt — en dat doen er veel — is niet vergelijkbaar tussen de eigen rijen. Dit raakt ons direct: LoroNote transcribeert ruim 100 talen op het apparaat, en “hoe nauwkeurig is het in mijn taal” valt pas te beantwoorden als je weet met welke maat jouw taal überhaupt wordt gemeten.

Meet je eigen WER in tien minuten

Elk getal hierboven is gemeten op andermans audio. De test die jouw vraag beantwoordt, draait op de jouwe, en er is niet meer voor nodig dan een teksteditor:

1. Neem ongeveer twee minuten representatieve audio op. Dezelfde ruimte, dezelfde microfoonafstand, dezelfde taal, echte namen en vaktermen — de test is maar zo eerlijk als het monster.
2. Transcribeer die met de app die je beoordeelt.
3. Leg je regels vast vóór je gaat tellen. Dit is de stap die iedereen overslaat, en het is het normalisatieprobleem van hierboven in het klein: negeer interpunctie en hoofdletters, kies één schrijfwijze voor getallen, en besluit vooraf of stopwoordjes meetellen. Elke set regels werkt — zolang je ze vastlegt voordat je de uitvoer bekijkt en ze identiek houdt wanneer je een tweede app test.
4. Beoordeel een stuk van 200 woorden. Leg het transcript naast wat er werkelijk is gezegd en turf elke substitutie, deletie en insertie. Deel door 200. Dat is jouw WER, op de enige benchmark die ooit over jouw audio ging.
5. Lees daarna de fouten. Vijf verhaspelde stopwoordjes en vijf verhaspelde klantnamen zijn dezelfde score en een heel andere dag. Blijven terugkerende namen misgaan, dan heeft dat specifieke probleem een specifieke oplossing — het aangepaste woordenboek van LoroNote bestaat precies voor termen die het model niet langer fout mag doen.

Omdat LoroNote op het apparaat transcribeert en de eerste twee minuten van elke opname gratis zijn, kost het hele experiment niets en verlaat de opname je iPhone nooit — geen upload, geen account, en de vliegtuigmodus verandert niets.

Veelgestelde vragen

Hoe bereken je word error rate?

Tel de drie fouttypes op — substituties, deleties en inserties — en deel door het aantal woorden dat werkelijk is gesproken: WER = (S + D + I) / N. N komt uit de referentie (wat er is gezegd), niet uit het transcript, en daarom kan zware insertie de WER voorbij de 100% duwen.

Wat is een goede word error rate?

Dat hangt volledig van de audio af. Op schone, dichtbij opgenomen spraak van één spreker halen moderne grote modellen 2–3% WER, dicht bij het praktische plafond; over gevarieerde Engelse praktijkaudio is een cijfer van rond de 5 tot 10% sterk; op vergaderingen met verre microfoons en door elkaar praten zitten zelfs vlaggenschipmodellen rond 16%. Een “goede” WER is er een die is gemeten op audio die op de jouwe lijkt — een leverancier die schone-spraakcijfers citeert voor een vergaderzaal beantwoordt een andere vraag.

Kan word error rate hoger zijn dan 100%?

Ja. Inserties zijn niet begrensd door het aantal gesproken woorden, dus een model dat tekst verzint — bijvoorbeeld zinnen hallucineert tijdens een stuk stilte — kan meer fouten verzamelen dan de referentie woorden heeft. Een WER boven 100% wijst vrijwel altijd op insertieproblemen, niet op verkeerd verstaan.

Waarom rapporteren twee evaluaties verschillende WER’s voor hetzelfde model?

Twee redenen, meestal gestapeld: andere testaudio en andere tekstnormalisatie. Normalisatieregels — hoe interpunctie, hoofdletters, getallen en samentrekkingen vóór het tellen worden gelijkgetrokken — kunnen een gepubliceerd LibriSpeech-cijfer op zichzelf al meer dan een punt verschuiven. Alleen twee systemen die in dezelfde evaluatierun zijn gescoord, zijn zuiver vergelijkbaar.

Is WER voor elke taal de juiste maat?

Nee. Voor talen die zonder spaties worden geschreven, zoals Japans en Chinees, zijn woordgrenzen dubbelzinnig en gebruiken evaluaties character error rate (CER); ook Koreaans is meestal beter af met tellen op tekenniveau. CER-waarden vallen numeriek lager uit dan WER over dezelfde uitvoer, dus de twee mogen nooit rechtstreeks worden vergeleken.

Meet WER of sprekers juist zijn herkend?

Nee. WER beoordeelt alleen de woorden. Ze aan de juiste persoon toeschrijven is diarisatie, een aparte stap met een eigen foutmaat, en een transcript kan een lage WER hebben terwijl elke regel aan de verkeerde spreker hangt. Hoe sprekerherkenning werkt behandelt die helft van het probleem.

Tot slot over word error rate

Word error rate is het nuttigste getal in spraakherkenning en het makkelijkst verkeerd te gebruiken. De formule is eerlijk — drie fouttypes gedeeld door de gesproken woorden — maar elk gepubliceerd cijfer draagt stille passagiers mee: de testset waarop het is gemeten, de normalisator die de tekst voorbewerkte, en de maatwissel die plaatsvindt zodra een taal geen spaties gebruikt. Lees elke WER met die drie vragen ernaast, en de getallen worden werkelijk informatief. Nog beter: meet er in tien minuten zelf een op je eigen audio — het is de enige testset die ooit over jou ging.

Bronnen

• OpenAI, Robust Speech Recognition via Large-Scale Weak Supervision — het Whisper-paper; appendix C behandelt de tekstnormalisator en zijn effect op de gemeten WER
• OpenAI, modelkaart whisper-large-v3 — cijfers per taal, gerapporteerd als WER of CER afhankelijk van de taal
• Open ASR Leaderboard — Engelse gemiddelden over meerdere benchmarks en AMI-vergadercijfers
• LibriSpeech ASR-corpus — de opsplitsing test-clean / test-other
• LoroNote, Hoe nauwkeurig is Whisper? Echte cijfers — de gepubliceerde cijfers hierboven, met hun omstandigheden

Cijfers opnieuw gecontroleerd tegen de gelinkte bronnen op 26 augustus 2026.