O que é taxa de erro de palavras? Como se mede a precisão de uma transcrição (2026)

Resposta rápida: a taxa de erro de palavras (WER, de word error rate) é a régua padrão da precisão de transcrição. Ela conta os três jeitos de uma transcrição errar — uma palavra substituída, uma palavra apagada, uma palavra inserida — e divide esse total pelo número de palavras realmente faladas. Um WER de 10% significa que mais ou menos uma palavra em cada dez está errada. A definição esconde três surpresas: o WER pode passar de 100%, a mesma transcrição pode receber duas notas diferentes dependendo de como o texto foi normalizado antes da contagem, e o número não significa nada sem saber em qual áudio foi medido. E, para idiomas escritos sem espaços, como o japonês e o chinês, o setor muda para a taxa de erro de caracteres (CER) — uma métrica diferente que os fornecedores costumam citar como se fosse a mesma.

Este guia foi escrito pela equipe do LoroNote em 26 de agosto de 2026. O LoroNote roda o Whisper Large V3 Turbo no dispositivo, então números de WER decidem o que construímos e o que afirmamos — e todo número abaixo vem do artigo e dos cartões de modelo publicados pela OpenAI ou do Open ASR Leaderboard público, tudo com link no final. Nenhum deles é medição nossa.

A fórmula: os três jeitos de uma transcrição errar

O WER compara dois textos: a referência (o que foi dito de fato, transcrito por um humano cuidadoso) e a hipótese (o que a máquina produziu). Toda diferença entre os dois cai em uma de três categorias:

• Substituição (S) — uma palavra trocada por outra
• Deleção (D) — uma palavra falada que sumiu da transcrição
• Inserção (I) — uma palavra na transcrição que ninguém disse

A nota é o total das três dividido pelo número de palavras da referência:

WER = (S + D + I) / N, onde N é o número de palavras faladas — não o número de palavras da transcrição.

Um exemplo na prática. Alguém diz: “envie o relatório para a Priya até sexta de manhã” — dez palavras. A transcrição sai: “envie um relatório para a Prisha até sexta”. São duas substituições (o → um, Priya → Prisha) e duas deleções (de manhã): quatro erros sobre dez palavras, um WER de 40%. Repare no que o exemplo carrega escondido: o nome estropiado é o erro que custaria alguma coisa de verdade, e ele conta exatamente o mesmo que o virar um. Voltamos a isso logo abaixo.

Por que o WER pode passar de 100%

Substituições e deleções têm teto no tamanho da referência — não dá para apagar mais palavras do que foram ditas. Inserções não têm. Um modelo generativo de fala diante de um trecho de quase silêncio pode inventar frases inteiras, e cada palavra inventada é uma inserção contada contra uma referência de quase zero palavras. Isso empurra o WER para além de 100% — o que não é um bug de arredondamento, e sim a fórmula funcionando como foi desenhada. É também por isso que a alucinação — um comportamento documentado do Whisper diante de silêncio, ruído e música — importa mais do que a sua fatia do WER médio sugere; comparamos como duas arquiteturas de modelo diferem exatamente nisso em Parakeet V3 vs Whisper Large V3.

WER contra “99% de precisão”

Fornecedor raramente anuncia taxa de erro; anuncia precisão. A conversão é simples — precisão é mais ou menos 100% menos o WER —, mas o enquadramento faz um trabalho silencioso. “99% de precisão” soa como uma propriedade do produto. Um WER só descreve um produto em um conjunto de teste específico, e a faixa de precisão quase nunca nomeia um. O mesmo motor que alcança 97% em fala lida limpa, com microfone perto, pode marcar 84% em uma reunião com microfone distante sem que nada mude no software. Uma alegação de precisão exata sem conjunto de teste anexado é uma decisão de publicidade, não uma avaliação.

A regra de bolso: sempre que encontrar uma porcentagem de precisão, subtraia de 100 e pergunte “em qual áudio?”. Se a resposta não está publicada, o número não pode ser comparado com nada — nem com o número do mesmo fornecedor no ano passado.

Nem todo erro custa igual — e o WER não se importa

O WER é deliberadamente democrático: um “é…” descartado e o nome errado de um remédio contam uma vez cada. Essa neutralidade é o que torna a métrica objetiva e comparável entre sistemas, e é também a sua limitação mais conhecida. Uma transcrição com cinco cacoetes de fala estropiados e uma transcrição com cinco nomes de clientes estropiados têm WERs idênticos e consequências bem diferentes.

Equipes de avaliação às vezes contornam isso com métricas ponderadas por palavras-chave ou taxas de erro de entidades, mas os números de manchete que você vai encontrar — em artigos, em leaderboards, no marketing — são quase sempre WER puro. A consequência prática para quem escolhe uma ferramenta de transcrição: depois de qualquer teste, leia os erros em si em vez de parar na contagem. Onde os erros caem importa mais do que quantos são.

Normalização: por que um modelo recebe duas notas diferentes

Antes de qualquer contagem, a referência e a hipótese passam por uma normalização: tudo em minúsculas, sem pontuação, com números, contrações e grafias unificados — “vinte e seis” é um erro contra “26”? “tá” é um erro contra “está”? Cada avaliação responde a essas perguntas com as próprias regras, e as regras movem a nota.

A OpenAI considerou isso importante o bastante para publicar um normalizador de texto próprio junto com o Whisper e dedicar um apêndice do artigo do Whisper a como essas escolhas mudam o WER medido. Em um benchmark como o LibriSpeech, diferenças de normalização sozinhas podem mover o número publicado de um modelo em mais de um ponto percentual — mais ou menos o tamanho da vantagem que muitas comparações diretas afirmam ter encontrado.

É por isso que repetimos a mesma cautela por todo este blog, mais recentemente na comparação com o Apple SpeechAnalyzer: números de WER de duas avaliações publicadas separadamente são contexto aproximado, não veredito. A única comparação limpa é a de dois sistemas avaliados na mesma rodada, no mesmo áudio, com o mesmo normalizador.

Um WER não significa nada sem o seu conjunto de teste

O benchmark de fala mais citado, o LibriSpeech, é feito de audiolivros de domínio público e dividido em duas metades cujos nomes dizem tudo: test-clean (gravações claras, falantes mais fáceis) e test-other (o resto, mais difícil). Um corpus, duas condições — e todo modelo pontua visivelmente pior na segunda. Essa estrutura é a lição inteira do WER em miniatura: o áudio faz parte do número.

Os números publicados dos modelos large do Whisper mostram o mesmo em escala real. Em fala lida limpa, com um só falante, eles chegam a cerca de 2–3% de WER. Na média de oito conjuntos de teste variados em inglês no Open ASR Leaderboard, uns 7,4%. Em gravações de reunião com microfone distante e falantes sobrepostos, em torno de 16%. Em um idioma com poucos recursos, como o híndi, os números publicados ficam perto de 27%. Os mesmos pesos, uma ordem de grandeza de variação — percorremos essa escada degrau por degrau em Qual é a precisão do Whisper?

O conjunto de teste também pode esconder uma armadilha diferente: qual modelo foi testado de fato. O benchmark que viralizou em 2026 dizendo que o novo motor da Apple tinha superado o Whisper mediu o Whisper Small — vários tamanhos abaixo dos modelos que os apps no dispositivo realmente rodam. O número da manchete era real; a comparação, não.

Quando “palavra” deixa de funcionar: CER para japonês, chinês e coreano

O WER pressupõe que dá para dividir uma frase em palavras só de olhar. O japonês e o chinês são escritos sem espaços, então “quantas palavras tem esta frase” é, por si só, uma decisão de modelagem — dois tokenizadores dão duas contagens diferentes, e a taxa de erro herda a divergência. Para esses idiomas, as avaliações mudam para a taxa de erro de caracteres (CER): a mesma aritmética de substituição, deleção e inserção, aplicada por caractere em vez de por palavra. O próprio cartão do modelo Whisper Large V3 da OpenAI informa CER em vez de WER para idiomas como japonês, chinês, coreano e tailandês.

O coreano é o caso intermediário instrutivo: tem espaços, mas as partículas se prendem às palavras que acompanham, e variações legítimas de espaçamento mudam as fronteiras das palavras sem mudar o sentido — então uma contagem por palavra pune diferenças que nenhum leitor chamaria de erro, e a contagem por caractere é a escolha mais estável ali também.

O aviso prático: um CER de 5% e um WER de 5% não são a mesma afirmação. Notas por caractere saem numericamente mais baixas do que notas por palavra sobre a mesma saída, porque uma palavra errada geralmente ainda contém vários caracteres certos. Uma tabela de precisão multilíngue que mistura as duas métricas em silêncio — e muitas misturam — não é comparável nem entre as próprias linhas. Isso nos afeta diretamente: o LoroNote transcreve mais de 100 idiomas no dispositivo, e “qual é a precisão no meu idioma” só tem resposta quando se sabe com qual métrica o seu idioma sequer é medido.

Como medir o seu próprio WER em dez minutos

Todo número acima foi medido no áudio de outra pessoa. O teste que responde à sua pergunta roda no seu, e não precisa de mais ferramenta do que um editor de texto:

1. Grave uns dois minutos de áudio representativo. Mesma sala, mesma distância do microfone, mesmo idioma, nomes e jargões de verdade — o teste é tão honesto quanto a amostra.
2. Transcreva com o app que você está avaliando.
3. Decida as suas regras antes de contar. Este é o passo que todo mundo pula, e é o problema da normalização de cima em miniatura: ignore pontuação e maiúsculas, escolha uma convenção para números e decida de antemão se cacoetes de fala contam. Quaisquer regras funcionam — desde que você as fixe antes de olhar o resultado e as mantenha idênticas ao testar um segundo app.
4. Avalie um trecho de 200 palavras. Compare a transcrição com o que foi dito de fato e marque cada substituição, deleção e inserção. Divida por 200. Esse é o seu WER, no único benchmark que sempre foi sobre o seu áudio.
5. Depois, leia os erros. Cinco cacoetes de fala embaralhados e cinco nomes de clientes embaralhados são a mesma nota e dias bem diferentes. Se nomes recorrentes continuam falhando, esse problema específico tem solução específica — o dicionário personalizado do LoroNote existe para os termos que o modelo deve parar de errar.

Como o LoroNote transcreve no dispositivo e os dois primeiros minutos de cada gravação são gratuitos, o experimento inteiro não custa nada e a gravação nunca sai do seu iPhone — sem envio, sem conta, e o modo Avião não muda nada.

Perguntas frequentes

Como se calcula a taxa de erro de palavras?

Some os três tipos de erro — substituições, deleções e inserções — e divida pelo número de palavras realmente faladas: WER = (S + D + I) / N. O N vem da referência (o que foi dito), não da transcrição, e é por isso que inserções em excesso podem empurrar o WER para além de 100%.

O que é um bom WER?

Depende inteiramente do áudio. Em fala limpa, com microfone perto e um só falante, os modelos large modernos chegam a 2–3% de WER, perto do teto prático; em áudio real variado em inglês, de um dígito médio até uns 10% é um resultado forte; em reuniões com microfone distante e cross-talk, até modelos de ponta ficam em torno de 16%. Um “bom” WER é um WER medido em áudio parecido com o seu — um fornecedor citando números de fala limpa para um caso de sala de reunião está respondendo a outra pergunta.

O WER pode passar de 100%?

Pode. Inserções não são limitadas pelo número de palavras faladas, então um modelo que inventa texto — por exemplo, alucinando frases durante um trecho de silêncio — pode acumular mais erros do que a referência tem palavras. Um WER acima de 100% quase sempre sinaliza problema de inserção, não de audição.

Por que duas avaliações informam WERs diferentes para o mesmo modelo?

Por dois motivos, geralmente somados: áudio de teste diferente e normalização de texto diferente. As regras de normalização — como pontuação, maiúsculas, números e contrações são unificados antes da contagem — podem mover sozinhas um número publicado do LibriSpeech em mais de um ponto. Só dois sistemas avaliados na mesma rodada são comparáveis de forma limpa.

O WER é a métrica certa para todos os idiomas?

Não. Para idiomas escritos sem espaços, como o japonês e o chinês, as fronteiras de palavra são ambíguas, e as avaliações usam a taxa de erro de caracteres (CER); o coreano também costuma ser mais bem servido pela contagem por caractere. Valores de CER saem numericamente mais baixos do que os de WER sobre a mesma saída, então as duas métricas nunca devem ser comparadas diretamente.

O WER mede se os falantes foram identificados corretamente?

Não. O WER avalia só as palavras. Atribuir cada fala à pessoa certa é a diarização, uma etapa separada com métrica de erro própria — e uma transcrição pode ter WER baixo atribuindo cada linha ao falante errado. Como funciona a identificação de falantes cobre essa metade do problema.

Considerações finais sobre a taxa de erro de palavras

A taxa de erro de palavras é o número mais útil do reconhecimento de fala e o mais fácil de usar mal. A fórmula é honesta — três tipos de erro sobre as palavras faladas —, mas todo número publicado carrega passageiros silenciosos: o conjunto de teste em que foi medido, o normalizador que preparou o texto e a troca de métrica que acontece quando o idioma deixa de usar espaços. Leia qualquer WER com essas três perguntas ao lado e os números passam a informar de verdade. Melhor ainda: gaste dez minutos medindo um no seu próprio áudio — é o único conjunto de teste que sempre foi sobre você.

Fontes

• OpenAI, Robust Speech Recognition via Large-Scale Weak Supervision — o artigo do Whisper; o Apêndice C cobre o normalizador de texto e seu efeito no WER medido
• OpenAI, cartão do modelo whisper-large-v3 — números por idioma, informados como WER ou CER conforme o idioma
• Open ASR Leaderboard — médias de múltiplos benchmarks em inglês e números de reunião AMI
• Corpus LibriSpeech ASR — a divisão test-clean / test-other
• LoroNote, Qual é a precisão do Whisper? Números reais — os números publicados acima, com as suas condições

Números conferidos de novo nas fontes com link em 26 de agosto de 2026.