단어 오류율(WER)이란? 전사 정확도는 이렇게 측정합니다 (2026)

빠른 결론: 단어 오류율(WER, Word Error Rate)은 전사 정확도를 재는 표준 잣대입니다. 전사가 틀리는 세 가지 방식, 즉 다른 단어로 바뀐 것(치환), 빠진 것(삭제), 없던 것이 생긴 것(삽입)을 모두 더해 실제 발화된 단어 수로 나눕니다. WER 10%는 대략 열 단어 중 하나가 틀렸다는 뜻입니다. 이 정의에는 세 가지 반전이 숨어 있습니다. WER은 100%를 넘을 수 있고, 같은 전사문이 채점 전 텍스트를 어떻게 정규화했는지에 따라 다른 점수를 받을 수 있고, 어떤 오디오로 측정했는지 모르면 숫자 자체가 무의미합니다. 그리고 일본어나 중국어처럼 띄어쓰기 없이 적는 언어에서는 업계가 문자 오류율(CER)이라는 다른 지표로 갈아탑니다. 한국어도 사실상 그쪽에 가깝습니다.

이 글은 LoroNote 팀이 2026년 8월 26일에 작성했습니다. LoroNote는 기기에서 Whisper Large V3 Turbo를 돌리므로 WER 수치는 우리가 무엇을 만들고 무엇을 주장할지를 결정합니다. 그래서 아래 모든 수치는 OpenAI가 공개한 논문과 모델 카드, 공개된 Open ASR Leaderboard에서 가져왔고 출처는 글 끝에 전부 링크했습니다. 우리가 직접 잰 수치는 하나도 없습니다.

공식부터: 전사가 틀리는 세 가지 방식

WER은 두 텍스트를 비교합니다. 정답 텍스트(실제로 말한 내용을 사람이 꼼꼼히 받아 적은 것)와 가설 텍스트(기계가 내놓은 전사문)입니다. 둘 사이의 모든 차이는 세 범주 중 하나에 들어갑니다.

• 치환(S): 한 단어가 다른 단어로 바뀜
• 삭제(D): 발화된 단어가 전사문에서 빠짐
• 삽입(I): 아무도 말하지 않은 단어가 전사문에 들어감

점수는 세 오류의 합을 정답 텍스트의 단어 수로 나눈 값입니다.

WER = (S + D + I) / N. 여기서 N은 실제 발화된 단어 수입니다. 전사문의 단어 수가 아닙니다.

예를 들어 보겠습니다(영어 예시입니다. 한국어 예시가 왜 더 까다로운지는 아래 CER 절에서 다룹니다). 누군가 “send the report to Priya by Friday morning”이라고 말했습니다. 8단어입니다. 전사문에는 “send a report to Prisha by Friday”라고 적혔습니다. 치환 2개(the가 a로, Priya가 Prisha로), 삭제 1개(morning)로 오류는 총 3개, 8단어 대비 WER 37.5%입니다. 이 예시가 슬쩍 품고 있는 문제를 보세요. 실제로 대가를 치르게 될 오류는 뭉개진 이름인데, 그것이 the가 a로 바뀐 것과 정확히 똑같이 하나로 계산됩니다. 이 문제는 아래에서 다시 다룹니다.

WER이 100%를 넘을 수 있는 이유

치환과 삭제는 정답 텍스트의 길이가 상한입니다. 말한 것보다 많은 단어를 빠뜨릴 수는 없습니다. 삽입은 상한이 없습니다. 생성형 음성 모델은 거의 무음에 가까운 구간을 받으면 문장을 통째로 지어낼 수 있고, 지어낸 단어 하나하나가 거의 0에 가까운 N을 상대로 삽입 오류로 계산됩니다. 그렇게 WER이 100%를 넘어갑니다. 계산이 잘못된 것이 아니라 공식이 설계된 대로 작동한 결과입니다. 무음, 소음, 음악 구간에서 나타나는 Whisper의 환각이 평균 WER에서 차지하는 비중보다 더 중요한 이유이기도 합니다. 아키텍처가 다른 두 모델이 바로 이 지점에서 어떻게 갈리는지는 Parakeet V3 vs Whisper Large V3에서 비교했습니다.

WER과 “정확도 99%”

업체들은 단어 오류율을 광고에 쓰는 일이 드뭅니다. 대신 정확도를 내겁니다. 환산은 간단합니다. 정확도는 대략 100%에서 WER을 뺀 값입니다. 그런데 이 프레임이 조용히 하는 일이 있습니다. “정확도 99%”는 제품의 고유한 속성처럼 들립니다. 하지만 WER은 언제나 특정 테스트 세트 위에서의 제품만을 설명하고, 정확도 배너에는 그 테스트 세트가 거의 적혀 있지 않습니다. 깨끗하게 가까이서 녹음한 낭독 음성에서 97%를 받는 엔진이, 소프트웨어는 아무것도 바뀌지 않은 채 원거리 마이크 회의에서 84%를 받을 수 있습니다. 테스트 세트를 붙이지 않은 정밀한 정확도 주장은 평가 결과가 아니라 광고 문안에 가깝습니다.

경험칙은 이렇습니다. 정확도 퍼센트를 만나면 100에서 빼 보고 “어떤 오디오에서?”라고 물어보세요. 답이 공개되어 있지 않다면 그 숫자는 무엇과도 비교할 수 없습니다. 같은 업체의 작년 숫자와도요.

오류마다 무게가 다른데, WER은 똑같이 셉니다

WER은 의도적으로 평등합니다. 빠진 추임새 하나와 잘못 적힌 약 이름 하나가 각각 한 번으로 계산됩니다. 이 중립성 덕분에 지표가 객관적이고 시스템 간 비교가 가능해집니다. 동시에 이것이 가장 잘 알려진 한계이기도 합니다. 추임새 다섯 개가 뭉개진 전사문과 고객 이름 다섯 개가 뭉개진 전사문은 WER이 같지만 결과는 전혀 다릅니다.

평가팀들은 키워드 가중 지표나 개체명 오류율로 이를 보완하기도 하지만, 논문에서든 리더보드에서든 마케팅에서든 앞에 내걸리는 수치는 거의 언제나 순수한 WER입니다. 전사 도구를 고르는 사람에게 실질적인 교훈은 하나입니다. 테스트가 끝나면 개수에서 멈추지 말고 실제 오류를 읽어 보세요. 오류가 몇 개인지보다 어디에 떨어졌는지가 더 중요합니다.

정규화: 같은 모델이 두 가지 점수를 받는 이유

무엇이든 세기 전에, 정답 텍스트와 가설 텍스트 모두 정규화를 거칩니다. 소문자로 통일하고, 문장부호를 걷어내고, 숫자와 축약형과 철자를 하나로 맞춥니다. “twenty six”는 “26”에 대해 오류일까요? “it’s”는 “it is”에 대해 오류일까요? “colour”는 “color”에 대해 오류일까요? 모든 평가는 이 질문들에 각자의 규칙으로 답하고, 그 규칙이 점수를 움직입니다.

OpenAI는 이 문제를 중요하게 여겨 Whisper와 함께 전용 텍스트 정규화기를 배포했고, Whisper 논문의 부록 하나를 정규화 선택이 측정된 WER을 어떻게 바꾸는지에 할애했습니다. LibriSpeech 같은 벤치마크에서는 정규화 차이만으로 공개 수치가 1%포인트 넘게 움직일 수 있습니다. 많은 비교 기사가 찾아냈다고 주장하는 격차와 대략 같은 크기입니다.

이 블로그에서 계속 반복해 온 주의사항, 가장 최근에는 Apple SpeechAnalyzer 비교에서 강조한 그 주의사항의 근거가 바로 이것입니다. 따로따로 발표된 두 평가의 WER 수치는 대략적인 맥락이지 판정이 아닙니다. 깨끗한 비교는 하나뿐입니다. 같은 오디오, 같은 정규화기로, 같은 평가 안에서 채점된 두 시스템입니다.

테스트 세트 없는 WER은 아무 의미가 없습니다

가장 많이 인용되는 음성 벤치마크인 LibriSpeech는 퍼블릭 도메인 오디오북으로 만들어졌고, 이름이 모든 것을 말해 주는 두 부분으로 나뉩니다. test-clean(깨끗한 녹음, 알아듣기 쉬운 화자)과 test-other(그보다 어려운 나머지)입니다. 한 코퍼스 안의 두 조건인데, 모든 모델이 둘째 쪽에서 눈에 띄게 나쁜 점수를 받습니다. 이 구조가 WER의 교훈 전체를 축약해 보여 줍니다. 오디오가 숫자의 일부라는 것입니다.

Whisper large 모델들의 공개 수치는 같은 사실을 전체 규모로 보여 줍니다. 깨끗한 단일 화자 낭독 음성에서 약 2–3%. Open ASR Leaderboard의 다양한 실제 영어 테스트 8종 평균으로 약 7.4%. 원거리 마이크에 화자가 겹치는 회의 녹음에서 약 16%. 힌디어 같은 저자원 언어에서는 공개 수치가 27% 부근입니다. 같은 가중치인데 수치는 한 자릿수에서 수십 퍼센트까지 벌어집니다. 이 사다리는 Whisper는 얼마나 정확할까?에서 한 단씩 짚었습니다.

테스트 세트는 또 다른 함정도 숨길 수 있습니다. 정확히 어떤 모델을 테스트했는가입니다. 2026년에 애플의 새 엔진이 Whisper를 이겼다며 화제가 된 벤치마크는 Whisper Small을 측정한 것이었습니다. 온디바이스 앱이 실제로 돌리는 모델보다 몇 단계 작은 크기입니다. 헤드라인의 숫자는 진짜였지만, 비교는 아니었습니다.

‘단어’가 통하지 않을 때: 한국어와 CER

WER은 문장을 눈으로 보고 단어 단위로 자를 수 있다고 가정합니다. 일본어와 중국어는 띄어쓰기 없이 적기 때문에 “이 문장은 몇 단어인가” 자체가 하나의 모델링 결정이 됩니다. 토크나이저 두 개는 두 가지 답을 내놓고, 오류율이 그 불일치를 그대로 물려받습니다. 그래서 이런 언어의 평가는 문자 오류율(CER, Character Error Rate)로 갈아탑니다. 치환·삭제·삽입이라는 같은 산수를 단어가 아니라 문자 단위로 적용하는 것입니다. OpenAI의 Whisper Large V3 모델 카드도 일본어, 중국어, 한국어, 태국어 등에는 WER 대신 CER을 보고합니다.

한국어는 그중에서도 교훈적인 중간 사례입니다. 띄어쓰기는 있지만 조사가 앞말에 붙고, 보조 용언처럼 띄어 써도 붙여 써도 되는 표기가 곳곳에 있습니다. 뜻은 하나도 바뀌지 않았는데 띄어쓰기 선택 하나로 단어 수가 달라지니, 단어 단위 채점은 어떤 독자도 오류라고 부르지 않을 차이까지 벌점으로 셉니다. 그래서 한국어 역시 문자 단위 채점이 더 안정적인 선택입니다.

실용적인 경고는 이것입니다. CER 5%와 WER 5%는 같은 주장이 아닙니다. 틀린 단어 하나에도 맞는 문자가 보통 여럿 들어 있기 때문에, 같은 출력을 문자 단위로 채점하면 단어 단위보다 수치가 낮게 나옵니다. 두 지표를 조용히 섞어 놓은 다국어 정확도 표는(그런 표가 많습니다) 자기 행끼리도 비교할 수 없습니다. 이것은 우리와 직접 관련된 문제입니다. LoroNote는 100개 이상의 언어를 기기에서 전사하는데, “내 언어에서는 얼마나 정확한가”라는 질문은 내 언어가 어떤 지표로 측정되는지부터 알아야 답할 수 있습니다.

10분 만에 내 WER을 직접 측정하는 방법

위의 모든 숫자는 남의 오디오에서 측정된 것입니다. 내 질문에 답해 주는 테스트는 내 오디오 위에서 돌아가고, 텍스트 편집기 말고는 아무 도구도 필요 없습니다.

1. 실제 사용과 닮은 2분 정도를 녹음합니다. 같은 방, 같은 마이크 거리, 같은 언어로, 실제 이름과 전문 용어를 넣어서요. 표본이 정직해야 테스트도 정직해집니다.
2. 평가하려는 앱으로 전사합니다.
3. 세기 전에 규칙부터 정합니다. 모두가 건너뛰는 단계이고, 위에서 본 정규화 문제의 축소판입니다. 문장부호와 대소문자는 무시하고, 숫자 표기는 한 가지로 통일하고, 추임새를 셀지 말지 미리 정하세요. 규칙은 무엇이든 괜찮습니다. 출력을 보기 전에 확정하고, 두 번째 앱을 테스트할 때 똑같이 유지하기만 하면 됩니다.
4. 200단어 구간을 채점합니다. 실제로 말한 내용과 전사문을 대조해 치환, 삭제, 삽입을 전부 세고 200으로 나눕니다. 그것이 처음부터 내 오디오에 관한 것이었던 유일한 벤치마크 위에서의 내 WER입니다.
5. 그다음 오류를 읽습니다. 뭉개진 추임새 다섯 개와 뭉개진 고객 이름 다섯 개는 점수는 같아도 하루가 완전히 다릅니다. 반복되는 이름이 계속 틀린다면 그 특정 문제에는 특정한 해법이 있습니다. LoroNote의 사용자 사전은 모델이 더는 틀리면 안 되는 용어를 위해 존재합니다.

LoroNote는 기기에서 전사하고 모든 녹음의 처음 2분이 무료라서, 이 실험 전체에 비용이 들지 않고 녹음은 iPhone을 떠나지 않습니다. 업로드도 계정도 없고, 에어플레인 모드여도 달라지는 것이 없습니다.

자주 묻는 질문

단어 오류율은 어떻게 계산하나요?

세 가지 오류 유형인 치환, 삭제, 삽입을 모두 더해 실제 발화된 단어 수로 나눕니다. WER = (S + D + I) / N입니다. N은 전사문이 아니라 정답 텍스트(실제로 말한 내용)의 단어 수에서 나옵니다. 삽입이 많으면 WER이 100%를 넘을 수 있는 이유가 바로 이것입니다.

좋은 단어 오류율은 몇 %인가요?

전적으로 오디오에 달려 있습니다. 깨끗하고 가까이서 녹음한 단일 화자 음성이라면 최신 large 모델들은 실질적 상한에 가까운 WER 2–3%에 도달합니다. 다양한 실제 영어 오디오 전반에서는 한 자릿수 중반에서 10% 안팎이면 강한 성적입니다. 원거리 마이크에 교차 발화가 있는 회의라면 플래그십 모델도 16% 부근입니다. ‘좋은’ WER이란 내 오디오와 닮은 오디오에서 측정된 WER입니다. 회의실 용도에 깨끗한 낭독 음성 수치를 인용하는 업체는 다른 질문에 답하고 있는 것입니다.

단어 오류율이 100%를 넘을 수 있나요?

넘을 수 있습니다. 삽입은 발화된 단어 수의 제한을 받지 않기 때문에, 무음 구간에서 문장을 지어내는 식으로 텍스트를 만들어 내는 모델은 정답 텍스트의 단어 수보다 많은 오류를 쌓을 수 있습니다. 100%를 넘는 WER은 잘못 들은 것보다 삽입 문제를 가리키는 신호인 경우가 대부분입니다.

같은 모델인데 평가마다 WER이 다른 이유는 뭔가요?

보통 두 가지가 겹칩니다. 테스트 오디오가 다르고, 텍스트 정규화가 다릅니다. 문장부호, 대소문자, 숫자, 축약형을 세기 전에 어떻게 통일하는지에 대한 규칙만으로도 공개된 LibriSpeech 수치가 1%포인트 넘게 움직일 수 있습니다. 깨끗하게 비교할 수 있는 것은 같은 평가 안에서 채점된 두 시스템뿐입니다.

WER은 모든 언어에 맞는 지표인가요?

아닙니다. 일본어와 중국어처럼 띄어쓰기 없이 적는 언어는 단어 경계가 모호해서 평가에 문자 오류율(CER)을 씁니다. 한국어도 조사와 띄어쓰기 변이 때문에 문자 단위 채점이 대체로 더 안정적입니다. CER은 같은 출력에서 WER보다 수치가 낮게 나오므로 두 지표를 직접 비교해서는 안 됩니다.

WER은 화자를 제대로 구분했는지도 측정하나요?

아닙니다. WER은 단어만 채점합니다. 단어를 맞는 사람에게 귀속시키는 것은 화자 분리라는 별개의 단계이고, 고유한 오류 지표가 따로 있습니다. WER이 낮은 전사문이 모든 발언을 엉뚱한 화자에게 붙여 놓을 수도 있습니다. 화자 식별의 원리가 그 나머지 절반을 다룹니다.

단어 오류율, 마무리하며

단어 오류율은 음성 인식에서 가장 유용한 숫자이자 가장 오용하기 쉬운 숫자입니다. 공식 자체는 정직합니다. 세 가지 오류를 발화된 단어 수로 나눈 것뿐입니다. 하지만 공개된 모든 수치에는 조용한 동승자가 타고 있습니다. 측정에 쓰인 테스트 세트, 텍스트를 손질한 정규화기, 그리고 언어가 띄어쓰기를 버리는 순간 일어나는 지표 교체입니다. 어떤 WER이든 이 세 가지 질문을 붙여서 읽으면 숫자가 진짜 정보가 됩니다. 더 좋은 방법은 10분을 들여 내 오디오에서 하나를 직접 측정하는 것입니다. 처음부터 나에 관한 것이었던 유일한 테스트 세트입니다.

출처

• OpenAI, Robust Speech Recognition via Large-Scale Weak Supervision: Whisper 논문. 부록 C가 텍스트 정규화기와 그것이 측정된 WER에 미치는 영향을 다룹니다
• OpenAI, whisper-large-v3 모델 카드: 언어별 수치. 언어에 따라 WER 또는 CER로 보고됩니다
• Open ASR Leaderboard: 다중 벤치마크 영어 평균과 AMI 회의 음성 수치
• LibriSpeech ASR corpus: test-clean / test-other 분할
• LoroNote, Whisper는 얼마나 정확할까? 실제 수치로 보기: 위 공개 수치들을 측정 조건과 함께 정리한 글

수치는 2026년 8월 26일에 링크된 출처와 대조해 다시 확인했습니다.