전사 정확도를 높이는 녹음법: 효과가 큰 순서로 5가지 (2026)

빠른 결론: 전사 정확도는 대부분 소프트웨어가 돌기 전에 이미 정해집니다. 공개된 측정 결과로 순서를 매기면 이렇습니다. 첫째는 마이크 거리와 녹음 공간입니다. 가까이서 녹음한 음성에서 단어 오류율(WER) 2–3%를 받는 최상급 모델이, 마이크가 멀리 놓인 회의 녹음에서는 약 16%를 받습니다. 오류가 다섯 배로 뛴다는 뜻입니다. 둘째는 화자 겹침입니다. 회의 녹음이 어느 벤치마크에서든 꼴찌인 주된 이유가 이것입니다. 셋째는 소음과 긴 무음입니다. 무음 구간은 음성 모델이 아무도 하지 않은 말을 지어내는 곳입니다. 넷째는 언어와 어휘입니다. 언어에 따라 공개 오류율이 열 배 넘게 벌어집니다. 마지막이 모델 크기인데, 다섯 가지 중 소프트웨어 선택만으로 바꿀 수 있는 것은 이것 하나뿐입니다. 아래에서 항목마다 측정된 수치를 붙여 설명합니다.

이 가이드는 LoroNote 팀이 2026년 8월 27일에 작성했습니다. 본문의 벤치마크 수치는 모두 검증된 전사 통계 페이지(영어)에 정리해 둔 1차 출처에서 가져왔고, 마지막에 나오는 측정 방법은 단어 오류율 가이드의 것입니다. LoroNote는 기기에서 Whisper Large V3 Turbo를 돌리기 때문에 녹음 조건이 좋아지면 우리 제품의 결과물도 좋아집니다. “지금도 충분히 정확하다”라고 말할 이유가 우리에게는 없습니다.

무엇이 정확도를 얼마나 움직이나: 다섯 가지 요인

순서가 중요합니다. 정확도가 아쉬워 앱을 바꿔 보는 사람이 많지만, 그것은 5번을 만지는 일입니다. 정작 오류의 대부분은 1번부터 3번에서 생깁니다.

요인 1. 마이크 거리: 오류를 다섯 배 가르는 조건

정확도를 가장 크게 좌우하는 것은 마이크와 입 사이의 거리입니다. 가장 깔끔한 공개 근거는 같은 모델을 조건만 바꿔 가며 측정한 결과입니다. Whisper Large V3는 다양한 실제 영어 테스트 8종 평균으로 약 7.4%, 가까이서 녹음한 깨끗한 낭독 음성에서는 약 2–3%의 WER을 받습니다. 그런데 회의실에서 멀리 놓인 마이크로 녹음한 AMI 코퍼스에서는 약 16%가 나옵니다. 그 사이에 소프트웨어는 아무것도 바뀌지 않았습니다. 바뀐 것은 오디오뿐입니다.

실제로 할 일은 이렇습니다.

• 장비를 사기 전에 휴대폰부터 옮기세요. 말하는 사람 옆에 놓인 휴대폰이 방 반대편의 비싼 장비보다 낫습니다. 둘이 하는 인터뷰라면 휴대폰을 두 사람 사이에, 목소리가 작은 쪽으로 조금 더 가깝게 두세요.
• 회의에서는 기기를 내 앞이 아니라 테이블 한가운데에 두세요. 가장 멀리 앉은 사람까지의 거리가 1미터 늘어나면, 그 손해는 어떤 앱으로 갈아타도 만회되지 않습니다.
• 혼자 받아쓰기를 한다면 조건은 이미 최상입니다. 팔 뻗을 거리에서 휴대폰에 대고 말하는 것이 바로 근접 녹음이고, 정확도 사다리의 맨 윗단입니다. 그런데도 결과가 계속 부정확하다면 원인은 거리가 아니라 아래 요인들에 있습니다.

요인 2. 화자 겹침

말이 겹치는 것, 즉 교차 발화는 회의 오디오가 벤치마크에서 최하위인 두 번째 이유입니다. 두 사람이 동시에 말하면 애초에 전사할 깨끗한 신호가 없습니다. 모델은 한 목소리를 고를 수밖에 없고, 고르지 않은 쪽의 모든 단어는 그대로 오류가 됩니다. 소프트웨어 문제이기 전에 물리 문제라서, 모델을 아무리 업그레이드해도 사라지지 않습니다.

실제로 할 일은 이렇습니다.

• 설정을 뒤지는 것보다 한 사람씩 말하는 편이 낫습니다. 내가 진행하는 회의라면, 상대의 문장이 끝난 뒤에 말하는 습관 자체가 정확도를 올립니다.
• 중요한 발언자를 마이크 가까이에 앉히세요. 결정권자가 먼 구석에서 웅얼거리면, 전사가 무너지는 곳도 정확히 그 자리입니다.
• 말이 겹친 구간에서는 화자 라벨도 함께 흔들립니다. 누가 말했는지 가려내는 것은 전사와 별개의 단계이고 실패하는 방식도 따로 있습니다. 어디서 깨지는지는 화자 식별의 원리에서 다뤘습니다. 단어를 전부 맞히고도 겹친 구간의 발언자를 엉뚱한 사람에게 붙일 수 있습니다.

요인 3. 소음, 음악, 그리고 무음

일정하게 깔리는 배경 소음은 전사를 서서히 망가뜨립니다. Whisper 논문의 자체 강건성 테스트를 보면, 소음이 신호 대 잡음비(SNR) 약 10dB 선을 넘는 순간부터 인식률이 급격히 떨어집니다. 시끄러운 카페나 술집 정도의 소음인데, 이 구간에서 비교 대상 모델들은 Whisper보다 먼저 무너졌습니다. 음악은 소음보다 더 나쁩니다. 이유가 하나 더 있기 때문입니다. 방대한 웹 오디오로 학습된 음성 모델은 가사가 있는 음악을 수없이 학습했고, 그래서 노래가 들리면 가사를 받아 적으려 듭니다.

무음에는 무음만의 함정이 있습니다. 2024년에 나온 Whisper API 연구는 전사 결과의 약 1%에서 지어낸 구절을 발견했습니다. 지어낸 문장은 오디오가 조용해지는 지점에 몰렸고, 말을 길게 쉬는 사람의 음성에서 특히 많았습니다. 무음에서 생기는 삽입 오류는 단어 오류율이 100%를 넘을 수 있는 이유이기도 합니다.

실제로 할 일은 이렇습니다.

• 좋은 마이크보다 조용한 방을 고르세요. 조용한 방의 휴대폰이 시끄러운 방의 좋은 마이크보다 낫습니다.
• 중요한 녹음에서는 배경 음악을 끄세요. 음악은 목소리를 가리는 소음이자, 동시에 전사 자리를 두고 목소리와 경쟁하는 또 하나의 텍스트입니다.
• 전사 전에 긴 무음 구간을 잘라 내거나, 아예 나눠서 녹음하세요. 무음은 그냥 빈 여백이 아니라 지어낸 텍스트가 생겨나는 자리입니다. 전사문을 읽을 때도 조용했던 대목은 한 번 의심하고 보세요.

요인 4. 언어, 억양, 어휘

같은 Whisper 모델이라도 언어에 따라 공개 수치가 열 배 넘게 벌어집니다. Common Voice 15 기준으로 네덜란드어 4.3%, 알바니아어 55.7%입니다. 억양에 따른 격차도 연구로 확인되어 있습니다. 동료 평가를 거친 2020년 연구는 2019년 당시의 상용 시스템 5종을 측정해, 흑인 미국인 화자에게서 평균 35%, 백인 화자에게서 19%의 오류율을 보고했습니다. 모델이 어떤 데이터로 학습됐는지는 설정으로 바꿀 수 없습니다. 그래도 두 가지는 분명히 내가 할 수 있는 일입니다.

• 이름, 전문용어, 제품명은 가장 먼저 틀리고, 같은 자리에서 계속 틀립니다. 모델은 내 고객의 이름을 본 적이 없으니 매번 같은 오답을 내놓습니다. 정확도 문제 가운데 직접적인 해법이 있는 것은 사실상 이것뿐입니다. LoroNote의 사용자 사전에 반복되는 용어를 한 번 등록해 두면 모델이 그 단어를 더는 추측하지 않습니다.
• 숫자, 이름, 코드는 또박또박 말하세요. 돈이 들지 않는 습관인데, 틀렸을 때 대가가 가장 큰 단어들을 정확히 지켜 줍니다. 벤치마크에서는 날짜가 뭉개지든 추임새가 뭉개지든 똑같이 오류 하나지만, 실제 업무에서는 전혀 다르니까요.
• 내 언어가 공개 차트에서 하위권이라면, 어떤 표보다 내 오디오 2분으로 직접 재 보는 것이 정확합니다. 언어별 차트, 그리고 일부 언어는 WER 대신 CER로 채점되는 이유는 WER 가이드에 있습니다.

요인 5. 모델 크기: 소프트웨어로 바꿀 수 있는 유일한 것

오디오를 상황이 허락하는 만큼 다듬었다면, 남는 것은 앱이 어떤 모델을 돌리느냐입니다. 차이는 결코 작지 않습니다. 두 급을 같은 조건에서 돌린 벤치마크에서 Whisper Small은 LibriSpeech test-clean 3.74%, test-other 7.95%였고, Large급 엔진들은 2%와 4.5% 부근이었습니다. 앱이 대신 정해 버린 모델 크기 하나로 오류가 절반 가까이 갈리는 셈입니다. 앱 소개의 “Whisper 탑재”라는 문구는 정확도가 두 배씩 차이 나는 여러 크기를 한 단어로 뭉뚱그린 표현이고, 실제로 적지 않은 iOS 앱이 작은 모델을 조용히 돌리고 있습니다.

그래서 할 일은 이렇습니다. 정확도 때문에 앱을 바꾸기 전에, 후보 앱이 실제로 어떤 모델을 싣는지 먼저 확인하세요. LoroNote는 Large 계열인 Whisper Large V3 Turbo를 기기에서 돌립니다. iPhone 15 Pro 기준 실시간의 약 19배 속도라(자체 측정), Large급 정확도를 얻자고 커피 한 잔 마실 시간을 기다릴 일도 없습니다.

별로 도움이 안 되는 것들

다들 한 번씩 손대 보지만 근거가 없는 세 가지입니다.

• 샘플레이트를 높여 녹음하기. Whisper는 오디오를 듣기 전에 전부 16,000Hz로 리샘플링합니다. 논문에 명시된 사실입니다. 96kHz 스튜디오 파일도 평범한 음성 메모도 모델 앞에서는 같은 모습입니다. 그 정성은 마이크를 가까이 두고 방을 조용하게 만드는 데 쓰세요.
• 최신 휴대폰으로 바꾸기. 요즘 iPhone에서 병목은 마이크 성능이 아니라 마이크의 위치입니다. 새 휴대폰이 전사를 더 빠르게 해 줄 수는 있지만, 그것은 정확도와는 다른 이야기입니다.
• 전사 전에 “음질 향상” 필터 돌리기. 노이즈를 과하게 걷어 내면 모델이 읽는 배음 구조까지 뭉개질 수 있습니다. 꼭 쓰겠다면 귀에 더 깨끗하게 들린다는 느낌을 믿지 말고, 같은 클립으로 전후 오류 수를 세서 확인하세요. 사람 귀에 깨끗한 것과 모델에게 깨끗한 것은 다릅니다.

느낌이 아니라 숫자로 확인하세요

위의 요인은 전부 10분이면 검증할 수 있습니다. 지금 조건 그대로 2분을 녹음해 전사하고, 미리 정한 규칙대로 200단어 구간의 오류를 셉니다. 그다음 딱 하나만 바꿉니다. 휴대폰을 옮기든, 음악을 끄든. 그리고 같은 지문을 다시 전사합니다. 무엇을 오류로 칠지 미리 정하는 요령까지 포함한 전체 측정법은 WER 가이드에 있습니다. LoroNote는 기기에서 전사하고 모든 녹음의 처음 2분이 무료라서, 이 전후 비교 실험에는 비용이 들지 않습니다. 에어플레인 모드에서도 똑같이 됩니다.

자주 묻는 질문

전사가 왜 이렇게 부정확한가요?

요인을 순서대로 점검해 보세요. 마이크가 말하는 사람에게서 얼마나 멀었는지, 말이 겹치지는 않았는지, 방이 시끄럽거나 녹음에 무음이 길지는 않은지, 틀리는 단어가 주로 이름과 전문용어는 아닌지, 그리고 마지막으로 앱이 어떤 모델을 돌리는지. 공개 벤치마크에서는 마이크 거리 하나만으로 같은 모델의 WER이 약 2–3%에서 약 16%까지 벌어집니다. 앱을 바꿔서 만회할 수 있는 폭이 아닙니다.

외장 마이크를 쓰면 정확도가 좋아지나요?

정확도를 좋게 만드는 것은 거리이고, 외장 마이크는 그 거리를 좁히는 수단 중 하나입니다. 화자 옷깃에 단 라펠 마이크는 큰 방에서도 사실상 근접 녹음입니다. 다만 휴대폰을 가까이 놓는 것만으로 그 효과의 대부분을 공짜로 얻습니다. 위치가 먼저고, 장비는 그다음입니다.

배경 음악이 전사에 영향을 주나요?

두 가지로 줍니다. 우선 다른 소음처럼 목소리를 가립니다. 그리고 가사가 있는 오디오를 잔뜩 학습한 음성 모델은 사람 말 대신 노래 가사를 받아 적으려 들 수 있습니다. 소음이 시끄러운 카페 수준인 SNR 약 10dB 선을 넘으면 인식률 자체도 급격히 떨어집니다. 중요한 녹음이라면 음악을 끄세요.

억양 때문에 생기는 오류를 설정으로 고칠 수 있나요?

설정으로는 안 됩니다. 억양 처리 능력은 모델의 학습 데이터에 달려 있고, 집단에 따른 격차가 실제로 있다는 사실도 연구로 확인되어 있습니다. 내가 할 수 있는 일은 이렇습니다. Large급 모델을 돌리는 앱을 고르고(큰 모델일수록 발음 변이를 더 잘 흡수합니다), 반복되는 이름과 용어를 사용자 사전에 등록하고, 남의 목소리로 잰 평균 대신 내 목소리 2분으로 직접 재 보세요.

녹음이 길어지면 정확도가 떨어지나요?

길이 자체가 정확도를 떨어뜨린다는 근거는 없습니다. 문제는 언제나 조건입니다. 가까이서 조용하게 녹음한 3시간짜리 강의는 처음 10분과 같은 품질로 끝까지 전사됩니다. 길이와 함께 늘어나는 것은 오류를 찾아 고치는 수고이고, 그래서 녹음이 길수록 위의 개선책이 더 중요해집니다.

전사 정확도 높이기, 마무리하며

정확도 조언은 대개 소프트웨어를 가리킵니다. 소프트웨어가 바꾸기 제일 쉬우니까요. 하지만 측정된 근거가 가리키는 방향은 반대입니다. 다섯 배 차이는 마이크 거리와 녹음 공간에서 나오고, 끝내 해결 안 되는 오류는 말 겹침과 무음에서 나오며, 소프트웨어로 바꿀 수 있는 것은 앱이 싣는 모델 크기 하나뿐입니다. 휴대폰을 옮기고, 방을 조용하게 만들고, 한 사람씩 말하고, 자주 나오는 이름을 등록하고, 모델을 확인하세요. 이 순서대로요. 그리고 바꿀 때마다 내 녹음의 전후 오류 수로 효과를 확인하세요. 결국 의미 있는 정확도 숫자는 내 녹음에서 나온 숫자 하나뿐입니다.

출처

• 검증된 AI 전사 통계: 본문 벤치마크 수치의 1차 출처와 확인일을 정리한 페이지(영어)
• OpenAI, Robust Speech Recognition via Large-Scale Weak Supervision: 16,000Hz 리샘플링, 소음 강건성(SNR 약 10dB 아래 급락)
• Open ASR Leaderboard: 혼합 벤치마크 평균과 AMI 회의실 수치
• Koenecke 외, Racial disparities in automated speech recognition (PNAS, 2020): 억양·방언 격차 측정
• Koenecke 외, Careless Whisper: Speech-to-Text Hallucination Harms (2024): 무음 구간의 환각
• Lyonesse, Apple’s New Speech API vs Whisper: Small과 Large급을 같은 조건에서 돌린 벤치마크
• LoroNote, 단어 오류율(WER)이란?: 전후 비교 테스트의 측정 방법

수치는 2026년 8월 26–27일에 링크된 출처와 대조해 다시 확인했습니다.