빠른 결론: 화제가 된 그 벤치마크에서 애플의 새 온디바이스 SpeechAnalyzer가 Whisper를 이긴 것은 맞습니다. LibriSpeech test-clean 기준 단어 오류율 2.12% 대 3.74%였습니다. 문제는 조건입니다. 그 테스트가 상대로 삼은 것은 Whisper Small이었고, 음성은 영어 낭독 오디오북, 기기는 맥이었습니다. 온디바이스 아이폰 앱이 실제로 탑재하는 Whisper Large V3나 Large V3 Turbo는 아예 빠졌고, 회의실 음성도 억양이 강한 발음도 한국어도 측정 대상이 아니었습니다. 애플 엔진이 빠르고 정확하고 무료인 것은 사실입니다. 단, 지원 언어 22개 안에서의 이야기입니다. Whisper가 지원하는 언어는 그 다섯 배쯤 됩니다.
아래 모든 수치는 벤치마크 작성자 본인의 글, OpenAI가 공개한 논문과 모델 카드, Open ASR Leaderboard, 애플 개발자 문서에서 가져왔습니다. 출처는 글 끝에 모두 링크했습니다. 이 글은 LoroNote 팀이 2026년 8월 23일에 작성했습니다. LoroNote는 기기에서 Whisper Large V3 Turbo를 돌리므로 이 비교에 이해관계가 있습니다. 그래서 여기 실린 숫자는 하나도 우리가 잰 것이 아닙니다.
SpeechAnalyzer부터 정리하면
SpeechAnalyzer는 애플이 WWDC 2025에서 공개하고 iOS 26에 넣은 음성 프레임워크입니다. 10년 가까이 iOS 서드파티 받아쓰기를 담당했던 낡은 API인 SFSpeechRecognizer를 대체합니다.
공개된 모듈 중 중요한 것은 둘입니다.
SpeechTranscriber: 음성을 텍스트로 변환합니다.SpeechDetector: 오디오 스트림에서 말소리가 있는 구간을 찾아냅니다.
모든 처리는 기기에서 이뤄집니다. 언어 데이터는 앱이 각자 품고 있는 대신 시스템 자산 카탈로그에서 내려받습니다. 그래서 이 API를 쓰는 앱은 다운로드 용량이 거의 늘지 않습니다. SpeechTranscriber가 다루지 않는 로케일에는 DictationTranscriber가 대체 수단으로 제공됩니다.
대부분의 비교 글이 넘어가는 조건이 하나 있습니다. SpeechAnalyzer는 iOS 26 이상이 필요하고 하위 호환되지 않습니다. iOS 18을 쓰는 아이폰에서는 아예 존재하지 않는 기능입니다.
문제의 벤치마크, 실제 조건
2026년 7월에 여러 매체로 퍼진 수치는 개발자 한 명이 진행한 평가에서 나왔습니다. 실제 측정 조건은 이렇습니다.
| 항목 | 값 |
|---|---|
| 데이터셋 | LibriSpeech, 발화 5,559건(test-clean 2,620, test-other 2,939) |
| 음성 종류 | 낭독 오디오북, 단일 화자, 깨끗한 녹음 |
| 언어 | 영어 단독 |
| 하드웨어 | M2 Pro, 32GB, macOS 26.5.1, 전부 기기 내 처리 |
| 테스트한 Whisper | Tiny, Base, Small |
결과는 다음과 같습니다.
| 엔진 | test-clean WER | test-other WER |
|---|---|---|
| Apple SpeechAnalyzer | 2.12% | 4.56% |
| Whisper Small(약 460MB) | 3.74% | 7.95% |
| Whisper Base(약 140MB) | 5.42% | 12.51% |
| Whisper Tiny(약 40MB) | 7.88% | 17.04% |
| SFSpeechRecognizer(구형) | 9.02% | 16.25% |
이 표에서 짚어둘 것이 둘 있습니다. 애플이 자사 구형 API를 이긴 폭은 대단합니다. 오류가 약 75% 줄었으니, SFSpeechRecognizer 위에 앱을 만들어온 개발자에게는 이쪽이 진짜 뉴스입니다. 그리고 애플이 테스트 대상이던 Whisper 모델을 전부 이긴 것도 사실입니다.
문제는 무엇을 테스트했느냐입니다.
벤치마크가 측정하지 않은 세 가지
1. 온디바이스 앱이 실제로 돌리는 Whisper 모델
Whisper Small은 460MB짜리 모델입니다. 제대로 만든 전사 앱이 요즘 아이폰에 탑재하는 모델이 아닙니다. LoroNote는 Large V3 Turbo를 돌립니다. 파라미터 8억 900만 개에, 속도를 위해 디코더를 32층에서 4층으로 줄인 모델입니다.
이 벤치마크는 Medium과 Large, Turbo에는 손도 대지 않았습니다. 참고로 공개된 다른 평가들은 Whisper Large V3의 LibriSpeech 성적을 test-clean 약 2.0–2.5%, test-other 약 3.9–4.3% 수준으로 봅니다. 애플의 2.12%, 4.56%와 같은 구간이거나 조금 앞섭니다.
다만 이 비교는 조심해서 받아들여야 합니다. 방금 든 Whisper 수치는 각자의 텍스트 정규화 방식을 쓴 별개의 평가에서 나온 것이고, 애플 엔진과 같은 기기에서 맞붙은 결과가 아닙니다. 정규화 방식 차이만으로도 LibriSpeech WER은 1%포인트 넘게 움직입니다. 어떻게 그런 일이 생기는지는 단어 오류율(WER) 가이드에서 설명합니다. 정직한 결론은 “Whisper Large가 이긴다”가 아닙니다. 정작 비교 대상이 되어야 할 Whisper 모델로는 아직 아무도 테스트하지 않았다는 것, 그리고 헤드라인이 암시한 격차는 선택된 모델 크기가 만들어낸 결과라는 것입니다.
2. 스튜디오 오디오북보다 조금이라도 어려운 음성
LibriSpeech는 낭독 음성입니다. 한 사람이 좋은 마이크 앞에서 책을 읽고, 말이 겹치는 일도 없습니다. 사다리의 가장 아래 칸이고, 그래서 어떤 엔진이든 여기서 자기 최고 기록을 냅니다.
실제 녹음은 훨씬 위쪽에 있습니다. Whisper 정확도를 정리한 글에서 봤듯이, 깨끗한 낭독에서 2~3%를 내는 바로 그 Large V3가 실제 영어 벤치마크를 섞으면 평균 7.4%, 마이크가 멀고 화자가 겹치는 AMI 회의실 음성에서는 16% 안팎으로 올라갑니다.
SpeechAnalyzer는 이 위쪽 칸들이 아직 공개된 적이 없습니다. 누군가 측정하기 전까지는, 탁자 한가운데 놓고 녹음한 4인 회의가 어떻게 나올지를 오디오북 2.12%로는 짐작할 수 없습니다. 벤치마크 작성자도 이 점을 분명히 밝혔습니다. 해당 글은 데이터셋을 “회의가 아니라 낭독 오디오북 음성”이라고 설명합니다.
3. 나머지 99개 언어, 그리고 한국어
가장 큰 공백이고, 작성자도 이 점을 직접 짚었습니다. 그 수치는 “Whisper가 지원하는 100개 이상의 언어에 대해 아무것도 말해주지 않는다”는 것입니다.
2026년 8월 기준으로 SpeechTranscriber.supportedLocales는 22개 언어, 42개 로케일을 반환합니다.
한국어, 일본어, 중국어(간체·번체·홍콩), 광둥어, 영어(지역 변종 9개), 스페인어, 프랑스어, 독일어, 이탈리아어, 포르투갈어, 러시아어, 네덜란드어, 아랍어, 히브리어, 튀르키예어, 태국어, 베트남어, 말레이어, 덴마크어, 핀란드어, 노르웨이어(보크몰), 스웨덴어입니다.
Whisper Large V3는 약 100개를 지원합니다. 애플 목록에서 빠진 언어들은 결코 변방이 아닙니다. 힌디어, 폴란드어, 체코어, 그리스어, 우크라이나어, 인도네시아어가 없습니다. 포르투갈어는 pt_BR만 있고 유럽 포르투갈어 로케일은 없습니다.
한국어 사용자에게 중요한 지점은 여기입니다. ko_KR은 애플이 지원하는 22개 언어에 들어 있습니다. 즉 지원 여부는 문제가 아닙니다. 문제는 한국어 정확도에 대해 공개된 수치가 양쪽 모두 없다는 것입니다. 화제가 된 그 벤치마크는 영어만 측정했고, 애플은 언어별 WER을 공개하지 않습니다. 그러니 “애플이 Whisper보다 한국어를 잘 받아쓴다”거나 그 반대라는 주장은, 지금 시점에서는 어느 쪽이든 근거가 없습니다. 2분짜리 본인 녹음이 현재로서 가장 믿을 만한 자료입니다.
애플은 언어를 계속 추가하겠다고 밝혔으므로 이 목록은 언젠가 낡습니다. 다만 “지원한다”와 “똑같이 정확하다”가 다른 이야기인 것은 두 엔진 모두 마찬가지입니다. 그래서 전체 언어 목록은 숫자를 믿기보다 본인 음성으로 확인해 보는 편이 낫습니다.
“3배 빠르다”에 붙는 각주
속도 주장도 정확도만큼 널리 퍼졌고, 각주도 같습니다. Whisper Small을 상대로 측정한 값입니다.
벤치마크가 보고한 것은 M2 Pro에서 실시간 대비 약 12배에서 40배라는 처리량 범위입니다. 1시간짜리 음성을 약 1분 30초에서 5분에 처리하는 속도입니다. 작성자는 유휴 상태에서 다시 측정하기 전까지 모델별 정확한 시간은 일부러 공개하지 않았습니다.
이 범위 자체는 사실이고 애플 엔진은 실제로 빠릅니다. 다만 이는 램 32GB를 단 데스크톱 M 시리즈 칩에서 나온 값이지 휴대폰에서 나온 값이 아닙니다. 아이폰에서 전사 모델의 실질적 제약은 연산량이 아니라 메모리입니다. 이름이 알려진 여러 “Whisper 앱”이 맥 버전에서는 large를 돌리면서 아이폰에서는 조용히 small이나 medium을 싣는 이유이기도 합니다. 쓰고 있는 앱이 궁금하다면 각 iOS 앱이 실제로 탑재하는 모델을 정리해 두었습니다.
어느 쪽이 언제 나은가
둘 중 하나가 전면적으로 낫다는 관계가 아닙니다. 목적이 다릅니다.
Apple SpeechAnalyzer가 나은 경우
- 쓰는 언어가 지원 22개 안에 있을 때, 특히 영어일 때
- 기기가 iOS 26 이상일 때
- 말하는 동안 결과가 갱신되는 실시간 받아쓰기가 필요할 때. 이 API가 원래 그렇게 설계되었습니다
- 모델 다운로드도 비용도 없기를 원할 때
Whisper Large V3 계열이 나은 경우
- 쓰는 언어가 애플 목록 밖이거나, 한 파일 안에서 언어가 섞일 때(한국어와 영어를 오가는 회의 같은 경우)
- 오래된 기기에서도 같은 동작이 필요할 때. Whisper 기반 앱은 iOS 26보다 훨씬 아래에서도 잘 돌아갑니다
- 실시간 발화보다 기존 파일을 전사할 때. 지연 시간보다 정확도가 중요한 상황입니다
- OS 버전과 무관하게 같은 결과가 나오기를 원할 때
어느 쪽에도 공짜는 없습니다. 애플 엔진은 도입하기 쉽고, 무료이고, 자기 범위 안에서는 훌륭합니다. Whisper의 범위는 대략 다섯 배 넓고, Large 계열은 그 넓이를 모델 용량과 처리 시간으로 치릅니다.
아이폰 앱을 고를 때 달라지는 것
실질적인 영향이 둘 있습니다.
첫째, App Store의 “AI 전사”는 이제 최소 세 가지를 뜻합니다. 애플의 온디바이스 SpeechAnalyzer를 호출하는 앱, 자체 Whisper 모델을 기기에서 돌리는 앱, 오디오를 서버로 올리는 앱입니다. 프라이버시, 오프라인 동작, 언어 지원이 전혀 다른데 앱 설명에는 어느 쪽인지 잘 적혀 있지 않습니다. iOS 음성 텍스트 변환 앱 비교에서 오디오가 어디서 처리되는지를 기준으로 정리했습니다.
둘째, 이제 “온디바이스”라는 말만으로는 정확도에 대해 아무것도 알 수 없습니다. 두 경로 모두 온디바이스입니다. 질문이 내 오디오가 어디로 가는가에서 어떤 모델을, 어느 크기로, 어느 언어에서 돌리는가로 옮겨갔습니다.
5분이면 직접 확인할 수 있습니다
벤치마크는 내가 녹음할 일 없는 데이터셋의 평균값입니다. 내 질문에 답해 주는 테스트는 내 음성뿐입니다.
- 평소 녹음하는 그 공간에서 2분을 녹음합니다. 내 마이크, 내 말투로, 이름과 숫자와 전문 용어를 몇 개 넣습니다.
- 아이폰 기본 받아쓰기로 전사합니다(지원 기기의 음성 메모, 또는 애플 엔진을 쓰는 앱).
- 같은 파일을 Whisper 기반 앱으로 전사합니다.
- 200단어 구간에서 오류를 셉니다. 잘못 바뀐 단어, 빠진 단어, 없던 단어를 모두 셉니다. 오류 수 ÷ 200 이 내 WER입니다. (무엇을 오류로 셀지 정하는 기준까지 포함한 전체 방법은 단어 오류율(WER) 가이드에 정리했습니다.)
둘 다 깨끗하게 나오면 더 편한 쪽을 쓰면 됩니다. 차이는 대개 고유명사, 겹치는 발화, 그리고 고자원 언어가 아닌 경우에 드러납니다. 벤치마크가 측정을 멈춘 바로 그 지점입니다.
자주 묻는 질문
Apple SpeechAnalyzer가 Whisper보다 정확한가요?
깨끗한 영어 오디오북에서 Whisper Small과 비교하면 그렇습니다. WER 2.12% 대 3.74%입니다. Whisper Large V3나 Large V3 Turbo와 맞붙은 결과는 아직 공개된 적이 없습니다. 별개의 평가들에서 Large V3는 같은 데이터셋에서 비슷하거나 조금 나은 구간에 있지만, 정규화 방식이 달라 판정이 아니라 대략적인 비교로 봐야 합니다.
한국어는 어느 쪽이 정확한가요?
공개된 수치가 없습니다. 화제가 된 벤치마크는 영어만 측정했고, 애플은 언어별 WER을 발표하지 않습니다. ko_KR은 애플이 지원하는 22개 언어에 포함되므로 지원 자체는 문제가 없습니다. 다만 정확도 비교는 본인 녹음 2분으로 직접 확인하는 것이 현재로서 유일하게 신뢰할 만한 방법입니다.
SpeechAnalyzer는 오프라인에서 작동하나요?
작동합니다. 전부 기기에서 처리하고, 언어 데이터는 시스템 자산 카탈로그에서 한 번 내려받습니다. 이 점에서는 온디바이스 Whisper 앱과 같습니다. 양쪽 모두 오디오를 서버로 보내지 않습니다.
iOS 26이 꼭 필요한가요?
필요합니다. SpeechAnalyzer는 iOS 26 이상을 요구하고 하위 호환되지 않습니다. Whisper 기반 앱은 훨씬 낮은 버전에서도 돌아갑니다. 두 엔진을 함께 놓고 봐야 하는 현실적인 이유 중 하나입니다.
둘 중 하나가 화자를 구분해 주나요?
화자 구분은 전사와 별개의 단계이고, 두 엔진 모두 음성 인식의 일부로 수행하지 않습니다. 앱이 그 위에 따로 얹는 기능입니다. 화자 분리가 어떻게 동작하는지에서 무엇이 필요하고 어디서 무너지는지 다뤘습니다.
LoroNote는 왜 애플 엔진 대신 Whisper를 쓰나요?
언어 범위와 기기 범위 때문입니다. LoroNote는 언어가 섞인 녹음을 포함해 약 100개 언어를 전사하고, iOS 26보다 한참 이전 기기까지 지원합니다. 애플 엔진은 자기 22개 언어 안에서 훌륭하지만 그 넓이를 그대로 대체하지는 못합니다. 모델 선택 이유는 Whisper Large V3 Turbo 가이드에 정리했습니다.
출처
- Apple, Bring advanced speech-to-text to your app with SpeechAnalyzer: 프레임워크를 소개한 WWDC25 세션
- Apple, SpeechTranscriber 문서
- Lyonesse, Apple’s New Speech API vs Whisper: The First Real Benchmark: LibriSpeech 평가의 방법론과 작성자가 밝힌 한계
- OpenAI, Robust Speech Recognition via Large-Scale Weak Supervision: Whisper 논문
- OpenAI, whisper-large-v3 모델 카드, whisper-large-v3-turbo 모델 카드
- Open ASR Leaderboard: 혼합 벤치마크 및 AMI 회의 음성 수치
벤치마크 수치는 2026년 8월 23일에 확인했습니다. 애플의 지원 로케일 목록은 OS 업데이트에 따라 바뀌므로, 의존하기 전에 최신 빌드에서 SpeechTranscriber.supportedLocales를 확인하시기 바랍니다.