온디바이스 AI 전사란? 아이폰이 Whisper를 돌리는 방법 (2026)

빠른 결론: 온디바이스 AI 전사는 음성 인식 모델이 휴대폰의 프로세서 위에서 직접 도는 방식입니다. 녹음이 텍스트가 되는 동안 어디로도 전송되지 않습니다. 그래서 프라이버시가 약속이 아니라 구조입니다. 오디오가 지나갈 업로드 단계 자체가 없고, 에어플레인 모드에서 전사해 보면 누구나 직접 확인할 수 있습니다. 온디바이스라서 덜 정확한 것도 아닙니다. 같은 모델 가중치는 어디서 돌아도 같은 결과를 냅니다. 다만 하드웨어 예산이 생깁니다. 앱이 어떤 크기의 모델을 실을 수 있는지는 연산 속도가 아니라 휴대폰의 메모리가 정하고, 그래서 어떤 앱은 Whisper의 작은 모델을 조용히 싣고 어떤 앱은 Large 계열을 싣습니다. 마이크와 텍스트 사이에서 실제로 벌어지는 일을 순서대로 보겠습니다.

이 글은 LoroNote 팀이 2026년 8월 27일에 작성했습니다. LoroNote는 Whisper Large V3 Turbo를 전부 기기에서 돌리므로, 이 글이 설명하는 것은 곧 우리 제품이 딛고 선 구조입니다. 벤치마크 수치에는 모두 1차 출처를 붙였고 대부분 검증된 전사 통계 페이지(영어)에 정리되어 있습니다. 우리가 직접 잰 수치 하나는 본문에 그렇게 표시했습니다.

‘온디바이스’가 실제로 뜻하는 것

어떤 전사 서비스든 하는 일은 같습니다. 다른 것은 모델이 어디에 있느냐입니다.

중요한 것은 마지막 두 줄입니다. 오프라인 동작은 온디바이스 전사에 얹은 기능이 아니라 구조의 부산물입니다. 파이프라인 어디에도 네트워크가 필요한 단계가 없기 때문입니다. 프라이버시도 같은 원리로 성립합니다. 업로드된 적 없는 오디오는 보관될 수도, 유출될 수도, 업체가 들여다볼 수도 없습니다. 업체가 자제하겠다고 약속해서가 아니라, 자제할 사본 자체가 없기 때문입니다. 이것은 법적 보증이 아니라 구조에 대한 서술이고, 그 구조는 에어플레인 모드에서 직접 확인할 수 있습니다.

파이프라인: 마이크와 텍스트 사이의 네 단계

OpenAI Whisper 같은 요즘 음성 모델은 오디오를 몇 개의 구체적인 단계로 처리하고, 온디바이스 앱에서는 이 전부가 기기 안에서 돌아갑니다.

1. 리샘플링. 오디오를 16,000Hz로 변환합니다. 논문에 학습 오디오를 모두 이 값으로 리샘플링한다고 명시되어 있어서, 그보다 높은 샘플레이트는 모델이 듣기도 전에 버려집니다. 스튜디오급 샘플레이트로 녹음해도 정확도가 좋아지지 않는 이유가 여기에 있습니다.
2. 스펙트로그램. 파형을 멜 스펙트로그램으로 바꿉니다. Whisper 논문 기준으로 25밀리초 구간을 10밀리초씩 밀며 계산한 로그 스케일 표현입니다. 모델은 ‘소리’를 듣는 것이 아니라, 시간에 따라 어느 주파수에 에너지가 실렸는지를 담은 이미지 같은 지도를 읽습니다.
3. 인코딩. Transformer 인코더가 스펙트로그램을 소화해 ‘음향적으로 무슨 말이 있었는지’의 내부 표현으로 바꿉니다.
4. 디코딩. Transformer 디코더가 오디오 표현과 지금까지 쓴 텍스트를 함께 보며 전사문을 토큰 단위로 써 내려갑니다. Whisper의 문장이 매끄럽게 읽히는 이유이자, 무음 위에 유창한 텍스트를 지어내기도 하는 이유입니다.

이 네 단계 중 어느 것도 자기가 어디서 도는지 신경 쓰지 않습니다. 서버 GPU든 휴대폰이든 같은 가중치로 같은 수학을 수행합니다. 휴대폰 칩이 충분히 좋아지자 온디바이스 전사가 가능해진 이유가 바로 이것입니다.

하드웨어: Neural Engine이 하는 일

휴대폰 칩이 CPU만 있는 물건이던 시절은 오래전에 끝났습니다. 애플 A 시리즈 칩에는 CPU, GPU와 나란히 신경망 연산 전용 블록인 Neural Engine이 들어 있고, 애플은 iPhone 15 Pro 발표에서 A17 Pro의 Neural Engine이 전작보다 최대 2배 빠르다고 밝혔습니다. 실제 출시되는 전사 앱들은 이 하드웨어가 인코더와 디코더를 효율적으로 돌릴 수 있도록 모델을 애플의 Core ML 형식으로 변환해 싣습니다.

그런데 실무에서 발목을 잡는 것은 칩의 연산 속도가 아니라 모델이 메모리에 들어가느냐입니다. OpenAI가 공개한 표를 보면 걸린 판이 얼마나 큰지 감이 옵니다(파라미터 수와 참고용 메모리, 서버 GPU 기준 측정치입니다).

이 표에는 정직하게 붙여야 할 단서가 둘 있습니다. 메모리와 속도 열은 OpenAI가 GPU 추론 기준으로 잰 참고치입니다. 휴대폰에는 별도의 VRAM이 없고, 실제 앱들은 모델을 Core ML용으로 양자화해서 싣기 때문에 사용량도 속도도 달라집니다. 그러니 이 표는 특정 앱의 사양표가 아니라 크기들 사이의 관계로 읽어야 합니다. 그런데 바로 그 관계가 핵심입니다. 작은 모델은 휴대폰에 쉽게 들어가지만 Large 계열은 상당한 엔지니어링 없이는 들어가지 않고, 그래서 이름 있는 iOS 앱 중에도 작은 모델을 조용히 싣는 앱이 여럿입니다. Whisper Large V3 Turbo는 디코더를 32층에서 4층으로 줄인 8억 900만 파라미터짜리 모델로, Large급 정확도를 이 예산 안에 밀어 넣기 위해 존재합니다. LoroNote가 이 모델을 고른 이유는 따로 정리해 두었습니다.

온디바이스라서 정확도가 떨어지지는 않나요?

떨어지지 않습니다. 이것이 온디바이스 전사를 둘러싼 가장 끈질긴 오해입니다. 모델 가중치는 결정론적인 수학입니다. 같은 크기의 모델은 휴대폰에서 돌든 서버에서 돌든 같은 품질의 전사문을 냅니다. 온디바이스는 축소판 모드가 아닙니다.

앱마다 달라지는 것은 어떤 크기를 싣느냐이고, 그 차이는 큽니다. 공개된 수치 기준으로 Whisper의 작은 모델들은 같은 벤치마크에서 Large급의 약 두 배에 이르는 오류율을 보입니다. 그러니 정확도 질문은 처음부터 “클라우드냐 기기냐”가 아니었습니다. 앱 하나하나에 “어떤 모델이냐”를 물어야 합니다. 깨끗한 낭독 음성부터 회의실까지의 실측 수치는 Whisper는 얼마나 정확할까?에 있습니다.

실제 속도는 어느 정도인가요?

여기 나오는 수치 하나는 우리 것이라서 그렇게 표시합니다. iPhone 15 Pro에서 LoroNote는 실시간의 약 19배 속도로 전사합니다. 1시간짜리 녹음이 3분 정도면 텍스트가 되고, 전부 기기 안에서 끝납니다(LoroNote 자체 측정, 2026-08-13). 다른 온디바이스 엔진의 참고치로, 애플 iOS 26 SpeechAnalyzer 벤치마크는 데스크톱 M2 Pro에서 실시간의 약 12–40배 처리량을 보고했습니다. 그 벤치마크가 무엇을 재고 무엇을 재지 않았는지는 따로 짚어 두었습니다.

온디바이스 속도에는 클라우드 속도에 없는 성질이 하나 있습니다. 온전히 내 것이라는 점입니다. 대기열도, 속도 제한도, 분당 과금도 없습니다. 1시간을 더 전사하는 한계 비용은 요금이 아니라 배터리입니다.

온디바이스가 정말로 못 하는 것

정직한 정의에는 한계도 들어가야 합니다.

• 모델은 앱이 업데이트될 때만 좋아집니다. 클라우드 업체는 서버에서 하룻밤 새 더 나은 모델로 갈아탈 수 있지만, 온디바이스 앱은 모델을 앱 안에 담아 배포합니다. 개선은 앱 업데이트와 함께, 눈에 보이게 도착합니다.
• 대량 일괄 작업은 여전히 큰 하드웨어가 빠릅니다. 연구 자료 수백 시간을 전사하는 일이라면 어떤 휴대폰보다 데스크톱 GPU나 유료 클라우드 큐가 빠릅니다.
• 본질적으로 여럿이 쓰는 기능에는 서버가 필요합니다. 통화 중에 열 명이 함께 보며 고치는 실시간 공유 전사는 전사가 아니라 협업의 문제입니다. 클라우드가 여전히 맞는 경우는 오프라인 전사 가이드에 정리되어 있습니다.
• 오래 돌리면 배터리를 씁니다. 전사는 상시 돌아가는 작업이 아니라 녹음 하나당 한 번 하는 작업이지만, 긴 파일은 칩 입장에서 진짜 노동입니다. 3시간짜리를 몰아서 돌릴 때는 충전기를 꽂아 두는 편이 낫습니다.

이 한계들 중 어느 것도 핵심 거래를 바꾸지는 않습니다. 회의, 강의, 인터뷰, 메모 같은 개인 녹음이라면, 이미 가진 하드웨어 위에서, 내가 고른 모델의 정확도로, 아무것도 기기 밖으로 내보내지 않고 작업이 끝납니다.

자주 묻는 질문

온디바이스 전사는 정말 프라이버시가 지켜지나요?

이 방식의 프라이버시는 구조에서 나옵니다. 파이프라인에 업로드 단계가 없으니 보관되거나 유출될 오디오 사본이 어디에도 생기지 않습니다. 구조는 직접 확인할 수 있습니다. 에어플레인 모드를 켜고 전사해 보면 됩니다. 그 사실이 각자의 비밀 유지 의무에 어떤 의미인지는 본인이 판단할 일이고, 기술적으로 확실한 것은 오디오가 휴대폰을 떠나지 않는다는 점입니다.

온디바이스 전사는 오프라인에서도 되나요?

됩니다. 구조상 당연한 결과입니다. 모델은 앱과 함께 한 번 내려받고, 그 뒤로는 지하에서든 비행기에서든 에어플레인 모드에서든 녹음과 전사가 똑같이 됩니다.

온디바이스 전사는 클라우드보다 부정확한가요?

도는 위치 때문에 부정확해지지는 않습니다. 같은 가중치는 어디서든 같은 품질을 냅니다. 앱 사이의 정확도 차이는 각 앱이 싣는 모델 크기에서 나오고, 작은 모델을 고르게 만드는 압력이 바로 휴대폰의 메모리입니다. 확인할 것은 장소가 아니라 모델입니다.

왜 어떤 아이폰 앱은 작은 Whisper 모델을 돌리나요?

메모리 때문입니다. OpenAI의 참고 표는 3,900만에서 15억 5,000만 파라미터까지 걸쳐 있고, 큰 모델은 휴대폰 사정을 따지기 전에도 수 기가바이트를 요구합니다. Large 계열을 휴대폰에 넣으려면 양자화, Core ML 변환, Turbo의 4층 디코더 같은 속도 최적화 구조까지 작정한 엔지니어링이 필요한데, 모든 앱이 거기에 투자하지는 않습니다.

애플 기본 받아쓰기도 온디바이스 AI 전사인가요?

점점 그렇게 되고 있습니다. 애플의 iOS 26 SpeechAnalyzer는 온디바이스 Whisper 앱처럼 전부 기기에서 돕니다. 차이는 범위와 조건입니다. 2026년 8월 기준 애플 엔진의 지원 언어는 22개, Whisper는 약 100개이고, SpeechAnalyzer는 iOS 26이 필요합니다. 두 엔진의 비교는 따로 정리해 두었습니다.

온디바이스 전사는 배터리를 많이 쓰나요?

전사는 배경에서 계속 도는 작업이 아니라 실행할 때 한 번 몰아서 하는 계산입니다. 짧은 녹음이면 체감하기 어렵고, 몇 시간짜리를 연달아 돌릴 때는 다른 무거운 작업처럼 충전하면서 하는 것이 좋습니다.

온디바이스 AI 전사, 마무리하며

온디바이스 AI 전사는 클라우드 서비스의 열화판이 아니라, 같은 수학을 이미 내 손에 있는 칩에서 실행하는 방식입니다. 기억할 정의는 세 부분입니다. 오디오에는 지나갈 업로드 단계가 없고(에어플레인 모드로 확인 가능), 정확도는 장소가 아니라 모델 크기의 속성이며, 앱이 어떤 크기를 실을 수 있는지는 칩의 속도가 아니라 메모리가 정합니다. 온디바이스 앱을 고를 때는 마지막 질문 하나를 던지세요. 마케팅이 끝내 답하지 않는 질문, “그래서 어떤 모델을 싣고 있습니까?”입니다.

출처

• OpenAI, Whisper 저장소: 모델 크기 표(파라미터, 참고 메모리, A100 GPU 기준 상대 속도)
• OpenAI, Robust Speech Recognition via Large-Scale Weak Supervision: 16,000Hz 리샘플링, 멜 스펙트로그램 전처리, 인코더-디코더 구조
• Apple, iPhone 15 Pro 발표문: A17 Pro Neural Engine “최대 2배” 문구
• Lyonesse, Apple’s New Speech API vs Whisper: SpeechAnalyzer 처리량 범위와 단서
• LoroNote, AI 전사 통계: 1차 출처와 확인일이 붙은 정확도 수치 모음(영어)

수치는 2026년 8월 27일에 링크된 출처와 대조해 다시 확인했습니다.