ElevenLabs, 오류율 27% 낮춘 Scribe v3 및 실시간 화자 분리 탑재 Scribe v3 Live 출시
ElevenLabs가 102개 언어에서 단어 오류율(WER)을 27% 줄인 배치형 음성 인식 모델 Scribe v3와 실시간 화자 분리 및 문맥 기반 발화 완료 예측을 지원하는 Scribe v3 Live를 공식 출시했습니다.
ElevenLabs가 2026년 11월 11일, 새로운 음성 인식(Speech-to-Text) 모델군인 Scribe v3와 Scribe v3 Live를 공식 출시했습니다. 녹음 파일 변환용 배치(비스트리밍) 모델인 Scribe v3는 기존 Scribe v2보다 102개 언어 전체에서 단어 오류율(WER)을 27% 낮췄고, 실시간 오디오용 저지연 모델인 Scribe v3 Live는 Scribe v2 Realtime 대비 시맨틱 단어 오류율(Semantic WER)을 43% 줄였습니다. 두 모델 모두 ElevenLabs 앱의 기본 모델로 적용되었으며 ElevenAPI와 ElevenAgents에서도 바로 쓸 수 있습니다.

이미지 출처: https://elevenlabs.io/blog/scribe-v3
회의록 작성 도구나 고객센터 음성 에이전트처럼 음성으로 시작하는 서비스는 첫 전사(Transcript)의 정확도가 전체 품질을 좌우합니다. 초기 단계에서 숫자나 고유명사를 잘못 받아적으면 이후 요약이나 자동 응답 단계에서 이를 바로잡는 데 훨씬 큰 비용이 들기 때문입니다. ElevenLabs는 실제 현장에서 여러 사람이 동시에 말을 섞거나, 통화 중 문장 중간에 잠시 멈추고, 모국어가 아닌 언어로 대화하는 상황을 해결하는 데 이번 업데이트의 초점을 맞췄다고 밝혔습니다.
102개 언어 정확도 향상과 배치·실시간 모델의 성능 지표
ElevenLabs는 두 신형 모델을 기존 Scribe v2, Scribe v2 Realtime 및 타사 주요 음성 인식 모델과 동일한 데이터셋으로 비교 평가했습니다. 102개 언어의 다국어 정확도는 짧은 낭독 음성을 다루는 FLEURS 내부 벤치마크로 측정했으며, 모든 언어를 개별 채점한 뒤 동일한 비중으로 평균을 산출했습니다.
- Scribe v3 (녹음 파일용 배치 모델): Scribe v2 대비 102개 언어 전체에서 WER을 27% 줄였으며 테스트된 모든 언어에서 개선을 보였습니다. 독일어는 42%, 스페인어는 35%, 영어는 23% 오류율이 낮아졌고, 스와힐리어(34%), 타밀어(29%), 태국어(28%)처럼 인식이 까다로운 언어군에서도 큰 폭의 개선이 나타났습니다. 3인 이상이 참여하는 다중 화자 녹음에서는 화자 분리(Diarization) 오류율을 Scribe v2보다 17% 줄였습니다(전체 녹음 기준 12% 감소).
- Scribe v3 Live (실시간 스트리밍 모델): 문장이 끝나기 전에 텍스트를 출력하는 스트리밍 특성을 고려해 단순 표기 차이 대신 의미 왜곡 여부를 따지는 시맨틱 WER을 주요 지표로 삼았습니다. 102개 언어 전체에서 Scribe v2 Realtime 대비 시맨틱 WER은 43%, 일반 WER은 31% 감소했습니다. 언어별로는 그리스어 77%, 덴마크어 54%, 크로아티아어 45%, 힌디어 36%의 오류율 개선을 기록했습니다.
다만 평가 방식에 따른 해석상 주의가 필요합니다. FLEURS 벤치마크는 단일 화자 낭독 음성으로 구성되어 있어, 화자 분리 성능은 ElevenLabs가 별도로 구축한 16개 언어 실제 회의·에이전트 통화·음성 메모 데이터셋으로 검증했습니다. 또한 실시간 모델의 화자 분리 평가는 전사 누락 오차를 배제하고 각 단어가 올바른 화자에게 배정되었는지만 측정하기 위해 정답 텍스트와 먼저 정렬한 뒤 점수를 산출했습니다. 이 방식으로 영어 데이터셋에서 Scribe v3 Live는 3.1%의 화자 분리 오류율을 기록해 비교 대상 타사 실시간 모델(5.9%~7.3%)보다 낮았으나, 점수 산출 기준이 다르므로 배치 모델의 화자 분리 오차율 수치와 직접 비교할 수는 없습니다.
실시간 화자 분리와 문맥 기반 발화 완료 예측(Turn Detection)
Scribe v3 Live에는 실시간 음성 인식 모델 최초로 화자 분리 기능이 탑재되었습니다. 실시간 환경에서 누가 어떤 말을 했는지 즉시 구분해 주며, ElevenLabs 자체 비교 기준 차선책 실시간 모델보다 화자 분리 오류율을 39% 낮췄습니다.
대화형 음성 에이전트의 응답 자연스러움을 결정짓는 발화 완료 예측(Turn Detection) 방식도 달라졌습니다. 기존 시스템은 일정 시간 침묵이 이어지면 발화가 끝났다고 판단해, 사용자가 전화번호를 읽거나 문장 중간에 잠깐 숨을 고를 때 말을 끊어버리는 한계가 있었습니다. Scribe v3 Live는 무음 타이머 대신 대화 문맥과 오디오 신호를 함께 분석해 화자가 말을 마쳤는지 예측합니다. ElevenAgents에 이미 적용되었던 이 방식이 이번에 ElevenAPI로도 확장되면서, 통화 중 숫자나 고유명사를 천천히 읊는 상황에서도 불필요한 끼어들기를 줄일 수 있게 되었습니다.
실무 활용을 위한 출력 제어 기능도 보강되었습니다. 두 모델 모두 최대 1,000개의 브랜드명·약어·전문용어를 사전 지정하는 Keyterm prompting과 숫자의 아라비아 숫자·단어 표기 선택, 평문 지시어로 날짜 형식 등을 지정하는 전사 편집 규칙을 지원합니다. Scribe v3 Live에는 문장 중간에 언어가 바뀌는 대화를 처리하는 다국어 모드와 수천 개 규모의 어휘집에서 발화와 일치할 가능성이 있을 때만 조회하는 Keyterm library가 추가되었습니다.
현장 적용 사례와 엔터프라이즈 도입 옵션
실제 음성 에이전트 환경에서의 효과는 네덜란드 에너지 공급업체 Eneco의 사례를 통해 공개되었습니다. 200만 가구 및 기업 이상에 에너지를 공급하는 Eneco는 출시 전 ElevenAgents 환경에서 Scribe v3 Live를 테스트한 결과, 실제 고객 통화에서 네덜란드 우편번호를 첫 시도에 정확히 인식한 비율이 40% 높아졌고 건물 번호(House number) 인식률은 15% 개선되었다고 밝혔습니다.
이러한 수치 개선은 실시간 화자 분리와 문맥 기반 발화 완료 예측이 맞물린 결과로 풀이됩니다. 고객이 주소나 우편번호를 끊어 읽을 때 시스템이 문맥을 파악해 발화를 끝까지 기다려 주고, 배경 소음이나 상담원 음성에서 고객 발화만 정확히 분리해 내면서 초기 본인 확인 단계의 인식 실패율을 낮춘 것입니다.
기존 ElevenAPI 사용자는 코드에서 모델 ID만 scribe_v3 또는 scribe_v3_live로 한 줄 변경하면 바로 전환할 수 있습니다. 의료 분야 팀을 위해 ElevenAgents 내 의료 대화에 최적화된 Scribe v3 Live 버전도 함께 제공됩니다.
import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";
const elevenlabs = new ElevenLabsClient();
const connection = await elevenlabs.speechToText.realtime.connect({
modelId: "scribe_v3_live",
commitStrategy: "turn_prediction",
});
보안 및 데이터 거주지 요건을 갖춘 기업 환경을 위해 기본 미국 리전 외에 EU, 인도, 싱가포르 격리 환경을 지원하며, 요청 완료 즉시 오디오와 텍스트를 삭제하는 Zero Retention Mode를 제공합니다. 두 모델 모두 SOC 2, ISO 27001, PCI DSS Level 1 인증 범위에 포함되며, BAA(Business Associate Agreement) 체결 시 HIPAA 규정 준수 환경과 프라이빗 배포로도 운영할 수 있습니다.
출처
- ElevenLabs 공식 블로그: Introducing Scribe v3 and Scribe v3 Live