Zyphra, 별도 학습 없이 43개 언어 복제하는 오픈웨이트 TTS 'ZONOS3-Mini' 공개
Zyphra가 짧은 음성 샘플만으로 43개 언어를 실시간으로 복제하는 Apache 2.0 오픈웨이트 텍스트 음성 변환 모델 'ZONOS3-Mini'를 공개했습니다. Pixel 9 모바일 브라우저에서 첫 음성 지연 570ms 미만으로 구동되며, 서버 비용 없이 웹게임과 숏폼 더빙에 활용할

이미지 출처: https://fervorcreativeai.com/briefings/2026-11-17-0511
인공지능(AI) 음성 기술 스타트업 지프라(Zyphra)가 별도의 모델 재학습 과정 없이 짧은 오디오 샘플만으로 목소리를 복제하는 초경량 오픈웨이트(Open-weights, 공개 가중치) 텍스트 음성 변환(TTS, Text-to-Speech) 모델 **'ZONOS3-Mini(조노스 3 미니)'**를 공식 공개했습니다.
이번에 발표된 모델은 전 세계 43개 언어를 지원하며, 사용자가 보유한 기기 환경에서 직접 구동할 수 있도록 최적화된 것이 특징입니다. 특히 서버에 매번 음성 생성을 요청하는 기존 방식과 달리, 모바일 브라우저 환경에서도 가볍게 작동해 개인 개발자와 크리에이터들의 주목을 받고 있습니다.
제로샷 음성 복제와 43개 언어 지원의 기술적 배경
텍스트 음성 변환 기술은 그동안 특정 인물의 목소리를 흉내 내기 위해 수십 시간 분량의 음성 데이터를 수집하고 별도의 파인튜닝(미세조정) 과정을 거쳐야 했습니다. 그러나 지프라가 선보인 ZONOS3-Mini는 별도의 학습 절차 없이 몇 초 분량의 짧은 샘플 음성만 입력하면 즉시 해당 목소리를 모방하는 제로샷(Zero-shot) 음성 복제 방식을 채택했습니다.
여기에 한국어를 비롯해 총 43개에 달하는 다양한 언어를 폭넓게 지원합니다. 다국어 음성 합성 과정에서 발생하기 쉬운 억양 왜곡이나 음색 손실을 최소화하도록 설계되어, 글로벌 시장을 타겟으로 하는 콘텐츠 제작이나 다국어 더빙 작업에 실질적인 편의성을 제공합니다. 소스 코사와 모델 가중치는 모두 아파치 2.0(Apache 2.0) 오픈소스 라이선스로 배포되어 상업적 이용을 포함한 유연한 활용이 가능합니다.
모바일 브라우저와 PC에서의 구동 성능 및 지연 시간
지프라가 자체 공개한 벤치마크 및 구동 테스트 결과에 따르면, ZONOS3-Mini는 모바일 환경과 데스크톱 환경 모두에서 뛰어난 반응 속도를 보여줍니다.
- 모바일 브라우저 구동: 구글 픽셀 9(Pixel 9) 스마트폰의 모바일 웹브라우저 환경에서 첫 번째 음성이 출력되기까지 걸리는 지연 시간(First Audio Latency)이 570ms(밀리초, 1초의 1천분의 1) 미만으로 측정되었습니다.
- 데스크톱 환경: M3 칩셋이 탑재된 애플 맥북 에어(MacBook Air) 환경에서는 첫 음성 지연 시간이 150ms 미만으로 단축되어 거의 실시간에 가까운 속도를 나타냈습니다.
다만 이러한 속도 수치는 개발사인 지프라가 자체 환경에서 측정한 자체 보고 기준이므로, 실제 사용자들의 다양한 기기 환경이나 복잡한 텍스트 입력 조건에서는 차이가 발생할 수 있음을 염두에 두어야 합니다.
웹게임과 숏폼 콘텐츠 제작에서의 실무적 활용 방안
ZONOS3-Mini의 등장은 서버 유지 비용과 API 호출 비용에 부담을 느끼는 인디 게임 개발자와 숏폼 크리에이터들에게 실질적인 대안이 됩니다.
기존의 클라우드 기반 상용 TTS 서비스는 글자 수나 음성 파일 생성 건수에 따라 지속적인 비용이 발생하지만, 아파치 2.0 라이선스로 공개된 이번 모델은 개발자가 직접 로컬 서버나 클라우드 인프라에 올려 비용 부담 없이 무제한으로 활용할 수 있습니다.
예컨대 웹 기반의 가벼운 인디 게임에서 NPC(비플레이어 캐릭터)의 대사를 실시간으로 생성하거나, 틱톡이나 유튜브 쇼츠 같은 숏폼 영상의 더빙 작업을 서버 트래픽 비용 걱정 없이 로컬 환경에서 처리하는 워크플로우를 구축할 수 있습니다.
검증된 조건과 명확한 한계점
ZONOS3-Mini는 뛰어난 접근성과 경량화된 성능을 제공하지만, 도입 시 몇 가지 유의해야 할 점과 한계가 존재합니다.
우선 성능 지표 전반이 지프라의 자체 테스트에 기반하고 있으며, 독립적인 제3자 검증 기관이나 커뮤니티의 대규모 실사용 테스트 결과는 아직 충분히 축적되지 않았습니다. 또한 음성 복제 기술의 특성상 타인의 목소리를 무단으로 도용할 경우 심각한 법적 및 윤리적 문제가 발생할 수 있으므로, 제작자는 반드시 본인이 정당한 권한이나 허락을 획득한 목소리 샘플만을 사용하여 음성을 생성해야 합니다. 오픈소스의 자유로운 활용성 이전에 건전하고 책임 있는 기술 사용이 전제되어야 하는 시점입니다.
출처
- Fervor Creative AI Briefing: Creative AI Briefing: Tuesday, November 17, 2026