LuxTTS: 1GB VRAM 미만에서 구동되는 48kHz 초고속 오픈소스 음성 복제 모델

로컬 워크스테이션 환경에서 음성 복제 및 고품질 텍스트 음성 변환(TTS) 파이프라인을 직접 운영하려는 크리에이터와 소프트웨어 엔지니어에게, 방대한 그래픽 메모리(VRAM) 점유율과 긴 추론 지연 시간은 오랜 기간 지속된 기술적 장벽이었습니다. 상용 클라우드 음성 서비스는 지속적인 글자당 API 과금과 네트워크 왕복 지연을 유발하며, 기존의 많은 오픈소스 모델들은 24kHz 샘플링 레이트에 머물거나 8GB 이상의 고사양 VRAM 환경을 요구하는 한계를 보였습니다. LuxTTS는 ZipVoice 아키텍처를 4단계 추론으로 정밀하게 증류하고 자체 48kHz 고해상도 보코더를 결합하여, 1GB 미만의 VRAM 환경에서도 선명한 음성 복제를 초고속으로 수행할 수 있도록 설계된 오픈소스 도구입니다.

4스텝 증류 구조와 48kHz 전용 보코더의 결합

LuxTTS의 핵심 아키텍처는 경량 음성 합성 프레임워크인 ZipVoice를 기반으로, 복잡한 인퍼런스 경로를 4스텝(4-step)으로 대폭 압축 증류한 데 있습니다. 기존 확산 및 흐름 정합 기반 음성 모델들이 깨끗한 오디오 잠재 공간을 복원하기 위해 수십 차례의 반복 계산을 수행해야 했던 것과 달리, LuxTTS는 단계 수를 4단계로 최소화하여 토큰당 연산량을 극단적으로 절감했습니다. 여기에 프로젝트 자체 제작 48kHz 보코더를 결합함으로써, 기존 오픈소스 도구들이 주로 제공하던 24kHz 출력 수준을 뛰어넘어 사람의 숨소리와 보컬 질감을 한층 자연스럽고 맑게 복원합니다. 파이프라인 전체의 메모리 사용량을 1GB VRAM 미만으로 억제함에 따라, 고가의 서버용 가속기 없이도 보급형 소비자용 그래픽 카드 및 구형 GPU 환경에서 메모리 부족(OOM) 오류 없이 원활한 구동이 가능합니다.

단일 GPU 150배속 추론과 오픈소스 파생 생태계

추론 속도 지표에서 LuxTTS는 단일 GPU 구동 시 실시간 대비 150배 이상의 속도를 기록하며, 전용 가속기가 없는 CPU 단독 환경에서도 실시간 오디오 재생 속도를 앞서는 처리 효율을 제공합니다. 이러한 성능 덕분에 수 분 분량의 오디오북 낭독이나 영상 내레이션을 단 수 초 만에 오프라인 상태에서 즉각 렌더링할 수 있습니다. 소스 코드와 가중치 전반을 상업적 수정과 활용이 가능한 Apache-2.0 라이선스로 공개함에 따라, 프로젝트는 출시 직후 GitHub 5,400개 이상의 스타와 680개 이상의 포크를 달성하며 커뮤니티의 뜨거운 반응을 얻었습니다. 현재 Hugging Face 가중치 저장소, 대화형 Colab 노트북, Gradio 웹 인터페이스를 비롯하여 ComfyUI 워크플로우 전용 노드, ONNX 경량화 런타임, FalAI 호스팅 데모 등 다채로운 파생 도구 생태계가 구축되어 다양한 실무 환경에 즉시 연동할 수 있습니다.

도입 시 고려할 기술적 제약과 환경적 유의점

LuxTTS를 실무 프로젝트나 서비스 파이프라인에 도입하기 전에는 몇 가지 명시된 기술적 제약 사항과 전제 조건을 명확히 인지해야 합니다. 현재 배포된 기본 실행 파이프라인은 float32 정밀도를 기준으로 동작하고 있으며, 프로젝트 측이 제시한 float16 적용 시의 추가 2배 가속 가능성은 아직 실측 벤치마크가 아닌 이론적 추정치이므로 배포 하드웨어별 실증 검증이 필요합니다. 또한 단축 링크로 배포된 저장소의 소스 코드와 모델 체크포인트는 실행 환경의 CUDA 버전, 오디오 백엔드 드라이버, 파이썬 패키지 의존성에 따라 세부 동작 차이가 나타날 수 있습니다. 화자 음성 복제의 최종 완성도 역시 입력으로 제공되는 참조 음성의 배경 소음과 음향 품질에 영향을 받으므로, 프로덕션 배포 전 다양한 음성 조건에 대한 엄격한 사전 청취와 품질 안정성 평가가 병행되어야 합니다.

출처

• LuxTTS GitHub 저장소