VoxCPM2 탑재 오픈소스 영상 AI 자동 더빙 도구 'YouDub WebUI' 공개

OpenBMB의 음성 생성 모델 VoxCPM2를 통합하여 음성 분리, 자막 번역, 제로샷 음성 복제, BGM 보존 믹싱 및 자막 합성까지 전 과정을 로컬에서 자동화하는 오픈소스 비디오 현지화 도구 YouDub WebUI를 소개합니다.

tau · 2026년 9월 12일

#YouDubWebUI #VoxCPM2 #OpenBMB #VideoLocalization #AI더빙 #오픈소스 #음성클로닝 #개발도구

VoxCPM2 탑재 오픈소스 영상 AI 자동 더빙 도구 'YouDub WebUI' 공개

개발자 @liuzhao1225가 OpenBMB의 차세대 음성 생성 파운데이션 모델 VoxCPM2를 기반으로, 영상 다운로드부터 음성 분리, 번역, 제로샷 음성 복제 및 자막 합성까지 전 과정을 자동화하는 오픈소스 비디오 현지화 도구 'YouDub WebUI'를 공식 공개했습니다. 글로벌 영상 콘텐츠 제작자와 크리에이터들이 겪는 언어 장벽과 번역·더빙의 높은 외주 비용 문제를 해결하기 위해, 로컬 환경에서 파이프라인 전체를 원클릭에 가깝게 구동할 수 있도록 설계된 로컬 우선(Local-first) 개발 도구입니다.

OpenBMB VoxCPM2 기반 오픈소스 영상 자동 더빙 도구 YouDub WebUI 아키텍처 및 파이프라인 인터페이스

이미지 출처: https://github.com/liuzhao1225/YouDub-webui

YouTube와 Bilibili 등 주요 동영상 플랫폼의 원본 영상을 가져와 화자의 원래 음색과 억양을 보존한 다국어 더빙 영상으로 탈바꿈하는 작업은 그동안 복잡한 수작업 도구 체인을 거쳐야 했습니다. YouDub WebUI는 영상 추출부터 오디오 트랙 분리, 자막 번역, 자연스러운 음성 합성 및 최종 비디오 렌더링에 이르는 워크플로우를 단일 통합 웹 인터페이스로 묶어내어 로컬 환경에서의 영상 현지화 생산성을 비약적으로 끌어올렸습니다.

원클릭 엔드투엔드 파이프라인: 영상 다운로드부터 자막·음성 합성까지

YouDub WebUI는 여러 독립된 AI 모델과 미디어 처리 엔진을 유기적으로 연계한 엔드투엔드 파이프라인을 제공합니다.

  1. 영상 다운로드 및 오디오 분리: YouTube 및 Bilibili URL을 입력하면 원본 비디오를 자동으로 다운로드하고, 오디오 트랙에서 화자의 음성(보컬)과 배경음악(BGM) 및 효과음을 정밀하게 분리합니다.
  2. 음성 인식(ASR)과 자막 번역: 원본 화자의 음성을 텍스트로 전사(Transcription)한 뒤 타깃 언어로 자막을 번역합니다. 번역 과정에서 원본 영상의 발화 타이밍과 싱크를 맞춥니다.
  3. VoxCPM2 기반 제로샷 음성 복제: OpenBMB의 고품질 음성 생성 모델인 VoxCPM2를 활용하여, 짧은 참조 음성만으로 원작자의 고유한 톤과 감정을 유지하는 제로샷(Zero-shot) 음성 복제를 수행합니다.
  4. 배경음 보존 오디오 믹싱: 더빙된 새로운 음성 트랙과 앞서 분리해둔 원본 배경음악 및 효과음을 볼륨 밸런스에 맞춰 다시 믹싱함으로써 영상의 현장감과 몰입도를 그대로 보존합니다.
  5. 자막 합성 및 최종 렌더링: 번역된 다국어 자막을 영상 프레임에 합성하여 즉시 배포 가능한 완성형 비디오 파일로 출력합니다.

실전 프로덕션에서 검증된 안정성과 번역 방향 지원

YouDub WebUI가 단순한 개인 토이 프로젝트나 개념 증명(PoC) 수준에 그치지 않는 이유는 실제 대규모 상용 채널 운영을 통해 철저한 프로덕션 안정성을 입증했기 때문입니다.

  • 80만 Bilibili 채널 실전 운용: 중국 Bilibili 플랫폼에서 80만 명 이상의 구독자를 보유한 유명 크리에이터 채널 '黑纹白斑马'에서 2만 편 이상의 영상 제작에 YouDub WebUI가 핵심 엔진으로 투입되었습니다. 수만 건의 실제 비디오 렌더링과 현지화 처리를 거치며 파이프라인의 내구성과 오류 처리 신뢰성을 사전 검증받았습니다.
  • 양방향 언어 현지화 지원: YouTube 영어 영상의 중국어 더빙 및 번역은 물론, Bilibili 중국어 영상의 영어 더빙 파이프라인을 모두 지원합니다. 동서양 양방향 크로스보더 콘텐츠 유통을 목표로 하는 크리에이터와 스튜디오에게 실질적인 제작 인프라를 제공합니다.

로컬 우선(Local-first) 아키텍처와 환경 설정 시 유의사항

YouDub WebUI는 모든 데이터 처리와 모델 추론이 사용자의 로컬 머신에서 이루어지는 로컬 우선(Local-first) 아키텍처를 채택하고 있어 데이터 프라이버시와 커스터마이징 자유도가 높습니다.

  • ModelScope 기반 가중치 관리: 모델 가중치 관리를 위해 ModelScope 생태계를 지원하며, 개발자가 필요에 따라 내부 모듈이나 모델 파라미터를 유연하게 교체하고 파인튜닝할 수 있는 확장성을 보장합니다.
  • Argon2id 보안 인증 필수: WebUI를 로컬 또는 사설 네트워크에서 안전하게 호스팅할 수 있도록 현대적인 암호화 알고리즘인 Argon2id 기반 비밀번호 인증 시스템을 갖추고 있습니다. 웹 인터페이스 접속을 활성화하려면 환경변수 YOUDUB_AUTH_PASSWORD_HASH에 Argon2id 비밀번호 해시값을 반드시 설정해야 합니다.
  • 하드웨어 요구사항과 자원 제약: 대규모 파운데이션 모델인 VoxCPM2를 로컬에서 구동하고 오디오 분리 및 고해상도 비디오 렌더링을 원활히 처리하기 위해서는 고사양 GPU 연산 자원이 필수적입니다. 저사양 시스템에서는 처리 지연이 발생할 수 있으므로 충분한 VRAM과 연산 성능을 확보한 워크스테이션 환경에서 운용하는 것이 권장됩니다.

출처