NVIDIA PersonaPlex: Moshi 기반 전이중 음성 대화 모델

PersonaPlex는 Moshi 아키텍처와 가중치를 기반으로 한 실시간 전이중(Full Duplex) 음성 대화 모델입니다. 소스 코드는 MIT 라이선스로 배포되며, 모델 가중치에는 NVIDIA Open Model 라이선스가 적용됩니다.

이미지 출처: https://github.com/NVIDIA/personaplex

이 모델은 자연스럽고 지연 시간이 짧은 대화를 위한 실시간 전이중 음성 간 상호작용을 지원합니다.

주요 특징 및 페르소나 제어

PersonaPlex는 음성 조건화와 텍스트 기반 역할 프롬프트를 통해 대화 내내 일관된 페르소나를 유지합니다.

• 전이중 음성 대화: 자연스럽고 지연 시간이 짧은 음성 교환을 위한 실시간 전이중 음성 간 상호작용을 지원합니다.
• 텍스트 페르소나 프롬프트: 고객 서비스 담당자, 교사 등 특정 역할과 정보를 텍스트로 지정하여 캐릭터를 유지할 수 있습니다.
• 다양한 음성 임베딩: 자연스러운 음성(NAT)과 다양한 톤의 음성(VAR) 세트가 미리 포함되어 있습니다.

설치 및 서버 실행 방법

Linux 환경에서 Opus 오디오 코덱 설치 후 소스 패키지를 설치합니다.

sudo apt install libopus-dev
pip install moshi/.

Hugging Face 계정에서 모델 라이선스 승인 후 토큰을 설정하고 웹 UI 서버를 실행합니다.

export HF_TOKEN=<YOUR_HUGGINGFACE_TOKEN>
SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"

GPU 메모리 부족 시 accelerate 패키지를 설치하고 --cpu-offload 옵션을 추가하여 모델 레이어를 CPU로 오프로딩할 수 있습니다.

출처

• GitHub: NVIDIA/personaplex