prompt2rig: 프롬프트 하나로 리깅된 캐릭터에 실시간 3D 모션 추출·적용

prompt2rig는 텍스트 프롬프트나 영상 클립에서 3D 신체 및 손가락 모션을 실시간으로 추출해 믹사모(Mixamo) 등의 리깅된 캐릭터에 곧바로 적용할 수 있는 오픈소스 파이프라인입니다. 2026년 10월 @BlendiByl이 공개한 이 파이프라인은 텍스트 기반 3D 애니메이션 제작을 자동화하며, 모션 복원 단계는 단일 GPU에서 실행됩니다.

이미지 출처: https://github.com/blendi-remade/prompt2rig

이미지 출처: blendi-remade/prompt2rig

이 파이프라인은 클라우드 비디오 생성과 로컬 GPU 모션 복원을 결합하여 아이디어를 빠르게 3D 애니메이션으로 전환합니다.

핵심 파이프라인과 작동 방식

prompt2rig는 생성 모델과 로컬 모션 추정 모델을 파이프라인으로 연결하여 동작합니다.

• 비디오 생성 (fal 클라우드): FLUX 3 Max를 가장 사실적인 모션에 사용하거나 H3 Max Turbo를 가장 빠른 루프 및 스트림 모드에 사용합니다. 모든 클립은 포즈 추정에 적합한 단일 인물, 전신, 단색 배경, 고정 카메라의 퍼포머 영상을 기준으로 시작합니다.
• 실시간 프리뷰 (브라우저): 브라우저 기반 MediaPipe Pose를 통해 즉각적인 모션 프리뷰를 제공합니다.
• HQ 모션 복원 (로컬 GPU): GVHMR을 활용해 전체 클립을 한 번에 분석하며, 고정 비율 신체에 대한 관절 회전값과 중력 인식 루트 경로를 추출합니다. 프로젝트는 이를 통해 지터(떨림), 사지 늘어남, 전완 비틀림을 피할 수 있다고 설명합니다.
• 손가락 추적 (WiLoR): WiLoR은 GVHMR과 병렬로 손바닥과 각 손의 15개 손가락 관절을 추적하며, MANO가 없으면 MediaPipe Hands를 대체 수단으로 사용합니다.

설치 및 요구 사항

로컬에서 고품질(HQ) 패스를 구동하려면 NVIDIA GPU와 uv, ffmpeg가 필요합니다.

git clone https://github.com/blendi-remade/prompt2rig && cd prompt2rig
cp .env.example .env          # FAL_KEY 입력
node server.mjs               # http://localhost:5177 (웹 서버 및 라이브 프리뷰)

HQ 패스 및 수동 모델 설정:

hq\setup.ps1                  # 가상환경, CUDA PyTorch, GVHMR 및 체크포인트 설치

• SMPL-X 모델: SMPLX_NEUTRAL.npz 파일을 hq/body_models/smplx/ 경로에 배치해야 합니다 (공식 사이트 무료 등록 후 다운로드).
• 손가락 모델: hq\.venv\Scripts\python hq\setup_hands.py [MANO_ZIP_PATH] 명령어로 WiLoR 가중치와 MANO 모델을 설정합니다. MANO 미설정 시 MediaPipe Hands로 대체됩니다.

이후 로컬 워커를 실행하여 웹 서버와 연동합니다:

hq\.venv\Scripts\python hq\worker.py    # 127.0.0.1:5178 워커 구동

활용 및 내보내기

정면을 향하고 사지가 몸에 가려지지 않는 프롬프트(댄스, 킥, 카타 등)는 리타게팅에 적합합니다.

• 캐릭터 교체: X Bot, Michelle, Soldier 등 기본 제공되는 3D 믹사모 리깅 모델을 사용하거나, mixamo.com에서 내려받은 T-포즈 기반의 .fbx / .glb 파일을 직접 불러와 적용할 수 있습니다.
• 스트림 모드: 각 클립이 이전 클립의 마지막 프레임에서 이어지도록 설정하여 끊김 없는 연속 퍼포먼스를 만들 수 있습니다.
• GLB 내보내기: 완성된 테이크의 스킨드 캐릭터와 애니메이션을 .glb 파일로 내보내 블렌더나 Unity에서 활용할 수 있습니다.

출처

• GitHub: blendi-remade/prompt2rig
• X (오리지널 소스): @BlendiByl의 prompt2rig 발표 게시물