anymove: AI 비디오와 DINOv2 기반 비인간형 3D 크리처 모션 캡처 오픈소스 도구

Patch가 단일 AI 생성 비디오를 리깅된 크리처의 애니메이션으로 변환하는 모션 캡처 도구 'anymove'를 아파치 2.0 라이선스로 공개했습니다. 저장소는 드래곤, 거대 거미, 늑대와 날개, 꼬리, 여덟 개 다리를 가진 리깅 크리처의 애니메이션 사례를 제공합니다.

이미지 출처: https://github.com/patch-gg/anymove

이번 프로젝트는 단일 프레임 내 정면과 측면 2개 카메라 시점을 동시에 생성하는 비디오 생성 기법과 특정 크리처 메시에 최적화된 비전 모델 관절 추적을 결합하여, 수작업 키프레임 없이 3D 애니메이션 데이터를 생성합니다.

전측면 2개 시점 동시 생성과 DINOv2 관절 추적 파이프라인

anymove의 핵심 메커니즘은 단일 AI 비디오 프레임 분할과 3차원 좌표 복원을 결합한 데 있습니다.

비디오 모델은 좌측에 정면, 우측에 측면을 배치한 단일 프레임에서 두 시점을 한 번에 애니메이션화합니다. 여기에 Meta의 DINOv2 모델을 단일 크리처의 2,200개 무작위 포즈 렌더링 데이터로 20에포크 동안 파인튜닝하여 관절 판독기(Reader)를 구성합니다.

• 관절 추적 오차: 저장소의 학습 예시는 평균 오차가 40픽셀에서 6픽셀로 감소했다고 제시하며, 홀드아웃 데이터의 정면·측면 관절 판독 오차는 크리처별로 다릅니다.
• 3D 공간 좌표 복원: 정면 시점에서 X축(좌우), 측면 시점에서 Y축(전후) 좌표를 얻고 양쪽 시점의 동일 Z축(높이) 정보를 결합해 3차원 관절 좌표를 계산합니다.
• 리그 자동 피팅 및 익스포트: 블렌더(Blender) 리그의 뼈를 추적된 3D 좌표에 프레임 단위로 맞추고 이상 좌표를 무시한 뒤, 엔진에서 사용할 수 있는 24fps GLB 애니메이션으로 내보냅니다.

설치 환경, 하드웨어 요구사양 및 Claude Code 에이전트 연동

사용자 지정 관절 판독기 학습에는 로컬 NVIDIA GPU가 필요하며, 새 클립 생성에는 외부 생성 서비스 키가 필요합니다.

관절 판독기 학습 단계는 24GB VRAM을 갖춘 NVIDIA GPU(CUDA 지원) 환경을 요구합니다. 판독과 리그 피팅에는 훨씬 적은 메모리가 필요하며, 저장소의 드래곤 피팅 예제는 CPU에서 실행됩니다. 시스템 환경에는 Python 3.11과 Blender 5.x가 설치되어 있어야 합니다.

git clone https://github.com/Patch-gg/anymove && cd anymove
python3.11 -m venv .venv
.venv/bin/pip install torch==2.11.0 --index-url https://download.pytorch.org/whl/cu128
.venv/bin/pip install -r requirements.txt
cp .env.example .env

클립 생성 단계는 fal 플랫폼의 MiniMax H3 Max 비디오 모델을 연동해 수행하며, .env 파일에 FAL_KEY 설정이 필요합니다.

또한 anymove는 Claude Code 플러그인 규격을 지원합니다. anymove, anymove-rig, anymove-film, anymove-reader, anymove-capture, anymove-lora 등 모듈형 에이전트 스킬이 포함되어 있어 포함된 에이전트 스킬은 메시 준비, 리깅, 비디오 생성 프롬프트 작성, 판독기 학습, 캡처 품질 검사와 쇼케이스 렌더링 단계를 다룹니다.

크리처별 추적 성능 지표와 운영 비용

저장소는 여러 크리처 모델의 벤치마크를 제시합니다. 늑대(36개 관절)는 트로트 시점 일치도 0.94와 평균 3D 관절 오차 0.94cm를 기록했고, 드래곤(50개 관절)은 이륙 동작에서 1.00, 포효 동작에서 0.93의 시점 일치도를 기록했습니다.

저장소가 제시한 비용은 Tripo H3.1 메시 생성 약 $0.40, fal 기반 MiniMax H3 Max 5초 비디오 클립 약 $0.26(H3는 $0.30)이며, 클립당 피팅은 1분 이내입니다.

시점 일치도는 크리처와 동작에 따라 달라지므로 생성된 각 클립은 캡처 전에 품질을 확인해야 합니다.

출처

• GitHub: patch-gg/anymove
• Rehan Sheikh의 X (@rehan_shei): 2026-10-27 anymove 공개 게시물