Tencent Hunyuan Hy-Nomas: 인터랙티브 비디오 월드 모델 구조와 실행법

텐센트 훈위안(Tencent Hunyuan)의 Hy-Nomas는 텍스트 프롬프트와 카메라 궤적 입력으로 제어하는 오픈소스 인터랙티브 비디오 월드 모델입니다. GitHub 저장소는 2026년 10월 21일 생성됐고, 공식 X 소개는 10월 24일 게시됐습니다. 이 프로젝트는 장기 비디오 일관성을 유지하는 세그먼트 기반 생성과 단일 소비자용 GPU 추론 경로를 제공합니다.

이미지 출처: https://github.com/Tencent-Hunyuan/Hy-Nomas

Hy-Nomas는 자유형 멀티턴 텍스트 프롬프트 또는 카메라 제어를 지원하는 인터랙티브 비디오 월드 생성 모델입니다. 저장소는 훈련, 추론, 인터랙티브 데모, 데이터 주석 코드를 제공합니다.

세그먼트 기반 자기회귀 생성과 지속적 KV 캐시 아키텍처

Hy-Nomas의 핵심 기술 구조는 세그먼트 단위의 자기회귀(Autoregressive) 생성 메커니즘에 기반합니다.

• 장기 일관성 보존: 생성 세그먼트마다 프롬프트나 카메라 신호를 수신하며, 일관성을 위해 라이프롱(Lifelong) KV 캐시를 유지합니다.
• 자유형 프롬프트 제어: 자유형 자연어 프롬프트로 객체, 스타일, 장면, 동작을 생성할 수 있습니다.
• 카메라 궤적 조건부 제어: 텍스트 프롬프트와 함께 카메라 궤적으로 생성을 조건화합니다.

단일 RTX 4090 저메모리 추론 및 증류 파이프라인

로컬 워크스테이션 및 단일 GPU 구동을 고려한 최적화 아키텍처가 함께 포함되었습니다.

• 증류 디노이징 스텝: 추론 과정은 4~8회의 디노이징(denoising) 스텝을 사용합니다.
• DCAE-V 잠재 디코더: 32채널 DCAE-V 잠재(latent) 표현과 미세조정된 PixelUMM 디코더를 사용합니다.
• 소비자용 GPU 지원: 단일 RTX 4090 환경을 위한 저메모리 추론(low-memory inference) 경로를 제공합니다.

환경 구성 및 다운스트림 LoRA 미세조정

Hy-Nomas 저장소는 개발자가 자체 데이터셋을 적용할 수 있는 전체 훈련 및 미세조정 파이프라인을 포함합니다.

공식 저장소는 Python 환경, PyTorch 및 필수 CUDA 어텐션 커널이 사전 구성된 Docker 이미지(hynomasoss/hynomasoss:cu130) 사용을 권장하며, 수동 설치 시에는 Linux 환경에서 Python 3.12+ 및 uv 패키지 관리자를 통해 의존성을 설치할 수 있습니다.

로보틱스 같은 특정 도메인 적용을 위해 자체 비디오 데이터셋을 가공하는 주석(Annotation) 도구 및 오프라인 시퀀스 패킹 워크플로우를 제공하며, LoRA(Low-Rank Adaptation) 미세조정 코드와 브라우저 기반 대화형 웹 데모 구현체를 함께 포함하고 있습니다.

출처

• GitHub: Tencent-Hunyuan/Hy-Nomas