개인용 PC에서 고품질 비디오 생성: 온디바이스 도구 FreeVideo와 FreeToken 파이프라인 공개

이미지 출처: https://github.com/FlashML-org/FreeToken

개인용 PC와 일반 소비자 하드웨어에서 고품질 비디오 생성을 직접 구동할 수 있는 온디바이스 도구 'FreeVideo'가 공개되었습니다. 대규모 데이터센터 GPU 클러스터나 유료 클라우드 API에 의존하던 비디오 생성 워크플로우를 개인이 보유한 하드웨어(hardware you already own) 수준에서 실행할 수 있도록 최적화한 것이 특징입니다.

FreeVideo는 로컬 환경에서 비디오 및 시각 에셋을 직접 생성할 수 있도록 지원합니다. 특히 UC 버클리 및 FlashML 연구진이 개발한 엣지 MoE(Mixture-of-Experts) 서빙 엔진 'FreeToken'과의 연계를 통해, 시각 언어 모델(VLM) 기반 기획부터 최종 비디오 렌더링까지 이어지는 전자동 숏드라마(Short-drama) 제작 파이프라인을 온디바이스에서 완결할 수 있는 환경을 제공합니다.

소비자 하드웨어에서의 로컬 비디오 생성과 온디바이스 환경

기존의 고해상도 AI 비디오 생성 모델들은 대규모 연산 자원과 고성능 GPU 인프라를 요구하여 개인 창작자나 개발자가 로컬 하드웨어에서 직접 다루기 어려웠습니다. FreeVideo는 소비자가 보유한 일반 PC 환경에서도 비디오 생성을 구동할 수 있도록 설계되었습니다.

• 개인 보유 하드웨어 활용: 고가의 클라우드 GPU 인프라 대신 사용자가 이미 보유한 개인 PC 및 게이밍 하드웨어에서 비디오와 시각 에셋 생성을 지원합니다.
• 고품질 비디오 및 시각 에셋 생성: 단일 클립 생성에 그치지 않고, 숏드라마 등 서사형 콘텐츠 제작에 필요한 시각 에셋(visual assets)과 비디오 클립을 온디바이스에서 렌더링합니다.
• 클라우드 API 의존도 제거: 외부 유료 클라우드 API 호출 및 지속적인 구독 비용 없이 로컬 자원을 활용해 비디오 생성 실험과 파이프라인 구축을 진행할 수 있습니다.

이를 통해 작업자는 외부 서버에 데이터를 전송하지 않고도 독립적인 온디바이스 비디오 생성 워크플로우를 운영할 수 있습니다.

FreeToken 연계를 통한 전자동 숏드라마 제작 파이프라인

FreeVideo의 핵심 활용점은 엣지 MoE 추론 엔진인 FreeToken과의 파이프라인 결합입니다. FreeToken은 개인용 PC의 CPU, GPU, 호스트 메모리 등 이종 자원을 통합 관리하여 대규모 MoE 및 멀티모달 VLM을 서빙하는 런타임 엔진입니다.

두 도구를 결합하면 영상 제작의 전 과정을 로컬에서 자동으로 연결할 수 있습니다.

1. 스토리라인 및 프롬프트 생성: FreeToken 상에서 실행되는 로컬 VLM이 대본과 장면별 비디오 프롬프트를 자동으로 작성하고 연출 방향을 설계합니다.
2. 에셋 및 비디오 생성: 설계된 프롬프트를 FreeVideo 엔진으로 전달하여 각 씬에 맞는 고품질 비디오 클립과 시각 에셋을 순차적으로 렌더링합니다.
3. 전체 파이프라인 오케스트레이션: FreeToken의 도구 호출(Tool Calling) 인터페이스를 통해 복잡한 수동 작업 없이도 기획, 프롬프트 전송, 비디오 렌더링 과정을 매끄럽게 조율합니다.

이를 통해 1인 창작자나 소규모 개발팀도 클라우드 API 트래픽 비용 부담 없이 로컬 인프라만으로 연속성 있는 단편 콘텐츠를 대량 실험하고 제작할 수 있는 기틀이 마련되었습니다.

하드웨어 제약 및 실무 도입 시 고려사항

개인 PC 환경에서 온디바이스 비디오 생성을 구현할 때 염두에 두어야 할 기술적 한계와 실무적 주의사항도 존재합니다.

• 로컬 자원 및 메모리 대역폭 제약: 데이터센터급 전용 가속기에 비해 개인용 PC 하드웨어는 메모리 대역폭과 연산 자원에 제약이 있으므로, 다중 씬이나 고화질 렌더링 시 처리 시간 소요를 감안한 자원 분배가 필요합니다.
• 프롬프트 및 연속성 설계: VLM 기반 자동화 파이프라인에서 스토리라인과 비디오 프롬프트를 생성할 때, 다중 씬 간 캐릭터 및 시각 일관성을 유지하기 위한 정밀한 프롬프트 엔지니어링과 워크플로우 제어가 필수적입니다.

그럼에도 불구하고 FreeVideo는 비디오 생성 기술의 접근성을 일반 컨슈머 하드웨어 수준으로 확장하고, VLM 에이전트와 결합된 로컬 미디어 오토메이션의 실현 가능성을 제시했다는 점에서 주목할 만한 시도입니다.

출처

• Shuo Yang 공식 X (@Andy_ShuoYang): FreeVideo + FreeToken 전자동 비디오 파이프라인 발표
• FlashML / FreeToken 공식 저장소: FlashML-org/FreeToken