TAU-HOME.COM
LOADING

Claude Opus 5.5로 전 프레임을 코드로 그린 오픈소스 뮤직비디오, PDoomVideo 분석

Claude Opus 5.5가 p5.js와 p5.brush 코드로 모든 장면을 직접 구현한 뮤직비디오 프로젝트 JohnHeibel/PDoomVideo의 구조와 렌더링 파이프라인을 살펴봅니다.

tau · 2026년 11월 16일

#Claude Opus 5.5 #PDoomVideo #p5.js #모션그래픽 #오픈소스

Claude Opus 5.5로 전 프레임을 코드로 그린 오픈소스 뮤직비디오, PDoomVideo 분석

대규모 언어 모델이 코드를 작성하는 수준을 넘어, 웹 그래픽 라이브러리를 직접 제어해 영상 전체를 프레임 단위로 그려내는 실험이 개발자 커뮤니티에서 주목을 받았습니다. 오픈소스 프로젝트 'PDoomVideo'는 AI 비디오 생성 모델이 만들어내는 전형적인 디퓨전 기반 합성 영상 대신, 브라우저 캔버스 위에 자바스크립트 그래픽 코드를 직접 실행해 완성한 독특한 뮤직비디오 저장소입니다.

Claude Opus 5.5와 p5.js를 활용해 코드로 렌더링된 PDoomVideo 뮤직비디오 장면

이미지 출처: JohnHeibel/PDoomVideo (GitHub)

2026년 11월 13일 기준 GitHub에서 2,922개의 스타(추천)와 281개의 포크(복제)를 기록 중인 개발자 존 하이벨(John Heibel)의 저장소(JohnHeibel/PDoomVideo)는 'I'm Upping My P(doom)'이라는 곡의 뮤직비디오를 온전히 코드로 렌더링할 수 있도록 설계된 전체 소스 코드를 담고 있습니다.

프롬프트 지시에서 완성된 코드베이스까지: 생성 구조와 워크플로

PDoomVideo 저장소의 가장 독특한 점은 저장소 안에 포함된 모든 장면 기획과 렌더링 코드를 모델이 단독으로 산출했다는 사실입니다. 제작 과정에서는 각 장면에 대한 구체적인 연출 아이디어나 세부 스토리보드가 사전에 주어지지 않았습니다.

제작자가 모델에 전달한 요구사항은 두 가지였습니다. 마스코트인 클로드(Clawd) 캐릭터 디자인을 중심에 둘 것, 그리고 노랫말의 각 구절에 맞춰 시각적 연출과 장면 전환을 구성할 것이 전부였습니다. 이 프로젝트는 개발자 콘솔 에이전트 도구인 클로드 코드(Claude Code) 환경에서 두 번의 세대에 걸쳐 제작되었습니다.

  • 1세대 생성물 (legacy/ 디렉터리): 초기 버전 코드는 Claude Opus 5.5 Medium 모델을 바탕으로 작성되었습니다.
  • 2세대 완성물 (현재 메인 브랜치 코드): 최종 결과물은 Claude Opus 5.5 단독으로 생성되었으며, 병렬 에이전트 호출을 위한 가이드라인 문서까지 스스로 정리했습니다.

모델은 장면을 직접 코딩하기 전, 자신이 병렬로 실행할 하위 서브에이전트들에게 지침을 전달하기 위해 ANIMATION_GUIDE.md를 먼저 작성했습니다. 이어 p5.js 특유의 브러시 스트로크 표현을 활용하고 장면 간 유기적인 전환을 구축하기 위해 샷 단위의 기획서인 STORYBOARD.md를 스스로 생성한 뒤 실제 자바스크립트 렌더링 코드를 완성했습니다.

브라우저 캔버스와 헤드리스 렌더링 파이프라인

일반적인 AI 영상 제작은 런웨이(Runway)나 소라(Sora)처럼 픽셀을 예측하는 생성형 비디오 엔진을 사용합니다. 반면 PDoomVideo는 웹 표준 기반의 코드 렌더링 방식을 선택했습니다. 화면을 이루는 기본 뼈대는 자바스크립트 그래픽 라이브러리인 p5.js와 질감 표현 라이브러리인 p5.brush입니다.

저장소의 전체 아키텍처는 다음과 같은 모듈로 구성되어 있습니다.

  • studio.html: 모든 프레임이 실제로 그려지는 캔버스 웹페이지입니다. p5.js와 브러시 엔진을 로드해 브라우저 위에서 그래픽을 실시간으로 연산합니다.
  • src/ch/: 뮤직비디오를 구성하는 9개 챕터 파일이 각각 나뉘어 배치되어 있습니다. 곡의 진행에 맞춰 각 챕터가 순차적으로 장면 그래픽을 담당합니다.
  • src/ 공통 모듈: 주인공 Clawd 캐릭터를 비롯해 게스트 캐릭터, 소품 오브젝트, 화면 자막 텍스트, 전체 타임라인 동기화 로직이 담겨 있습니다.
  • render.mjs: 사용자의 컴퓨터에 설치된 구글 크롬(Google Chrome)을 헤드리스(화면 창을 띄우지 않는 백그라운드) 모드로 구동해 각 프레임을 PNG 이미지로 저장하고, 오픈소스 미디어 변환 도구인 ffmpeg를 호출해 오디오와 합성된 MP4 영상으로 인코딩합니다.

이 방식은 코드로 정의된 벡터와 브러시 좌표를 렌더링하기 때문에, 비디오 합성 인공지능에서 흔히 발생하는 손가락 왜곡이나 프레임 간 깜빡임 현상 없이 일관된 아트 스타일과 정확한 타이밍 동기화를 유지할 수 있습니다.

로컬 환경 렌더링 절차와 실행 요구사항

PDoomVideo의 영상 생성 과정을 직접 확인하려면 로컬 개발 환경에 Node.js 런타임과 구글 크롬 브라우저, 그리고 미디어 프로세서인 ffmpeg가 설치되어 있어야 합니다. 영상에 사용되는 음악 음원은 저장소 내부 assets/pdoom.mp3 경로에 기본 포함되어 있습니다.

터미널 환경에서 실행하는 구체적인 명령어 흐름은 다음과 같습니다.

# 의존성 패키지 설치
npm install

# 프레임 단위 백그라운드 렌더링 실행 (4개 워커 병렬 작업, 재개 가능)
node render.mjs --frames=0:156.6 --workers=4

# 렌더링된 개별 이미지들과 음원을 결합해 최종 MP4 파일 생성
node render.mjs --encode --out=out/pdoom.mp4

윈도우 운영체제에서 크롬 실행 파일이 기본 설치 경로가 아닌 별도 디렉터리에 설치되어 있다면, 렌더링 명령 실행 시 --chrome=<크롬 설치 경로> 플래그를 추가해야 정상적으로 헤드리스 브라우저를 구동할 수 있습니다. 전체 렌더링 과정은 프레임 번호 범위(--frames)를 지정할 수 있어 중단되더라도 언제든 남은 구간부터 이어받아 렌더링할 수 있도록 설계되었습니다.

오픈소스 확산과 확인된 기술적 범위

PDoomVideo는 2026년 9월 22일 처음 저장소가 개설되었으며, 9월 25일 주요 커밋이 반영된 이후 개발자 커뮤니티와 X(구 트위터)의 AI 연구자 사이에서 Claude Opus 5.5의 대표적인 코드 생성 사례로 소개되며 빠르게 확산되었습니다. 2026년 10월 중순 한때 스타 수가 1,500여 개 수준으로 언급되기도 했으나, 코드베이스의 독창성이 주목받으며 11월 13일 기준 2,900개 이상의 스타를 달성했습니다.

원작자인 존 하이벨은 PDoomVideo의 실험을 기반으로 Claude Opus 5.5 환경에서 보다 안정적이고 범용적으로 애니메이션을 제작할 수 있는 후속 기반 프로젝트인 ClaudeAnimationBase 저장소도 별도로 공개했습니다.

다만 이 프로젝트를 검토할 때 유의할 점도 있습니다. 저장소에 포함된 코드는 사전 제작된 고유 음원과 특정한 캐릭터 컨셉에 맞춰 최적화된 결과물입니다. 임의의 노래 파일이나 완전히 다른 애니메이션 스타일을 프롬프트 하나로 즉시 처리해 주는 범용 비디오 생성 소프트웨어는 아니며, 코드로 모션 그래픽을 산출하는 에이전트 기반 파이프라인의 실증 사례로 이해하는 것이 정확합니다.

출처

Impact-Site-Verification: 9b3ebd10-6c45-44cf-a014-5b8c19b7b285