원래 카메라 무빙과 연기를 보존하는 실전 AI VFX 배경 교체 4단계 워크플로우

크리에이터 seungho__yeo(Instagram: @seungho__yeo)가 현대 도심 거리에서 촬영된 실사 푸티지의 역동적인 카메라 무빙과 배우의 자연스러운 연기를 온전히 보존하면서, 배경 전체를 웅장한 판타지 해안 왕국으로 완벽하게 탈바꿈시킨 실전 AI VFX 4단계 파이프라인을 공개했습니다. ComfyUI 공식 채널을 통해 2026년 9월 11일 큐레이션된 이번 워크플로우는 기존 생성형 AI 영상 제작에서 가장 큰 한계로 지적받던 카메라 궤적의 왜곡과 피사체 연기 붕괴 문제를 명확한 레이어 분리 기법으로 극복했습니다.

이미지 출처: @ComfyUI / seungho__yeo via X

실사 푸티지 기반 배경 교체의 기술적 도전 과제와 레이어 분리 원칙

전통적인 영상 후반 작업(VFX)에서 실사 촬영본의 배경을 완전히 새로운 3D 환경이나 가상 세계로 교체하려면 정밀한 3D 카메라 트래커(Matchmove), 복잡한 로토스코핑(Rotoscoping), 그리고 까다로운 그린스크린 라이팅 세팅이 필수적이었습니다. 최근 확산된 생성형 AI 비디오 모델들은 텍스트나 단일 이미지만으로 놀라운 비주얼을 만들어내지만, 이미 촬영된 실사 클립의 배경만 바꾸려고 할 경우 인물의 얼굴 디테일이 변형되거나 원본 카메라의 패닝·틸트·돌리 워크가 왜곡되는 고질적인 한계를 드러냈습니다.

원작자 seungho__yeo가 구축한 파이프라인은 씬 전체를 한 번에 AI 모델로 재렌더링하는 대신, 영상 합성의 기본 원칙인 '레이어 분리와 독립 제어' 방식을 AI 툴체인에 이식했습니다. 원본 촬영본이 가진 카메라 모션 벡터와 배우의 표정 및 동선을 베이스로 삼고, 추가 피사체 생성, 세그멘테이션 트래킹, 3차원 공간 리라이팅, 그리고 경계면 인페인팅을 순차적으로 연결함으로써 상업 영화 수준의 환경 교체(Full Environment Replacement)를 구현했습니다.

원래 카메라 무빙과 연기를 보존하는 4단계 실전 파이프라인

이번에 공개된 워크플로우는 도심 아스팔트 도로 위를 걷는 인물 실사 촬영본에서 출발하여, 인물이 말을 타고 해안 절벽의 고대 판타지 성곽 도시를 바라보는 시네마틱 숏으로 전환되는 전체 과정을 4가지 핵심 단계로 체계화했습니다.

1단계: R2V와 텍스트 프롬프트를 통한 추가 피사체(말) 합성

첫 번째 단계에서는 실사 장면에 존재하지 않던 새로운 피사체인 말(Horse)을 추가합니다. R2V(Render-to-Video / Real-to-Video) 프레임워크와 정교한 텍스트 프롬프트를 결합하여, 원본 영상의 카메라 무빙 속도와 퍼스펙티브에 일치하는 움직이는 말을 생성하고 기본 씬에 배치합니다. 이를 통해 단순히 정적인 객체를 붙여넣는 것이 아니라, 원본 씬의 공간감과 호흡을 공유하는 역동적인 추가 요소를 확보합니다.

2단계: SAM 3.1 트래킹을 활용한 인물 및 말 알파 매트(Alpha Matte) 추출

배경을 교체하기 위해서는 전경에서 보존해야 할 피사체를 배경과 완벽하게 분리해야 합니다. 워크플로우에서는 최신 고정밀 비전 세그멘테이션 모델인 SAM 3.1(Segment Anything Model 3.1) 기반 트래커를 적용했습니다. 원본 실사 인물과 1단계에서 합성된 말 객체를 프레임 단위로 추적하여 투명도 정보가 담긴 알파 매트(Alpha Matte)를 추출합니다. 복잡한 픽셀 단위 마스킹을 수작업 로토스코핑 없이 높은 시간적 일관성(Temporal Consistency)으로 자동화한 핵심 구간입니다.

3단계: Beeble Switch X를 통한 배경 전면 교체, 3차원 리라이팅 및 색보정

알파 매트를 통해 전경 피사체가 독립된 레이어로 확보되면, Beeble Switch X를 활용해 현대 도심 거리 배경을 웅장한 판타지 해안 왕국 환경으로 완전히 대체합니다. 이 단계의 기술적 핵심은 단순한 크로마키식 합성이 아닌 '3차원 리라이팅(Relighting)'입니다. Switch X의 공간 조명 제어 도구를 통해 새로운 판타지 배경의 일몰 태양광 각도, 환경광(Ambient Light), 해안 반사광에 맞춰 전경의 인물과 말에 새로운 광원을 재투사하고 톤 매핑 및 컬러 그레이딩을 일괄 수행합니다. 이를 통해 인물과 배경 사이의 이질감을 극적으로 줄입니다.

4단계: 인페인팅 패스(Inpainting Pass)를 통한 캐릭터 및 배경 디테일 정밀 보정

마지막 단계에서는 인페인팅(Inpainting) 패스를 실행하여 미세 결함을 다듬습니다. 인물과 말의 윤곽선 경계면(Edge), 바람에 날리는 머리카락이나 옷자락, 빠른 움직임으로 발생하는 모션 블러 영역, 그리고 새로운 배경과의 접합 지점에서 발생할 수 있는 매트 아티팩트를 정밀하게 인페인팅하여 최종 렌더링 숏을 완성합니다.

원문 출처

본 워크플로우는 영상 크리에이터 seungho__yeo가 제작하여 인스타그램과 소셜 미디어를 통해 공유되었으며, 2026년 9월 11일 ComfyUI 공식 채널을 통해 대표적인 실전 AI VFX 제작 사례로 선정 및 큐레이션되었습니다. 원문 게시물에서는 현대 도심 실사 원본이 판타지 왕국 숏으로 완벽하게 전환되는 비교 영상 푸티지를 직접 확인할 수 있습니다. 실무에서 생성형 AI 기반 플레이트 재구성과 하이브리드 합성을 연구하는 영상 제작자라면 공식 큐레이션 스레드에서 기술 노드 구성과 아티스트의 추가 프로젝트 사례를 직접 검토할 수 있습니다.

• ComfyUI 공식 큐레이션 X 스레드 (데모 영상 푸티지 포함)
• 원작자 seungho__yeo 공식 Instagram (@seungho__yeo)