H3 비디오 캐릭터 스왑 LoRA v1.5 및 전용 ComfyUI 마스킹 워크플로우 가이드

인공지능 기반 영상 제작에서 원본 영상의 배경과 연출 흐름을 훼손하지 않으면서 특정 인물의 얼굴과 시각적 정체성만을 매끄럽게 교체하는 작업은 생성 비디오 파이프라인의 핵심적인 과제로 꼽혀 왔습니다. 크리에이터이자 개발자인 @akatz_ai가 발표한 H3 Character Swap LoRA v1.5와 전용 워크플로우는 기존 v1 버전이 지니고 있던 인물 일관성 저하 문제와 급격한 카메라 컷 전환 시 발생하는 시각적 왜곡을 완화하며 실무 파이프라인에서의 실용성을 한 단계 끌어올렸습니다.

H3 Character Swap LoRA v1.5의 주요 개선점과 벤치마크

@akatz_ai에 따르면 이번에 공개된 H3 Character Swap LoRA v1.5는 이전 세대인 v1과 비교했을 때 교체 대상 인물의 시각적 정체성 보존 능력이 대폭 향상되었으며, 장면 전환이나 컷 편집이 존재하는 비디오 클립에서도 훨씬 안정적으로 캐릭터를 교체할 수 있도록 튜닝되었습니다. 원작자는 이번 배포가 최종 목표인 v2 버전은 아니며, 자신이 설정한 엄격한 v2 기준치를 통과하기 위해 여전히 추가적인 개량과 훈련 과정을 거치는 중이라고 설명했습니다. 여러 차례의 수정 버전이 v2 기준을 완전히 충족하지는 못했으나, v1.5는 자체 벤치마크 테스트에서 기존 v1의 성능을 명확하게 능가함에 따라 중간 릴리스 형태로 공개되었습니다. 해당 벤치마크 데이터셋과 비교 결과는 허깅페이스 저장소(akatz-labs/H3-Character-Swap-v2)를 통해 확인 가능하며, 영상 창작자들은 새로운 LoRA를 통해 복잡한 프레임 연속성 속에서도 보다 일관된 인물 정체성을 확보할 수 있게 되었습니다.

전용 마스킹 워크플로우와 실전 캐릭터 스왑 단계

LoRA의 가중치 자체도 중요하지만, @akatz_ai가 실제 영상 데모 제작에 활용해 온 전용 워크플로우와 도구가 함께 배포되었다는 점이 실무적 가치를 더합니다. 원작자가 공개한 설정은 LoRA의 잠재력을 최대한 끌어올리기 위해 정교한 추가 컨디셔닝과 마스킹 파이프라인을 ComfyUI 환경에 통합한 구조를 갖추고 있습니다. 실제 작업 시 원작자가 권장하는 실전 적용 방법은 다음과 같습니다. 먼저 단일 패스에서 여러 인물을 동시에 교체하도록 모델이 훈련되지 않았다는 한계를 인지해야 합니다. 따라서 복수의 등장인물이 화면에 존재하는 경우, 한 번에 모든 대상을 처리하려 하지 말고 한 번에 한 명의 캐릭터씩 순차적으로 스왑을 진행한 뒤 최종 단계에서 각 결과물을 합성(Compositing)하는 단계별 우회 방식을 취해야 합니다. 전용 마스킹 파이프라인을 거치며 인물 영역만을 정밀하게 한정함으로써 교체 과정에서 발생할 수 있는 원본 프레임의 오염을 방지하고 LoRA v1.5의 정체성 표현력을 극대화할 수 있습니다.

배경 보존 모델 특성과 하드웨어 리소스 최적화 팁

이 모델을 다룰 때 주의해야 할 중요한 구조적 특성은 배경 보존(Background Preservation)을 목표로 설계되었다는 점입니다. H3 LoRA는 원본 비디오의 배경 요소를 그대로 유지하면서 캐릭터만을 바꾸도록 명시적으로 학습되었기 때문에, 레퍼런스 영상의 배경을 완전히 날려버리고 동작 궤적만을 추출해 새로운 환경으로 이식하는 일반적인 모션 트랜스퍼 작업에는 적합하지 않습니다. 아울러 고해상도 이미지와 비디오 프레임을 교차 처리하는 파이프라인 특성상 상당한 컴퓨팅 자원이 소모됩니다. 따라서 원작자는 시스템 자원의 낭비와 메모리 부족을 방지하기 위해 입력 참조 비디오의 길이를 5초 안팎의 짧은 클립으로 유지하고, 해상도 또한 0.4메가픽셀(0.4MP) 수준의 적정 규격으로 제한할 것을 강력히 권고합니다. 또한 ComfyUI 실행 환경에서 텍스트 및 시각 인코더 역할을 수행하는 CLIP 모델이 자원 부족으로 인해 CPU로 오프로드되지 않도록 하드웨어 할당 상태를 사전에 반드시 점검해야 속도 저하 없는 렌더링이 가능합니다.

원문 출처

@akatz_ai의 X 게시물