노트북에서 돌리는 Qwen-Image-2.1 무검열 세팅: Q4_K_M과 텍스트 인코더 교체 팁

이미지 출처: https://huggingface.co/pottokao/Qwen-Image-2.1-Text-Encoder-Heretic-GGUF

AI 크리에이터이자 엔지니어인 三个三(@3three_AI)가 알리바바가 오픈소스로 공개한 차세대 다기능 이미지 모델 Qwen-Image-2.1을 일반 소비자용 노트북 및 8GB VRAM 그래픽카드 환경에서 프롬프트 거부(Refusal) 없이 로컬 구동하는 실전 설정법과 가중치 교체 팁을 공유했습니다.

Qwen-Image-2.1은 텍스트 투 이미지 생성과 이미지 편집, 그리고 알파 투명도 출력을 단일 모델로 통합하여 많은 기대를 모았으나, 공식 기본 모델의 엄격한 시스템 안전 정책으로 인해 창작 영역에서 잦은 프롬프트 거부가 발생하는 문제가 있었습니다. 이번 팁은 모델의 거부 메커니즘이 생성 백본이 아닌 텍스트 인코더에 집중되어 있다는 점에 착안하여, 7B DiT 생성 주간은 경량 Q4_K_M 양자화로 메모리를 아끼고 텍스트 인코더만 커뮤니티 탈검열 가중치로 스왑하는 실용적인 해법을 제시합니다.

핵심 구성: 7B DiT Q4_K_M 양자화와 텍스트 인코더 분리 구조

Qwen-Image-2.1을 로컬 데스크톱이나 노트북에서 구동할 때 가장 큰 걸림돌은 비디오 메모리(VRAM) 점유율입니다.

공식 원본 가중치는 7B 파라미터의 32레이어 단일 스트림 확산 트랜스포머(DiT) 백본과 8B 파라미터의 Qwen3-VL 텍스트 인코더, 그리고 64채널 RGBA VAE로 구성되어 있습니다. 공식 BF16 정밀도 기준으로 텍스트 인코더의 4개 분할 파일 합계는 약 17.5GB에 달하며, 생성 주간 2개 분할 파일 합계(약 14.2GB)보다 텍스트 인코더가 더 큰 독특한 메모리 구조를 지니고 있습니다.

• 생성 백본 경량화: 7B DiT 모델은 city96의 ComfyUI-GGUF 규격으로 양자화된 Q4_K_M 가중치(~4.68GB)를 사용합니다. 이를 통해 지포스 RTX 3060 8GB나 RTX 4060 등 8GB 내외의 VRAM을 탑재한 메인스트림 그래픽카드에서도 안정적인 모델 적재가 가능해집니다.
• 텍스트 인코더 교체: Qwen-Image-2.1의 거부(refusal) 레이어가 집중된 Qwen3-VL 8B 텍스트 인코더를 커뮤니티 개발자 pottokao가 공개한 Qwen-Image-2.1-Text-Encoder-Heretic-GGUF로 교체합니다.
• 거부율 5%로 급감: 텍스트 인코더 교체 시 기존 100에 달하던 시스템 거부율이 5 수준으로 대폭 하락합니다. 무엇보다 핵심은 일반 프롬프트 이해도와 문맥 추론 능력을 그대로 유지하면서 불필요한 과잉 거부만 정밀하게 억제한다는 점입니다.

ComfyUI 폴더 배치와 노드 파이프라인 세팅 가이드

이 워크플로우를 로컬 ComfyUI 환경에 구성하기 위한 파일 배치와 노드 연결 절차는 다음과 같습니다.

1. 가중치 파일 다운로드 및 폴더 배치

필요한 모델 파일들을 내려받아 ComfyUI 기본 디렉토리 구조에 맞추어 배치합니다.

1. 디퓨전 백본: Qwen-Image-2.1 7B DiT의 Q4_K_M 양자화 파일(qwen_image_2.1_Q4_K_M.gguf, 약 4.68GB)을 ComfyUI/models/diffusion_models/ (또는 models/unet/) 폴더에 배치합니다.
2. 텍스트 인코더: Hugging Face 저장소에서 내려받은 Qwen-Image-2.1-Text-Encoder-Heretic-GGUF 파일을 ComfyUI/models/text_encoders/ (또는 models/clip/) 폴더에 복사합니다.
3. 공식 RGBA VAE: Qwen-Image-2.1 공식 64채널 RGBA VAE 가중치를 ComfyUI/models/vae/ 폴더에 위치시킵니다.

2. ComfyUI 노드 파이프라인 연결

노드 그래프에서는 GGUF 전용 로더와 알파 채널 지원 노드를 연결합니다.

• ComfyUI-GGUF(city96 노드) 패키지의 UnetLoaderGGUF 노드를 생성하고, diffusion_models에 배치한 Q4_K_M DiT 파일을 선택합니다.
• 텍스트 인코더 로더에서 Heretic GGUF 파일을 지정하여 CLIP/Text 입력단을 구성합니다.
• 공식 RGBA VAE(64채널, 16배 공간 압축)를 VAE 디코드 노드에 연결합니다. Qwen-Image-2.1은 네이티브 투명도를 지원하므로, 스티커나 누끼 이미지를 제작할 때 복잡한 세그멘테이션 마스크 단계를 거치지 않고도 알파 투명 채널이 포함된 PNG를 곧바로 출력할 수 있습니다.

다중 참조 이미지 편집 및 8GB VRAM 운용 시 주의사항

Qwen-Image-2.1은 단순한 텍스트 기반 이미지 생성을 넘어, 원본 이미지에 원형이나 브러시로 마킹하여 수정하는 인페인팅 및 최대 10장의 참조 이미지(Reference Images)를 조합하는 강력한 다중 편집 기능을 내장하고 있습니다.

그러나 8GB VRAM 환경의 노트북이나 보급형 데스크톱에서 이 모든 기능을 무리하게 동시 활용할 경우 주의가 필요합니다.

• 참조 이미지 수와 VRAM 급증: 최대 10장에 달하는 다중 참조 이미지를 로드하여 편집할 경우 주의집중(Attention) 맵과 잠재 변수 버퍼가 급증하면서 비디오 메모리 소비량이 폭발적으로 늘어납니다.
• 초기 생성 권장 해상도: 8GB 그래픽카드 환경에서는 작업 초기에 다중 참조 편집 대신 1024x1024 해상도의 단일 텍스트 투 이미지(T2I) 생성부터 시작하여 시스템 안정성을 확인하는 것이 권장됩니다.
• 메모리 위생 관리: 추론 중 OOM(Out of Memory) 크래시를 방지하기 위해 ComfyUI 실행 전 웹 브라우저의 하드웨어 가속 탭이나 백그라운드 3D 앱을 정리하고, VAE 타일링(Tiling) 옵션을 활성화하여 디코딩 시점의 메모리 스파이크를 방어해야 합니다.

원문 출처

• X (구 트위터) 三个三 (@3three_AI) 원문 포스트: Qwen-Image-2.1 无审查版本笔记本本地跑
• Hugging Face pottokao 저장소: Qwen-Image-2.1-Text-Encoder-Heretic-GGUF