TAU-HOME.COM
LOADING

ComfyArt: ComfyUI 환경에서 로컬 GPU와 클라우드를 오가는 오픈소스 AI 디자인 캔버스

ComfyUI 커스텀 노드로 동작하는 tldraw 및 React 기반 오픈소스 무한 AI 디자인 캔버스 ComfyArt의 구조와 설치 방법, 로컬 GPU·LAN·Comfy Cloud 실행 방식 및 주의사항을 정리합니다.

tau · 2026년 11월 16일

#ComfyUI #ComfyArt #오픈소스 #디자인툴 #생성형AI #MCP

ComfyArt: ComfyUI 환경에서 로컬 GPU와 클라우드를 오가는 오픈소스 AI 디자인 캔버스

ComfyArt는 노드 기반 생성형 AI 작업 도구인 ComfyUI 위에서 직접 구동되는 오픈소스 AI 디자인 캔버스입니다. 개발자 jtydhr88가 MIT 라이선스로 공개한 이 프로젝트는 웹 기반 무한 화이트보드 라이브러리인 tldraw와 사용자 인터페이스 구축 프레임워크인 React를 결합해, 별도 계정이나 크레딧 결제 없이 로컬 환경에서 이미지·비디오·오디오·3D 에셋을 한 화면에서 배치하고 편집하도록 설계되었습니다. 2026년 10월 13일 GitHub 저장소가 생성된 이후 11월 12일 v1.3.0 릴리즈까지 이어지며 로컬 AI 창작 워크플로우를 캔버스 중심으로 묶어내는 구성을 갖추었습니다.

ComfyUI 환경에서 무한 디자인 캔버스와 생성형 AI 워크플로우를 통합한 ComfyArt 작업 화면 구성

이미지 출처: https://github.com/jtydhr88/ComfyArt

기존 ComfyUI 작업 방식은 모델과 샘플러, VAE 등을 선으로 연결하는 노드 그래프(node graph) 편집에 최적화되어 있어, 여러 시안을 나란히 비교하거나 텍스트·벡터 도형·목업을 조합하는 시각 디자인 편집에는 번거로움이 따랐습니다. ComfyArt는 ComfyUI의 백엔드 실행 엔진(/prompt API)을 그대로 유지하면서 앞단에 무한 캔버스와 에이전트 인터페이스를 얹어 이 간극을 줄입니다.

설치 구조와 구동 방식

ComfyArt는 기존 ComfyUI 환경에 확장 기능을 추가하는 커스텀 노드(custom node) 형태로 배포됩니다.

저장소를 ComfyUI/custom_nodes/ 디렉터리 아래에 복제한 뒤 ComfyUI가 사용하는 파이썬 환경에서 의존성 패키지를 설치하고 서버를 재시작하면 바로 사용할 수 있습니다. 프론트엔드 빌드 결과물인 dist/ 디렉터리가 저장소에 기본 포함되어 있으므로, 사용자가 Node.js 환경을 구성해 별도로 웹 앱을 빌드하거나 배포할 필요가 없습니다.

git clone https://github.com/jtydhr88/ComfyArt
pip install -r requirements.txt

설치되는 주요 파이썬 패키지로는 PDF 파일 업로드를 처리하는 pypdfium2와 납작하게 합쳐진 포스터 이미지에서 텍스트 레이어를 추출해 편집 가능한 상태로 되돌리는 Edit Elements 기능용 광학문자인식 도구 rapidocr가 포함됩니다. 설치 후 ComfyUI를 재시작하면 상단 메뉴 바의 ComfyArt 버튼이나 로컬 주소([http://127.0.0.1:8188/comfyart/](http://127.0.0.1:8188/comfyart/))로 접속할 수 있으며, 프로젝트와 스냅샷 이력, 에이전트 대화 기록은 로컬 SQLite 데이터베이스(user/__comfyart/data.db)에 저장됩니다.

캔버스 주요 기능과 MCP 기반 에이전트 연동

README에 기술된 기능 구성을 보면 단순 이미지 생성기 호출을 넘어 범용 2D 디자인 툴과 AI 편집 도구를 하나의 작업 공간에 통합하는 데 초점을 맞추고 있습니다.

  • 캔버스 및 벡터·텍스트 편집: 크기 프리셋이 포함된 아트보드, 자동 레이아웃, 레이어 패널(드래그·이름 변경·범위 선택), 영역을 지정해 수정 지시를 내리는 코멘트, 스냅샷 히스토리와 PNG·JPG·PDF·편집 가능한 PPTX 내보내기를 지원합니다. 한 텍스트 상자 안에서 폰트·크기·색상을 섞어 쓰는 리치 텍스트와 펜 툴 노드 편집, 불리언(합집합·차집합·교집합·제외) 연산도 포함됩니다.
  • 멀티모달 생성 및 편집 도구: 픽셀 단위로 크기를 지정하는 이미지 생성기와 5초~15초(768p 또는 1080p) 길이의 비디오 생성기, 업스케일·배경 제거·인페인팅·영역 확장(expand)·레이어 분리·스타일 변환·벡터화 도구를 제공합니다. 또한 제품 사진의 주름과 명암에 맞춰 디자인을 입히는 목업(Mockups), 음악·효과음·음성 복제 오디오 카드, 이미지 기반 텍스처 3D 모델 변환 기능도 지원합니다.
  • 내장 에이전트 및 외부 MCP 연결: 외부 AI 모델이 소프트웨어 도구를 직접 제어할 수 있도록 연결하는 표준 통신 규약인 MCP(Model Context Protocol) 서버(POST /comfyart/mcp)를 내장했습니다. 설정에서 MCP와 에이전트를 활성화하면 Claude Code, Codex, Qwen Code, DeepSeek Harness, Hermes 또는 도구 호출(tool calling)을 지원하는 로컬 LLM을 연결해 캔버스 조작과 에셋 생성을 맡길 수 있습니다.

로컬 GPU, LAN 분산, Comfy Cloud 전환 실행

고사양 로컬 그래픽카드(GPU)가 없거나 여러 대의 장비를 보유한 환경을 위해 실행 대상을 유연하게 전환하는 구조도 갖추었습니다.

기본값은 현재 실행 중인 로컬 ComfyUI 장비에서 오픈 가중치(open-weights) 모델을 구동하는 방식입니다. 여기에 더해 동일 로컬 네트워크(LAN)에 있는 다른 ComfyUI 인스턴스를 --listen 옵션으로 실행해 등록하면, 설정의 자동(Auto) 분배 기능이 워크플로우에 필요한 노드와 모델 파일을 모두 보유한 장비 중 가장 한가한 기기로 작업을 보냅니다.

로컬에 모델을 내려받기 어려운 경우에는 COMFY_API_KEY 환경 변수를 설정하고 생성 위치를 Comfy Cloud로 전환하면 동일한 워크플로우를 클라우드([https://cloud.comfy.org/api/v2/jobs](https://cloud.comfy.org/api/v2/jobs))에서 실행할 수 있습니다. 클라우드 환경에는 주요 모델과 커스텀 노드가 미리 구성되어 있어 별도 모델 다운로드가 필요 없으며, 생성 결과물은 로컬 output/comfyart/ 폴더에 cloud-<job> 접미사가 붙어 저장되므로 로컬 작업물과 똑같이 캔버스에서 이어서 다룰 수 있습니다.

도입 전 확인할 제약과 보안 유의사항

실제 작업 환경에 도입하기 전에는 저장소 문서에 명시된 운영 조건과 데이터 이동 경로를 반드시 확인해야 합니다.

첫째, Comfy Cloud API 키를 발급받아 클라우드 실행 모드를 사용하려면 유료 Comfy 플랜이 필요합니다. 로컬 GPU 실행 자체는 무료 MIT 라이선스 소프트웨어로 동작하지만, 클라우드 연산은 유료 계정 요금제에 종속됩니다. 둘째, 클라우드 실행 모드를 선택해 작업을 제출하면 해당 작업에 쓰이는 입력 이미지와 오디오 데이터가 Comfy Cloud 자산으로 자동 업로드됩니다. 외부 서버로 전송되면 안 되는 미공개 디자인 시안이나 민감한 원본 소스 파일을 다룰 때는 반드시 로컬 GPU 또는 내부 LAN 인스턴스 실행으로 고정되어 있는지 확인해야 합니다. 셋째, 현재 저장소 문서는 주요 워크플로우와 연동 모델 목록을 상세히 안내하고 있으나, 각 기능의 실제 처리 속도나 하드웨어 사양별 메모리 점유율에 대한 독립 벤치마크 수치는 별도로 제시되어 있지 않습니다.

출처

Impact-Site-Verification: 9b3ebd10-6c45-44cf-a014-5b8c19b7b285