GPT-6 Astra와 Blender MCP, Lichtfeld Studio로 3D 가우시안 스플랫 제작하기

3D 테크 크리에이터인 @abstrakt314가 최신 LLM 에이전트인 GPT-6 Astra(초기 언급된 오타 6.1을 6.0 Astra로 정정)와 Blender MCP(Model Context Protocol), 그리고 가우시안 스플랫 학습 도구인 Lichtfeld Studio를 결합하여 ChatGPT 신규 에이전트 도트(Dot) 캐릭터를 고품질 3D 가우시안 스플랫(Gaussian Splat)으로 재현하는 워크플로우를 공개했습니다.

이미지 출처: @abstrakt314

공식 3D 모델 에셋이 배포되지 않은 상태에서도 자연어 프롬프트와 참조 이미지만으로 베이스 3D 모델을 구축하고, 다각도 렌더링 이미지를 추출하여 실시간 웹 뷰어에서 인터랙티브하게 감상할 수 있는 가우시안 스플랫(.ply)을 제작하는 전체 단계별 과정입니다.

워크플로우 개요와 파이프라인 구성

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)은 복잡한 질감과 사실적인 반사광을 유지하면서도 웹 환경에서 고속 렌더링이 가능한 차세대 3D 씬 표현 방식입니다. 이번 실전 워크플로우는 AI 에이전트의 형상 제어 능력과 고전적인 3D 렌더링, 전용 훈련 소프트웨어를 다음과 같이 유기적으로 연결했습니다.

1. 지능형 3D 형상 모델링 (GPT-6 Astra + Blender MCP): 자연어 프롬프트로 Blender 내부에 접근하여 캐릭터의 기하학적 형태와 재질을 절차적으로 생성하고 조정합니다.
2. 다각도 합성 데이터셋 렌더링 (Blender Cycles): 완성된 3D 오브젝트를 중심으로 카메라 궤적을 자동 제어하여 약 1,000장의 다각도 고해상도 이미지를 렌더링합니다.
3. 가우시안 스플랫 훈련 및 최적화 (Lichtfeld Studio): 렌더링된 1,000장의 합성 뷰 데이터를 Lichtfeld Studio에 입력하여 3DGS 포인트 클라우드를 훈련하고 최종 .ply 파일을 추출합니다.
4. 웹 기반 검증 및 씬 배포 (PlayCanvas SuperSplat): 브라우저 전용 오픈소스 에디터인 SuperSplat에서 생성된 스플랫 데이터를 로드해 실시간 렌더링 품질을 점검합니다.

4단계 제작 및 실행 가이드

전체 파이프라인의 구체적인 실행 절차와 단계별 프롬프트 구성은 다음과 같습니다.

1단계: 프롬프트 기반 3D 베이스 모델링 (~15분 소요)

Blender에 MCP 서버를 연동한 뒤, 코딩 에이전트 세션에서 참조 이미지와 함께 캐릭터 생성을 요청합니다.

• 참조 이미지(ChatGPT 에이전트 도트 캐릭터의 외형)를 제시하며 3D 메시 형태를 생성하도록 지시합니다.
• 모델이 생성한 초기 결과물을 확인하고 몇 차례의 피드백 프롬프트를 통해 참조 이미지 기반으로 형태와 세부 요소를 미세 조정합니다 (~15분 소요).
• 복잡한 3D UI 조작 없이 순수 프롬프트 지시만으로 완성도 높은 베이스 모델을 완성합니다.

2단계: 다각도 Cycles 렌더링 데이터셋 생성

베이스 모델이 완성되면 가우시안 스플랫 훈련에 필요한 다각도 렌더링을 에이전트에 지시합니다.

• 에이전트에게 3D 씬 내 카메라 궤적을 다양한 각도로 설정하여 렌더링하는 스크립트를 실행하도록 프롬프트를 전달합니다.
• Blender Cycles 렌더러를 활용해 약 1,000장의 다각도 고품질 합성 이미지를 자동 렌더링합니다.
• 전체 작업 시간(~6-7시간) 중 약 95%의 시간이 고품질 렌더링 연산에 소요됩니다.

3단계: Lichtfeld Studio로 가우시안 스플랫 훈련

렌더링된 다각도 이미지들을 3DGS 훈련 소프트웨어로 가져와 최적화합니다.

• Lichtfeld Studio 훈련 파이프라인에 렌더링된 1,000장의 이미지 시퀀스와 카메라 파라미터를 입력합니다.
• 스플랫 최적화 훈련을 거쳐 최종 3D 가우시안 스플랫 결과물인 .ply 파일을 생성합니다.

4단계: PlayCanvas SuperSplat 웹 에디터 검증 및 공유

생성된 .ply 파일을 웹 브라우저에서 즉시 인터랙티브하게 확인합니다.

• 웹 기반 오픈소스 3DGS 도구인 SuperSplat 에디터(superspl.at/editor)에 .ply 파일을 드래그 앤 드롭합니다.
• 브라우저 상에서 선명한 렌더링 품질을 확인하고, 웹 링크 형태로 공유하거나 다운로드합니다. (공개된 다운로드 및 씬 확인 링크: https://superspl.at/scene/ca6a4c9b)

실전 적용 시 인사이트와 트레이드오프

이 워크플로우를 실제 프로덕션 및 3D 에셋 제작에 도입할 때 고려해야 할 핵심 사항입니다.

• 기획 및 모델링 시간의 극적 단축: 3D 모델링 전문 툴 숙련도가 높지 않아도 LLM 에이전트(Astra)와 Blender MCP를 통해 15분 만에 원하는 3D 형태를 생성하고 수정할 수 있습니다.
• 실시간 웹 렌더링 최적화: 고해상도 폴리곤 메시나 복잡한 셰이더 대신 3D 가우시안 스플랫을 사용함으로써, PlayCanvas 웹 엔진 기반 SuperSplat에서 별도 설치 없이 선명하고 인터랙티브한 3D 시각화를 제공합니다.
• 렌더링 및 연산 리소스 고려: 자연어 프롬프팅 자체는 약 15분으로 매우 빠르지만, 스플랫 훈련에 필요한 합성 데이터셋 구축(Blender Cycles 1,000장 렌더링)에 대부분의 시간(~6-7시간의 95%)이 소모되므로 렌더링 리소스를 고려해야 합니다.

원문 출처

• @abstrakt314 X 포스트: @abstrakt314 (@abstrakt314)