sam3d.cpp 공개: C++ 기반 경량 실시간 SAM 3D Body 모션 트래킹 및 3D 메시 복원 도구

Richard Palethorpe(@jichiep)가 Meta의 SAM 3D Body 모델을 C++ 환경으로 구현한 오픈소스 'sam3d.cpp'를 공개했습니다. 실시간 신체 추적, 3D 바디 메시 생성, 60% 수준의 GPU 점유율과 향후 Blender 연동 계획 등 주요 사양을 정리

tau · 2026년 9월 11일

#sam3d-cpp #SAM3DBody #CPP #MotionTracking #3DMesh #OpenSource #LocalAI #DevTools

sam3d.cpp 공개: C++ 기반 경량 실시간 SAM 3D Body 모션 트래킹 및 3D 메시 복원 도구

개발자 Richard Palethorpe(@jichiep)가 2026년 9월 10일, Meta의 SAM 3D Body(Segment Anything 3D Body) 모델을 C++ 환경으로 이식한 오픈소스 프로젝트 'sam3d.cpp'를 공식 GitHub 저장소에 공개했습니다. 이번 프로젝트는 단일 카메라 기반의 실시간 영상 입력 환경에서 사람의 신체 움직임을 추적하고 입체적인 3D 바디 메시(Mesh)를 실시간으로 복원하는 경량화 파이프라인을 목표로 합니다.

sam3d.cpp 실시간 3D 바디 메시 추적 및 모션 복원 렌더링 화면

이미지 출처: @jichiep (Richard Palethorpe) on X

기존 고사양 파이썬(Python) 런타임 및 복잡한 딥러닝 종속성을 걷어내고, 로컬 머신에서 가볍게 구동 가능한 C++ 네이티브 바이너리로 SAM 3D Body 추론 파이프라인을 구현했다는 점에서 로컬 AI 및 컴퓨터 비전 개발자들의 주목을 받고 있습니다.

C++ 네이티브 기반 SAM 3D Body 이식과 실시간 트래킹 파이프라인

sam3d.cpp의 핵심은 Meta가 발표한 SAM 3D Body 아키텍처를 C++ 기반 독립형 도구 세트로 포팅한 것입니다.

현재 저장소에는 신체 모션 추적과 3D 바디 메시 재구성을 전담하는 핵심 컴포넌트인 'sam3d-body'가 작동 가능한 상태로 포함되어 있습니다. 단일 카메라 또는 실시간 비디오 피드로부터 관찰되는 대상의 관절 위치와 포즈를 분석하고, 이에 대응하는 3D 신체 메시 형태를 동적으로 복원해 냅니다.

  • 독립형 C++ 런타임: 무거운 프레임워크 종속성을 최소화하여 로컬 환경에서 신속하게 빌드하고 실행할 수 있는 C++ 기반 구조를 취합니다.
  • 실시간 메시 복원 메커니즘: 카메라 입력을 받아 프레임 단위로 대상의 신체 움직임을 추적하며 즉각적으로 3D 기하 메시를 생성합니다.

복잡한 다중 카메라 장비나 고가의 모션 캡처 수트 없이도 일반 단일 영상 피드에서 신체 3D 메시를 도출할 수 있어, 향후 인터랙티브 미디어 및 로컬 비전 애플리케이션 개발에 유용한 기반 기술을 제공합니다.

60% GPU 점유율 실측과 실시간 추적 최적화 여력

개발자가 공개한 실측 데이터에 따르면, sam3d.cpp의 라이브 트래킹 환경에서 기록된 GPU 점유율은 약 60% 수준입니다.

이러한 점유율 측정치는 현재의 초기 구현 단계에서도 시스템 자원을 독점하지 않으면서 실시간 신체 추적이 원활히 이루어지고 있음을 보여줍니다. 동시에 하드웨어 자원의 40%가 유휴 상태로 남아 있어, 향후 성능 가속과 파이프라인 최적화에 상당한 개선 여유가 존재함을 시사합니다.

  • 자원 배분 여력: 약 60%의 GPU 점유율을 기록함에 따라, 렌더링 엔진이나 그래픽스 후처리 등 동일 머신 내 타 프로세스와의 병행 구동 가능성이 열려 있습니다.
  • 프레임레이트 개선 잠재력: 배치 처리와 GPU 연산 최적화, CPU 파이프라인 분산 등을 통해 라이브 트래킹의 반응 속도와 초당 프레임 수(FPS)를 추가로 끌어올릴 수 있는 여지가 충분합니다.

Blender 익스포터 로드맵과 3D 창작 파이프라인 확장

sam3d.cpp는 단순한 기술 시연에 그치지 않고, 전문 3D 저작 툴과의 데이터 연계를 염두에 두고 개발이 진행되고 있습니다.

현재 버전에서는 sam3d-body를 통한 기본적인 실시간 신체 추적과 메시 시각화가 정상 동작하지만, 생성된 3D 메시 및 애니메이션 데이터를 Blender 등 외부 3D DCC(Digital Content Creation) 소프트웨어로 직접 전송하기 위한 전용 익스포터(Exporter) 기능은 향후 주요 개발 과제로 지정되어 있습니다.

  • 외부 3D DCC 연계 계획: 블렌더(Blender)를 비롯한 전문 저작 소프트웨어로 메시 및 모션 데이터를 손쉽게 넘길 수 있는 전용 익스포터 지원이 논의 중입니다.
  • 초기 개발 단계의 고려사항: 현재 버전은 초기 오픈소스 릴리즈로서 라이브 트래킹 프레임레이트 극대화와 추가적인 GPU/CPU 하드웨어 가속 작업이 지속적으로 진행되고 있는 단계입니다.

블렌더 익스포터 지원이 구체화되면 실시간 모션 캡처 데이터를 3D 캐릭터 리깅이나 애니메이션 작업 흐름에 직접 파이프라인으로 연결하는 작업이 한층 수월해질 전망입니다.

출처