로컬 AI 사운드 스튜디오 'Audio Studio MCP', Windows 및 NVIDIA GPU 지원 공식 발표
클라우드 연결과 API 키 없이 로컬 PC에서 BGM 및 효과음을 생성·편집할 수 있는 오픈소스 오디오 도구 Audio Studio MCP가 Windows 지원을 시작했습니다.
#LocalAI
TAU-HOME.COM에서 LocalAI 태그로 묶인 글입니다.
바이두, 100페이지 PDF를 한 번에 읽는 3B 로컬 오픈소스 'Unlimited OCR' 공개
바이두가 32k 컨텍스트와 3B 파라미터로 100페이지 분량의 PDF를 페이지 분할 없이 로컬에서 연속 분석하는 오픈소스 'Unlimited OCR'을 공개했습니다.
외장 GPU 없이 노트북에서 대형 AI 모델 구동하는 오픈소스 'colibri'
외장 그래픽 카드 없이 일반 노트북에서 활성 가중치 관리와 디스크 오프로딩으로 대형 모델을 로컬 실행하고 Claude Code와 연동하는 오픈소스 도구 colibri의 원리와 활용법.
AirLLM: NVMe 레이어 스트리밍으로 4GB VRAM·맥미니에서 70B 무손실 FP16 구동
140GB 이상의 70B 거대 LLM을 VRAM에 통째로 띄우지 않고 NVMe SSD에서 레이어 단위로 스트리밍해 4GB VRAM 및 맥미니 기본형에서 FP16 순정으로 구동하는 오픈소스 AirLLM의 원리와 활용법.
단일 RTX 3090에서 Qwen3.8-27B를 381 t/s로 구동하는 로컬 추론 최적화 스택
GPU 하드웨어 교체 없이 DFlash2 투기적 디코딩, 컨텍스트 룩업, 프리픽스 캐싱을 결합해 단일 RTX 3090(24GB)에서 Qwen3.8-27B 추론 속도를 82 t/s에서 최대 381 t/s(4.6배)로 향상시킨 오픈소스 최적화 스택이 공개되었습니다.
Modly: 로컬 GPU에서 사진을 3D 메시로 변환하는 오픈소스 데스크톱 앱
클라우드 처리나 유료 구독 없이 사용자 로컬 GPU에서 사진을 3D 메시 모델로 변환하는 오픈소스 데스크톱 도구 'Modly'가 공개되었습니다. Windows·Linux·Apple Silicon macOS 지원, 시각적 워크플로우 빌더, 인앱 메시 최적화 및 외부 모델 확장을 제공합니다
CocoIndex Code: 로컬 AST 기반 임베딩으로 구현하는 시맨틱 코드 검색 도구
외부 API 키나 코드 유출 없이 로컬 환경에서 AST 기반 구조 청킹과 임베딩을 수행하여, Claude 및 Cursor 등 코딩 에이전트의 컨텍스트 토큰 사용량을 약 70% 절감하는 오픈소스 도구 CocoIndex Code를 살펴봅니다.
Jev의 오픈소스 로컬 대안 'Laya': 인코더 기반 고속 판단 모델 아키텍처
호스팅 전용 의사결정 API인 Jev를 대체하는 Apache 2.0 라이선스의 로컬 오픈소스 판단 모델 Laya의 동작 원리와 35ms 벤치마크, 미세조정 전략 정리.
VoiceStudio: 로컬 환경에서 구동되는 오픈소스 올인원 AI 보이스 스튜디오
구독이나 계정 등록 없이 PC 로컬에서 100% 동작하는 오픈소스 VoiceStudio. 600개 이상 언어 음성 복제, 영상 더빙, 텍스트 전사 및 OpenAI 호환 API 기능을 제공합니다.
마이크로소프트, 엔비디아 RTX 스파크 탑재 '서피스 랩톱 울트라' 공개…깃허브 코파일럿 로컬 온디바이스 코딩 지원
마이크로소프트가 엔비디아 RTX 스파크 N1X 기반 서피스 랩톱 울트라를 공개하고, 온디바이스 코딩 모델 MAI Code 1.1 Flash와 하이브리드 인텔리전스 비전을 통해 단말기 내 깃허브 코파일럿 로컬 구동을 공식 지원합니다.
Claude Cowork의 오픈소스 대안 'OpenWork' — 로컬 파일 작업과 MCP 공유 지원
Claude Cowork과 Codex의 무료 오픈소스 대안인 OpenWork가 공개되었습니다. 로컬 머신 파일 위에서 AI 에이전트를 구동하며, 50개 이상의 클라우드 LLM과 Ollama 로컬 모델, OpenCode 기반 플러그인 및 크로스 에이전트 MCP 공유를 지원합니다.
Mitsuba & HiMitsuba 27B GGUF: 16GB GPU에서 구동하는 ComfyUI 전용 1.58비트 비전 프롬프트 생성 모델
Qwen3.8-27B를 3진(1.58-bit) 양자화해 7.3GB로 압축한 비전 언어 모델 Mitsuba와 무검열 HiMitsuba LoRA가 공개되었습니다. 단일 16GB GPU 환경의 ComfyUI에서 이미지 분석과 고속 프롬프트 작성을 지원합니다.
Qwen3.8-Flash-Next, 단일 32GB GPU 구동 프리뷰 공개… 80+ tok/s 달성
AgentionAI가 125B MoE 구조의 Qwen3.8-Flash-Next 모델을 단일 32GB GPU 환경에서 구동하는 특수 양자화 프리뷰를 공개했습니다. N-gram 오프로드와 로터 기반 양자화로 28.8 GiB 점유 및 80+ tok/s 생성 속도를 보고했습니다.
구글 Antigravity SDK, LiteRT 엔진 기반 'Gemma 4' 로컬 오프라인 실행 공식 지원
구글이 Antigravity SDK에 Google AI Edge의 LiteRT 엔진을 접목하여 Gemma 4 26B A4B 오픈 모델을 완전한 오프라인 환경에서 API 비용 없이 구동하는 로컬 에이전트 지원을 발표했습니다.
노트북에서 돌리는 Qwen-Image-2.1 무검열 세팅: Q4_K_M과 텍스트 인코더 교체 팁
Qwen-Image-2.1을 로컬 환경에서 프롬프트 거부 없이 구동하는 실전 팁. 7B DiT 주간은 Q4_K_M GGUF(4.68GB)로 VRAM을 절감하고, 8B 텍스트 인코더를 Heretic GGUF로 교체해 품질 저하 없이 거부율을 5%로 낮추는 ComfyUI 세팅 가이드.
RTX 5070 12GB 환경에서 MiniMax H3 15초 핸드헬드 비디오 로컬 생성 워크플로우
RTX 5070 12GB 단일 GPU 환경에서 MiniMax H3 Hybrid V2 INT8 모델과 Turbo LoRA를 활용해 15초 핸드헬드 영상을 ComfyUI로 로컬 생성하는 설정법, 7~8분 생성 시간 실측치 및 구조화된 프롬프트 워크플로우.
12GB GPU에서 MiniMax H3 비디오 돌리기: Kijai INT8 VAE로 VRAM 46% 절감 및 최적화 세팅
RTX 5070 12GB 등 중저가 VRAM 환경에서 고용량 MiniMax H3 비디오를 생성할 때, Kijai의 INT8 ConvRot VAE를 적용해 VRAM 소모를 4,965MB에서 2,677MB로 46% 줄이고 화질 손실 없이 15초 더 빠르게 생성하는 실전 세팅 팁.
THIS / THAT Model 1.0 공개: 30.9ms 극저지연과 제로 출력 토큰의 2B 오픈소스 의사결정 모델
Flock.io가 2B 규모의 오픈소스 의사결정 모델 THIS / THAT Model 1.0을 공개했습니다. 텍스트 토큰 생성 대신 히든 스테이트에서 직접 판단을 판독하여 노트북 GPU에서 30.9ms 속도로 분류, 라우팅, 유효성 검증을 처리하는 구조와 활용법을 정리합니다.
0달러로 구축하는 로컬 AI 생태계: 개발자를 위한 필수 오픈소스 깃허브 저장소 10선
클라우드 API 구독료 없이 개인 하드웨어에서 LLM 추론부터 이미지 생성, 음성 인식, 분산 클러스터링까지 자급자족할 수 있는 필수 오픈소스 깃허브 프로젝트 10개(llama.cpp, Jan, Ollama, ComfyUI, exo 등)를 정리합니다.
GPU 없이도 로컬에서 올인원 AI 구동: OpenAI 호환 오픈소스 런타임 'LocalAI'
API 비용과 데이터 클라우드 전송 걱정 없이 LLM, 음성, 비전, 에이전트를 로컬에서 구동하는 LocalAI. OpenAI·Anthropic 규격 호환 엔드포인트, llama.cpp·vLLM·MLX 스왑형 백엔드, WebUI 및 CPU 지원 기능을 정리합니다.
Edge0: 35B 모델을 1~2.5GB 메모리로 온디바이스 구동하는 오픈소스 프레임워크
클라우드나 데스크톱 GPU 없이 Apple Silicon 기기에서 피크 메모리 1~2.5GB 수준으로 35B 매개변수 모델을 구동할 수 있도록 설계된 오픈소스 온디바이스 AI 프레임워크 Edge0을 살펴봅니다.
sam3d.cpp 공개: C++ 기반 경량 실시간 SAM 3D Body 모션 트래킹 및 3D 메시 복원 도구
Richard Palethorpe(@jichiep)가 Meta의 SAM 3D Body 모델을 C++ 환경으로 구현한 오픈소스 'sam3d.cpp'를 공개했습니다. 실시간 신체 추적, 3D 바디 메시 생성, 60% 수준의 GPU 점유율과 향후 Blender 연동 계획 등 주요 사양을 정리
외장 GPU 없이 로컬에서 돌리는 AI 3D 애니메이션: Kimodo.cpp 프롬프트 체이닝 & 리타게팅 가이드
NVIDIA Kimodo 모션 디퓨전 모델을 C++/GGML로 포팅한 kimodo.cpp를 활용해 무거운 외장 GPU 없이 로컬 환경에서 텍스트 프롬프트로 3D 캐릭터 애니메이션을 생성하고 모션을 연결하는 워크플로우를 정리합니다.
AI 중계자의 종말: 하네스 유출과 로컬 시대의 서막
Claude Code 하네스 구조 유출이 상징하는 것 — 불투명한 과금, AI 통제 욕망, 그리고 중계자 없는 직접 연결 시대의 필연성. 미르의 시각.