OpenBMB, 3GB 메모리로 구동되는 온디바이스 MLLM 'MiniCPM-V 4.7' 공개

오픈소스 인공지능 연구팀 오픈BMB(OpenBMB)가 2026년 10월 12일(UTC), 공식 X(@OpenBMB) 및 오픈소스 저장소를 통해 모바일 및 엣지 환경에 특화된 온디바이스 멀티모달 대규모 언어 모델(MLLM) 시리즈 'MiniCPM-V 4.7'을 공식 발표하고 모델 가중치를 공개했습니다.

이미지 출처: @OpenBMB via X

이번 4.7 릴리즈는 스마트폰과 태블릿 등 메모리가 제한된 엣지 기기에서 고성능 MoE(Mixture-of-Experts) 모델을 실시간으로 구동하기 위해 설계되었습니다. 주력 모델인 'MiniCPM-V 4.7 35B-A3B'와 초경량 모델인 'MiniCPM-V 4.7 1B' 2종으로 구성되며, 플래시 스토리지 오프로딩 지연을 해결하는 신규 스케줄링 기법과 시각 토큰 고배율 압축 기술이 전면에 적용되었습니다.

Lookahead Expert Scheduling(LES): 3GB 메모리 환경에서 MoE 오프로딩 가속

35B급 MoE 아키텍처를 온디바이스 환경에서 운용할 때 가장 큰 병목은 제한된 RAM 용량입니다. 가중치를 플래시 스토리지(SSD)에 보관하고 필요할 때마다 동적으로 읽어오는 방식은 I/O 대기 시간으로 인해 토큰 생성 지연을 유발합니다.

OpenBMB는 이 문제를 해결하기 위해 'Lookahead Expert Scheduling(LES)' 기술을 새롭게 도입했습니다.

• 교차 레이어 라우팅 사전 예측: 다음 레이어에서 활성화될 가능성이 높은 전문가 가중치를 사전에 예측하여, 현재 연산과 병렬로 플래시 스토리지에서 미리 로드(prefetch)합니다.
• 연산 우선순위 재배치: 이미 메모리에 적재된 전문가의 연산을 먼저 처리하고, 로딩 중인 전문가는 백그라운드 전송이 완료되는 즉시 투입해 프로세서 유휴 시간을 최소화합니다.
• 수학적 무손실 연산: 사전 예측은 어디까지나 프리페칭과 스케줄링 가이드에만 활용되며, 실제 토큰 연산은 기존 토큰 레벨 라우터의 판정을 그대로 따르므로 바이트 단위까지 원래 모델과 동일한 출력(byte-for-byte identical outputs)을 보장합니다. 별도의 추가 모델 재학습도 요구하지 않습니다.
• 스토리지 접근 최적화: 레이어별 미세 단위 혼합 정밀도 양자화(mixed-precision quantization)와 연속 레이아웃(contiguous layouts)을 적용해 분산된 플래시 읽기 오버헤드를 줄였습니다.

이러한 최적화를 통해 35B-A3B 모델은 단 3GB의 런타임 메모리 점유만으로 iPad Pro M4(16GB) 환경에서 기존 대비 5배 빠른 초당 17토큰 이상(17+ tokens/s), iPhone 17 Pro Max에서 초당 13토큰 이상(13+ tokens/s)의 추론 성능을 기록했습니다.

35B-A3B 및 1B 모델 구성과 16배 하이브리드 시각 토큰 압축

MiniCPM-V 4.7 시리즈는 배포 목적에 맞춘 2종의 모델 라인업을 제공합니다.

1. MiniCPM-V 4.7 35B-A3B

플래그십 온디바이스 모델로, 34개 벤치마크에 걸쳐 멀티모달 이해, STEM 추론, OCR, 장문 비디오 분석 성능을 검증받았습니다. 특히 4배 및 16배 하이브리드 시각 토큰 압축을 지원하여 고해상도 이미지 처리 시 발생하는 연산 비용을 대폭 줄였습니다. 16배 압축 조건에서도 OCRBench 90.4점을 기록해 동급 MoE 모델인 Qwen3.6 35B-A3B 대비 5.2점 앞서는 광학 문자 인식 성능을 보였습니다.

2. MiniCPM-V 4.7 1B

극단적인 저전력 및 경량 배포 환경을 겨냥한 모델입니다. 메모리 및 연산 자원이 극도로 제한된 모바일 및 임베디드 장치에 손쉽게 통합할 수 있도록 개발되었습니다.

Self-Replay 파인튜닝과 모바일·엣지 전반의 배포 생태계

새로운 도메인 적응을 위한 파인튜닝 과정에서 발생하기 쉬운 모델 범용 능력 저하(catastrophic forgetting)를 방지하기 위해 'Self-Replay Fine-Tuning' 기법이 함께 도입되었습니다. 이는 모델의 일반 성능을 유지하면서도 타깃 도메인 역량을 저비용으로 커스터마이징할 수 있는 학습 방식입니다.

배포 생태계 지원 역시 출시 당일부터 폭넓게 개방되었습니다.

• 하드웨어 지원: Apple Silicon, Intel, AMD, Arm, Rockchip 하드웨어에 대한 Day-0 공식 지원을 제공하며, 중국 현지 플랫폼(Huawei, Hygon, Moore Threads, Kunlunxin 등)은 FlagOS를 통해 호환됩니다.
• 추론 엔진 및 도구: SGLang, vLLM, llama.cpp, mlx-vlm, Ollama를 지원합니다.
• 양자화 및 파인튜닝: GGUF, BNB, AWQ, GPTQ, FP8 양자화 포맷을 지원하며, SWIFT 및 LLaMA-Factory 프레임워크를 통해 맞춤 학습이 가능합니다.
• 가중치 및 데모: GitHub, Hugging Face, ModelScope에 가중치가 공개되었으며 웹 데모와 전용 모바일 앱을 함께 제공합니다.

실무 적용 시 고려할 플래시 I/O 대역폭과 성능 변수

MiniCPM-V 4.7 35B-A3B가 보여준 3GB 메모리 구동 결과는 온디바이스 인공지능의 실용성을 한 단계 끌어올렸으나, 실제 프로덕션 배치 시 점검해야 할 기술적 제약도 존재합니다.

첫째, 3GB 메모리 환경에서의 고속 추론은 플래시 스토리지(SSD) 오프로딩과 비동기 프리페칭 파이프라인의 조율에 기반합니다. 따라서 NVMe 읽기 대역폭이 충분하지 않은 보급형 모바일 기기나 스토리지 I/O 부하가 높은 환경에서는 벤치마크 대비 토큰 생성 속도 저하가 발생할 수 있습니다.

둘째, 1B 모델의 구체적인 벤치마크 지표는 출시 공지 스레드에서 요약 처리되었으므로, 초경량 모델의 정확도와 실용성에 대해서는 후속 공개되는 기술 보고서와 커뮤니티의 실측 검증을 확인할 필요가 있습니다.

출처

• OpenBMB 공식 X (@OpenBMB): MiniCPM-V 4.7 출시 발표
• OpenBMB GitHub 저장소: OpenBMB/MiniCPM-V
• OpenBMB Hugging Face: OpenBMB 모델 컬렉션