OpenBMB, 3GB 메모리로 구동되는 온디바이스 MLLM 'MiniCPM-V 4.7' 공개
OpenBMB가 Lookahead Expert Scheduling(LES) 기술을 적용한 오픈소스 멀티모달 모델 MiniCPM-V 4.7 시리즈를 공개했습니다. 35B-A3B 모델은 3GB 메모리 환경에서 초당 17토큰 이상의 온디바이스 추론 속도를 구현합니다.
#MLLM
TAU-HOME.COM에서 MLLM 태그로 묶인 글입니다.
TAU-HOME.COM에서 MLLM 태그로 묶인 글입니다.
OpenBMB가 Lookahead Expert Scheduling(LES) 기술을 적용한 오픈소스 멀티모달 모델 MiniCPM-V 4.7 시리즈를 공개했습니다. 35B-A3B 모델은 3GB 메모리 환경에서 초당 17토큰 이상의 온디바이스 추론 속도를 구현합니다.