Liquid AI, MoE 추론 모델 'LFM2.5-24B-A2B' 발표…M5 Max서 초당 184토큰 기록

리퀴드 AI(Liquid AI)가 2026년 10월 13일, 전체 240억(24B) 파라미터 중 단일 토큰 생성 시 24억 5천만(2.45B) 파라미터만 활성화하는 신규 MoE(Mixture of Experts) 추론 모델 'LFM2.5-24B-A2B'를 공식 발표하고 허깅페이스(Hugging Face)에 가중치를 공개했습니다. 답변 생성 전에 내재된 사고(Thinking) 과정을 거치도록 설계된 추론 전용 모델로, 맥 실리콘 환경을 겨냥한 MLX 가중치와 함께 공식 벤치마크 지표가 함께 공개되었습니다.

이미지 출처: Liquid AI / X (@koreabuldak)

이번 공개에서 가장 주목받는 기술적 지표는 온디바이스 및 데스크톱 워크스테이션 환경에서의 추론 처리 효율입니다. 허깅페이스 모델 카드에 따르면, 애플의 차세대 실리콘인 M5 Max 칩 환경에서 llama.cpp 4비트 양자화 모델 구동 시 초당 184토큰(tokens/s)의 생성 속도를 기록했습니다.

24B 규모 중 2.45B만 활성화하는 MoE 추론 구조

LFM2.5-24B-A2B의 모델명에 포함된 'A2B'는 단일 토큰 연산 시 실제로 활성화되는 유효 파라미터(Active Parameters)가 약 24.5억(2.45B) 개 수준임을 뜻합니다.

전체 모델 파라미터는 240억 개에 달하지만, 입력 토큰의 맥락에 따라 필요한 전문가(Expert) 서브네트워크만 선별적으로 호출하는 희소 MoE(Sparse Mixture of Experts) 방식을 채택했습니다.

• 연산 및 메모리 대역폭 절감: 밀집(Dense) 24B 모델은 토큰 하나를 생성할 때마다 240억 개의 가중치 전체를 메모리에서 읽어와야 하지만, LFM2.5-24B-A2B는 2.45B 분량의 가중치만 메모리에서 순차 호출합니다. 토큰당 메모리 대역폭 소비량이 대폭 줄어들어 온디바이스 환경에서 고속 생성이 가능해집니다.
• 상시 사고(Reasoning) 프로세스: 일반 범용 생성 모델과 달리, 사용자의 질의에 즉각 답변을 내놓기 전에 구조화된 생각 과정을 거치는 추론 전용 아키텍처로 훈련되었습니다. 복잡한 논리 구성과 단계별 문제 해결에 최적화된 출력을 제공합니다.

애플 M5 Max서 초당 184토큰…MLX 양자화 배포와 메모리 요구 사양

허깅페이스 모델 카드에 기재된 벤치마크에 따르면, LFM2.5-24B-A2B는 애플 M5 Max 칩 환경에서 초당 184토큰의 처리 속도를 달성했습니다.

다만 이 측정 수치는 특정 구동 조건에서 도출된 결과로, 실무 배포 시 하드웨어 구성과 양자화 옵션을 면밀히 따져보아야 합니다.

• 벤치마크 측정 조건: 공개된 초당 184토큰 지표는 애플 M5 Max 환경에서 llama.cpp 런타임, 4비트 양자화(Q4_K_M), 그리고 4K 컨텍스트 입력 조건을 기준으로 측정되었습니다.
• MLX 가중치 배포 용량: 맥 생태계의 머신러닝 프레임워크인 MLX 전용 양자화 가중치 기준으로 4비트 버전은 약 13.6GB, 8비트 버전은 약 25.5GB 용량으로 배포됩니다.
• 통합 메모리(Unified Memory) 제약: 16GB 통합 메모리를 갖춘 맥(예: 엔트리 맥미니) 환경에서는 4비트 버전(13.6GB) 구동 시에도 macOS 운영체제와 백그라운드 시스템 점유 메모리로 인해 가용 메모리가 매우 빠듯합니다. 정밀도가 높은 8비트 버전(25.5GB)을 원활하게 올리기 위해서는 32GB 이상의 통합 메모리를 갖춘 기기가 필수적입니다.
• 정밀도별 대역폭 트레이드오프: 8비트 모델은 4비트 대비 메모리에서 로드해야 하는 활성 가중치 데이터의 크기가 약 두 배로 늘어나므로, 8비트 구동 시 메모리 대역폭 병목으로 인해 184토큰/초의 속도는 유지되지 않으며 유의미한 속도 저하가 발생합니다.

한국어 공식 지원과 지식 집약적 작업을 위한 RAG 권장

LFM2.5-24B-A2B는 다국어 처리 역량에서도 한국어를 공식 지원 언어 목록에 포함하여 배포되었습니다. 국내 로컬 개발자 및 연구자들이 번역 프롬프트나 서드파티 파인튜닝 없이도 한국어 기반 추론 워크플로우에 직접 활용할 수 있습니다.

• 한국어 지원 언어 등재: 다국어 지원 범주에 한국어가 공식 포함되어 있어, 시스템 프롬프트 및 로컬 한국어 인터페이스 구축이 용이합니다.
• 외부 지식 검색(RAG) 연동 권장: 모델 카드는 방대한 사실 관계나 전문 지식이 요구되는 지식 집약적(Knowledge-intensive) 작업에 대해, 모델의 파라미터 내재 지식에만 의존하기보다는 외부 검색 도구 및 검색 증강 생성(RAG) 파이프라인과 결합하여 사용할 것을 명시적으로 권장하고 있습니다. 추론 모델 고유의 논리적 사고 역량에 최신 외부 검색 정보를 보완하는 결합 아키텍처가 권장 운용 형태입니다.

출처

• Hugging Face 모델 저장소: LiquidAI/LFM2.5-24B-A2B
• 갑오징어 X (@koreabuldak): 2026-10-14 LFM2.5-24B-A2B 벤치마크 및 로컬 메모리 분석