TAU-HOME.COM
LOADING

Recursive, 9GB 크기 1.8비트 MoE 모델 'Boole-32B-A2.5B-Preview' 공개…단일 RTX 5090서 565 tok/s 달성

Recursive 팀이 r/LocalLLaMA를 통해 1.8비트 혼합 양자화와 전문가 가지치기를 적용한 Boole-32B-A2.5B-Preview를 공개했습니다. 9GB 용량으로 단일 RTX 5090에서 초당 565 토큰 생성 속도를 기록했습니다.

tau · 2026년 11월 14일

#양자화 #로컬LLM #MoE #RTX5090 #HuggingFace

Recursive, 9GB 크기 1.8비트 MoE 모델 'Boole-32B-A2.5B-Preview' 공개…단일 RTX 5090서 565 tok/s 달성

Recursive 팀이 2026년 11월 13일 레딧(Reddit)의 로컬 언어 모델 커뮤니티 r/LocalLLaMA를 통해 자사 flint 모델 기반의 초기 1.8비트(1.8-bit) 양자화 프리뷰 모델 'Boole-32B-A2.5B-Preview'를 공개했습니다. 혼합 정밀도 양자화와 전문가 가지치기, 커스텀 연산 커널을 결합해 전체 모델 용량을 9GB 수준으로 압축하면서도 단일 엔비디아(NVIDIA) RTX 5090 그래픽카드에서 초당 565 토큰(565 tok/s)의 생성 속도를 기록한 것이 핵심입니다.

9GB 크기로 압축된 1.8비트 전문가 혼합(MoE) 언어 모델과 단일 GPU 고속 토큰 생성 구조를 나타낸 개념 일러스트

이미지 출처: https://agihunt.info/p/1a1d43ffd93ddd37a00aa3049db

로컬 환경에서 대형 언어 모델을 직접 구동하려는 사용자들에게는 VRAM(비디오 메모리) 용량과 추론 속도가 가장 큰 제약이었습니다. Recursive 팀은 앞서 1비트 양자화 모델인 'Boole-1.7B'를 선보인 뒤, 더 크고 빠른 전문가 혼합 구조 모델을 원하는 커뮤니티 수요에 대응해 이번 프리뷰 빌드를 내놓았습니다.

1.8비트 혼합 양자화와 전문가 가지치기 결합 구조

Boole-32B-A2.5B-Preview는 이름에서 드러나듯 전체 파라미터 규모 32B(320억 개) 가운데 토큰당 약 2.5B(25억 개)만 선택적으로 활성화하는 전문가 혼합(MoE, Mixture of Experts) 구조를 따릅니다. MoE는 모델 전체 지식을 여러 하위 '전문가' 신경망으로 나누어 두고 입력에 필요한 일부만 계산하는 방식으로, 거대 모델의 표현력을 유지하면서 실제 연산량을 줄이는 데 쓰입니다.

Recursive 팀은 여기에 세 가지 경량화·가속 기법을 겹쳐 적용했습니다.

  • 혼합 정밀도 양자화(Mixed-Precision Quantization): 가중치 데이터를 16비트 부동소수점(BF16) 대신 평균 1.8비트 수준으로 압축하되, 민감도가 다른 영역에 서로 다른 정밀도를 배분해 크기와 계산 부하를 줄였습니다.
  • 전문가 가지치기(Expert Pruning): 모델 내부의 전문가 모듈 가운데 기여도가 낮은 경로를 정리해 불필요한 메모리 점유를 덜어냈습니다.
  • 커스텀 커널(Custom Kernel): 초저비트 가중치를 GPU에서 병목 없이 해독하고 행렬 연산을 수행하도록 전용 연산 코드를 최적화했습니다.

공개된 정보에 따르면 이러한 조합을 통해 기존 BF16 형식 대비 모델 크기를 9배 줄였고, 보편적인 4비트 정수(INT4) 양자화 방식과 비교해 추론 속도를 2배 높였습니다.

단일 RTX 5090 환경의 565 tok/s 처리량과 배포 구성

실제 구동 지표로 제시된 수치는 단일 RTX 5090 GPU 기준 초당 565 토큰(565 tok/s)입니다. 전체 용량이 9GB로 억제되면서 소비자용 플래그십 그래픽카드의 비디오 메모리 안에 모델 가중치를 온전히 적재하고도 여유 공간을 남길 수 있는 크기입니다.

배포 방식 역시 로컬 실행 생태계에 맞춰 구성되었습니다. 모델 가중치는 대표적인 AI 모델 저장소인 허깅페이스(Hugging Face)에 로컬 추론 표준 포맷 가운데 하나인 GGUF 형식으로 업로드되었습니다. 이와 함께 동작 확인을 위한 데모 저장소와 커스텀 커널을 지원하는 전용 llama.cpp 포크(fork) 버전이 나란히 제공됩니다.

편집부 관점에서 주목할 지점은 9GB라는 압축 용량과 전용 llama.cpp 포크 배포가 맞물리는 방식입니다. 초저비트 양자화는 모델 파일이 작아져도 표준 추론 엔진이 해당 비트 패킹을 네이티브로 해석하지 못하면 실제 속도 이점을 내기 어렵습니다. Recursive 팀이 가중치 파일과 함께 수정된 llama.cpp 포크를 동시 공개한 것은 1.8비트 혼합 정밀도 연산 경로를 일반 로컬 사용자가 바로 재현할 수 있도록 실행 환경까지 패키징한 선택으로 풀이됩니다.

초기 프리뷰 빌드의 실행 조건과 검증이 필요한 영역

로컬 LLM 사용자 입장에서 32B급 MoE 모델을 9GB 용량으로 다룰 수 있다는 점은 VRAM 16GB~24GB급 환경에서도 대형 모델을 실험할 여지를 넓혀 줍니다. 다만 현재 공개본을 실무나 상시 작업에 투입하기 전에 확인해야 할 제약과 미확인 영역이 분명히 존재합니다.

우선 이번 배포본은 명칭 그대로 초기 프리뷰(Preview) 단계의 빌드입니다. 공식 메인라인 llama.cpp가 아니라 Recursive 팀이 배포한 커스텀 llama.cpp 포크 환경을 별도로 구성해야 정상적인 커널 가속과 모델 로드가 가능합니다.

또한 1.8비트라는 초저정밀도 양자화와 전문가 가지치기를 동시에 적용할 경우 코딩, 추론, 장문 독해 등 세부 태스크별로 정확도 손실이 어느 정도 발생하는지는 공개된 요약 자료만으로 단정할 수 없습니다. 현재까지 확인된 수치는 용량(9GB), 상대 압축·속도 배율(BF16 대비 9배 축소, INT4 대비 2배 고속), 단일 RTX 5090 기준 토큰 생성 속도(565 tok/s)에 집중되어 있으며, 표준 벤치마크 점수나 다중 GPU·하위 VRAM 카드에서의 실측 지표는 별도의 공식 검증 자료 확인이 필요합니다.

출처

Impact-Site-Verification: 9b3ebd10-6c45-44cf-a014-5b8c19b7b285