2.7비트로 IQ2_S 넘은 Leech 격자 기반 Qwen3 초저비트 양자화 공개
퀄컴의 LLVQ 연구를 Rust와 CUDA 커널로 구현해 24개 가중치를 48비트 코드로 묶는 Leech 격자 벡터 양자화 기술이 공개되었습니다. Qwen3 모델군에서 파라미터당 2.7비트 수준으로 압축하면서 llama.cpp의 기존 IQ2_S보다 우수한 출력 품질을 달성했습니다.
오픈소스 거대언어모델 커뮤니티에서 파라미터당 약 2.7비트(2.69~2.82 bpw) 수준으로 모델 용량을 줄이면서도 기존 2비트대 표준 규격보다 정밀한 출력 품질을 내는 새로운 양자화 모델이 공개되었습니다. 2026년 11월 15일 레딧의 r/LocalLLaMA 커뮤니티를 통해 공유된 이 작업은 Qwen3 4B, 8B, 14B 모델에 수학적 24차원 구조인 리치 격자(Leech Lattice) 기반 벡터 양자화를 적용한 결과물입니다.

이미지 출처: https://toolskit.net/ai/news/ai-news-daily-2026-11-15
인공지능 모델에서 양자화(Quantization)는 각 매개변수(가중치)를 표현하는 비트 수를 줄여 메모리 사용량을 낮추고 저사양 기기에서도 모델이 돌아가도록 만드는 기술입니다. 통상 16비트 부동소수점(FP16) 가중치를 4비트나 3비트로 줄일 때는 언어 이해 성능이 비교적 잘 유지되지만, 2비트 영역으로 내려가면 문장 구성력이 급격히 무너지는 이른바 '양자화 절벽' 현상이 발생합니다. 오픈소스 생태계에서는 llama.cpp 진영의 중요도 행렬 기반 양자화 규격인 IQ2_S 등이 주로 쓰여 왔으나 극단적인 정보 손실에 따른 품질 저하가 늘 한계로 지적되었습니다.
이번에 공개된 방식은 개별 가중치를 스칼라 단위로 깎아내는 고전적인 방식 대신, 퀄컴(Qualcomm) 연구진이 발표했던 LLVQ(Leech Lattice Vector Quantization, 리치 격자 벡터 양자화) 논문의 수학적 설계를 오픈소스 추론 파이프라인으로 구현한 것입니다. 24차원 유클리드 공간에서 구(Sphere)를 가장 조밀하게 채우는 수학적 격자 구조인 리치 격자를 활용해, 모델의 가중치 24개를 묶어 하나의 기하학적 좌표 세트로 다루면서 이를 48비트 코드로 압축합니다.
24개 가중치를 48비트로 묶는 리치 격자 벡터 양자화의 원리
가중치를 하나씩 독립적으로 반올림하는 스칼라 양자화(Scalar Quantization)는 비트 수를 낮출수록 오차가 특정 방향으로 누적되는 약점이 있습니다. 반면 벡터 양자화(Vector Quantization)는 여러 가중치를 다차원 공간의 한 점으로 배치한 뒤 가장 가까운 기준 격자점(Lattice Point)으로 한 번에 매핑합니다.
수학적으로 24차원 공간에서는 리치 격자가 기하학적으로 가장 균일하고 밀도 높은 패킹 효율을 제공합니다. 개발자는 이 특성을 활용해 가중치 24개를 한 그룹으로 묶고, 이를 48비트 크기의 격자 코드로 인코딩했습니다.
- 파라미터당 비트 환산: 48비트를 24개의 가중치로 나누면 기본적으로 가중치당 2.0비트가 소요되며, 스케일 팩터와 부가 메타데이터를 포함하더라도 실제 파라미터당 비트 수(bpw)가 2.69~2.82 bpw 수준에 수렴합니다.
- 출력 정밀도 유지: 동일한 캘리브레이션 데이터셋을 기반으로 측정한 비교 테스트에서, 본 모델군은 비슷한 비트율을 갖는 llama.cpp의 기존 IQ2_S 규격보다 높은 문장 생성 및 지시 이행 품질을 기록했습니다.
정보 손실이 필연적인 2비트대 초저비트 환경에서 무작위 오차를 최소화하는 기하학적 격자 설계를 채택함으로써, 기존 스칼라 기반 저비트 기법들이 겪던 출력 왜곡을 크게 완화한 셈입니다.
Rust 독자 구현과 전용 CUDA 커널을 통한 연산 병목 우회
이번 작업은 단순히 모델 가중치를 압축 변환하는 데 그치지 않고, 실제 로컬 환경에서 추론할 수 있도록 퀄컴의 LLVQ 구조를 Rust 언어로 독자 포팅하고 전용 CUDA 커널을 작성해 결합했습니다.
초저비트 벡터 양자화 모델은 디스크 용량과 VRAM 점유율을 획기적으로 줄여주지만, 추론 단계에서 압축된 코드를 복원해 연산하는 과정에 큰 연산 오버헤드가 발생하기 쉽습니다. 특히 가중치 행렬 전체를 다시 압축 해제해 곱하는 고밀도 행렬 연산(Dense Matrix Operations)을 수행하면 메모리 대역폭 이득이 디코딩 지연 시간에 상쇄되어 실제 생성 속도가 크게 떨어집니다.
이를 해결하기 위해 개발자는 추론 과정에서 고밀도 행렬 연산을 직접 거치지 않고 가중치 코드를 다루는 전용 CUDA 커널을 제작했습니다. 압축 코드를 효율적으로 탐색하고 디코딩하는 연산 경로를 GPU 하드웨어에 최적화하여 연산 부담을 분산시켰습니다.
확인된 성능 한계와 공개 현황
주목할 만한 품질 향상에도 불구하고 실사용 환경에서 고려해야 할 명확한 제약과 조건이 존재합니다.
- 추론 속도 격차: 고도로 최적화된 C++ 기반 프레임워크인 llama.cpp의 네이티브 커널과 비교할 때, 특정 실행 시나리오 및 일부 하드웨어 구성에서는 연산 속도에서 성능 격차가 나타납니다.
- 피드백 수집 단계: 현재 Qwen3 4B, 8B, 14B 기반 양자화 모델이 허깅페이스 허브(Hugging Face Hub)에 공개되었으며, 다양한 프롬프트와 벤치마크 환경에서 생성 결과물의 안정성을 검증하기 위한 커뮤니티 피드백 수집이 진행 중입니다.
기업 연구소의 이론적 논문으로 머물던 벡터 양자화 기술이 오픈소스 개발자의 Rust와 CUDA 구현을 통해 소비자용 로컬 하드웨어에서 실제 작동 가능한 형태로 내려왔다는 점에서, 이번 시도는 3비트 미만 초저비트 로컬 구동 생태계의 실질적인 전환점을 보여줍니다.
출처
- Reddit r/LocalLLaMA: Qwen3 4B / 8B / 14B at ~2.7 bits per weight with Leech lattice quantization. Beats IQ2_S on quality
- ToolsKit AI News Daily: AI News Daily (2026-11-15)