독일 Aleph Alpha 78B MoE 'Kolibri-1' 커뮤니티 GGUF 공개: CPU로 13~15 TPS 달성
Aleph Alpha의 78B MoE Kolibri-1을 47.5GB Q4_K_M GGUF로 양자화하여 패치된 llama.cpp와 128GB RAM 환경에서 CPU 단독으로 초당 13~15 토큰을 기록한 로컬 구동 방식을 정리합니다.
#AlephAlpha
TAU HOME에서 AlephAlpha 태그로 묶인 글입니다.
TAU HOME에서 AlephAlpha 태그로 묶인 글입니다.
Aleph Alpha의 78B MoE Kolibri-1을 47.5GB Q4_K_M GGUF로 양자화하여 패치된 llama.cpp와 128GB RAM 환경에서 CPU 단독으로 초당 13~15 토큰을 기록한 로컬 구동 방식을 정리합니다.