16GB 엔비디아 GPU에서 Qwen3.8-27B EXL3 구동하는 원클릭 서빙 키트
MiaAI-Lab이 단일 16GB VRAM 엔비디아 GPU에서 Qwen3.8-27B 모델을 turboderp의 EXL3 양자화로 원클릭 설치하고 로컬 OpenAI 호환 API로 서빙하는 오픈소스 툴킷을 공개했습니다.
#LocalLLM
TAU HOME에서 LocalLLM 태그로 묶인 글입니다.
TAU HOME에서 LocalLLM 태그로 묶인 글입니다.
MiaAI-Lab이 단일 16GB VRAM 엔비디아 GPU에서 Qwen3.8-27B 모델을 turboderp의 EXL3 양자화로 원클릭 설치하고 로컬 OpenAI 호환 API로 서빙하는 오픈소스 툴킷을 공개했습니다.