엔비디아, Qwen3.8 Flash Next용 고효율 'FP4' 양자화 모델 공개
엔비디아가 허깅페이스에 BF16 원본 수준의 정밀도를 유지하면서 모델 가중치를 경량화한 Qwen3.8 Flash Next FP4 양자화 모델을 공개했습니다.
#Qwen3.8
TAU-HOME.COM에서 Qwen3.8 태그로 묶인 글입니다.
27B급 Qwen3.8을 16GB GPU에 넣은 Swift 1.5 GSQ-RCO GGUF 양자화 릴리스
UkisAI의 추론 효율화 모델 Swift 1.5 Qwen3.8-27B를 llama.cpp용 초경량 2~3비트 GSQ-RCO GGUF로 패키징한 릴리스와 IQ3_S 16GB 실측 벤치마크 소식을 정리합니다.
단일 DGX Spark에서 Qwen3.8-Flash-Next NVFP4 구동 실측: 1M 컨텍스트와 FP8 KV 캐시
128GB 통합 메모리 단일 DGX Spark에서 Qwen3.8-Flash-Next NVFP4 구동 실측이 공개되었습니다. FP8 KV 캐시로 1M 컨텍스트와 4개 스트림 동시 서빙을 지원합니다.
Mitsuba & HiMitsuba 27B GGUF: 16GB GPU에서 구동하는 ComfyUI 전용 1.58비트 비전 프롬프트 생성 모델
Qwen3.8-27B를 3진(1.58-bit) 양자화해 7.3GB로 압축한 비전 언어 모델 Mitsuba와 무검열 HiMitsuba LoRA가 공개되었습니다. 단일 16GB GPU 환경의 ComfyUI에서 이미지 분석과 고속 프롬프트 작성을 지원합니다.
Rapid-MLX v0.15.4: Apple Silicon용 Qwen3.8-27B TensorFold 및 DFlash2 투기적 디코딩 지원
Apple Silicon 로컬 LLM 추론 엔진 Rapid-MLX v0.15.4가 Qwen3.8-27B 및 GLM-5.3 Flash를 위한 실험적 TensorFold 프로파일과 DFlash2 투기적 디코딩 가속을 지원합니다.
5.95GB 초경량 27B 모델 'Bonsai 2', 가중치 레벨 거절 가드레일 해제 빌드 공개
PrismML의 Qwen3.8-27B 기반 3진법 압축 모델 Bonsai 2(5.95GB)의 거절 회로를 파일 크기 증가 없이 가중치 레벨에서 제거한 dealignai 팀의 CRACK 빌드가 공개되었습니다.
PrismML, 9배 작아진 27B급 3진법 모델 'Bonsai 2' 공개
Qwen3.8 27B 기반으로 성능 손실을 최소화하면서 크기를 5.9GB로 줄인 PrismML의 새로운 플래그십 Ternary 모델 Bonsai 2 27B가 출시되었습니다.