양자화 모델 애블리터레이션 팁: 압축 후 가공해야 성능 저하를 막는 이유
dealign.ai가 공개한 저비트 양자화 모델 애블리터레이션(Abliteration) 노하우에 따르면, 모델을 먼저 압축한 뒤 그 위에 언센서드 가공을 수행해야 거부 반응 재발과 성능 훼손을 방지할 수 있습니다.
#quantization
TAU-HOME.COM에서 quantization 태그로 묶인 글입니다.
Unsloth, Qwen3.8-27B 지원 Dynamic 3.0 GGUF 양자화 파일 공개
Unsloth가 Qwen3.8-27B를 위한 Dynamic 3.0 GGUF 가중치를 공개하며 6.2GB부터 22GB까지 다양한 양자화 옵션을 제시했습니다. 변경 사항과 고려할 한계를 정리합니다.
27B급 Qwen3.8을 16GB GPU에 넣은 Swift 1.5 GSQ-RCO GGUF 양자화 릴리스
UkisAI의 추론 효율화 모델 Swift 1.5 Qwen3.8-27B를 llama.cpp용 초경량 2~3비트 GSQ-RCO GGUF로 패키징한 릴리스와 IQ3_S 16GB 실측 벤치마크 소식을 정리합니다.
12GB 그래픽카드용 27B 모델이 1,005줄 3D 햄스터 시뮬을 만들었다
Mirai S Qwen3.8-27B 2.4비트 양자화 모델이 프롬프트 1회와 후속 3회로 1,005줄 단일 HTML 3D 햄스터 시뮬레이션을 생성한 실측 데모를 정리합니다. 게이밍 카드 1장 구동 주장과 호환성 제약을 검증된 범위에서만 다룹니다.
Blackfrost AI, BF16·FP8·EXL3·NVFP4 4대 포맷 지원 공식 'Cyber-Frost-Harness' 오픈소스 공개
Blackfrost AI가 보안 연구 모델 CYBER-FROST 3.8의 BF16, FP8, EXL3, NVFP4 배포판에 공식 실행 하네스를 추가하고 GitHub에 오픈소스로 공개했습니다. Spark TensorFold 호환 및 범용 모델 지원 특징을 짚어봅니다.
Mia AI Lab, 신규 캘리브레이션 적용 GLM-5.3-Flash 4비트 EXL3 양자화 모델 공개
Mia AI Lab이 새로운 캘리브레이션 기술로 MoE 레이어 양자화 오차를 최대 46% 줄이고 코딩 정확도를 개선한 GLM-5.3-Flash 4bit(EXL3 4bpw TensorFold) 드롭인 업그레이드 모델을 공개했습니다.
Qwen3.8-Flash-Next, 단일 32GB GPU 구동 프리뷰 공개… 80+ tok/s 달성
AgentionAI가 125B MoE 구조의 Qwen3.8-Flash-Next 모델을 단일 32GB GPU 환경에서 구동하는 특수 양자화 프리뷰를 공개했습니다. N-gram 오프로드와 로터 기반 양자화로 28.8 GiB 점유 및 80+ tok/s 생성 속도를 보고했습니다.
NVIDIA Model Optimizer: 양자화·가지치기·증류 통합 모델 가속 툴킷
NVIDIA Model Optimizer(ModelOpt)는 NVFP4·FP8 양자화, 구조화된 가지치기, 지식 증류를 단일 라이브러리로 통합해 TensorRT-LLM, vLLM, SGLang 배포 추론 속도를 최적화하는 오픈소스 프레임워크입니다.
Qwen3.8-27B 로컬 에이전트 코딩 실전 팁: 벤치마크 수치 대신 2.50 bpw(GSQ-RCO IQ2_XS) 양자화를 써야 하는 이유
정적 벤치마크 98.2% 유지율과 달리, 로컬 에이전트 코딩에서 극단적 저비트 Qwen3.8-27B는 무한 계획 루프와 파일 삭제를 유발합니다. 12GB VRAM 환경에서 실전 작업을 완수하는 GSQ-RCO IQ2_XS(2.50 bpw)와 Q4_0 KV 캐시 최적화 팁입니다.