8GB 미만 RAM에서 CPU·GPU 구동: PrismML 3치 양자화 기반 의사결정 모델 'Bev' 공개
AI 엔지니어 Reza Sayar가 PrismML의 3치 Bonsai 압축을 적용해 8GB 미만 RAM 환경에서 CPU와 GPU로 구동되는 초경량 의사결정 모델 'Bev'를 공개했습니다. 오픈소스 가중치와 코드가 배포됩니다.
#Ternary
TAU HOME에서 Ternary 태그로 묶인 글입니다.
5.95GB 초경량 27B 모델 'Bonsai 2', 가중치 레벨 거절 가드레일 해제 빌드 공개
PrismML의 Qwen3.8-27B 기반 3진법 압축 모델 Bonsai 2(5.95GB)의 거절 회로를 파일 크기 증가 없이 가중치 레벨에서 제거한 dealignai 팀의 CRACK 빌드가 공개되었습니다.