디퓨전젬마를 Jev처럼: 토큰 생성 없이 슬롯 확률 직접 판독으로 초고속 구조화 의사결정 구현하기
DiffusionGemma 26B-A4B 모델에서 JSON 토큰 생성 대신 고정 캔버스에 결정 슬롯만 열어두고 확률을 즉시 판독해 Jev 호환 로컬 의사결정 API를 구축하는 vLLM 패치 기반 최적화 팁.
#DiffusionGemma
TAU HOME에서 DiffusionGemma 태그로 묶인 글입니다.
vLLM, DiffusionGemma 기반 단일 스텝 의사결정 모드 지원 시작
vLLM이 텍스트 디퓨전 모델 DiffusionGemma를 활용해 캔버스에 템플릿을 고정하고 단 1회의 디노이징 스텝으로 Yes/No, 다지선다, 점수 및 신뢰도 확률 분포를 즉시 추출하는 Jev 스타일 구조화 추론을 지원합니다.