단일 RTX 3090에서 Qwen3.8-27B를 381 t/s로 구동하는 로컬 추론 최적화 스택
GPU 하드웨어 교체 없이 DFlash2 투기적 디코딩, 컨텍스트 룩업, 프리픽스 캐싱을 결합해 단일 RTX 3090(24GB)에서 Qwen3.8-27B 추론 속도를 82 t/s에서 최대 381 t/s(4.6배)로 향상시킨 오픈소스 최적화 스택이 공개되었습니다.
#PrefixCaching
TAU-HOME.COM에서 PrefixCaching 태그로 묶인 글입니다.