단일 RTX 3090에서 Qwen3.8-27B를 381 t/s로 구동하는 로컬 추론 최적화 스택
GPU 하드웨어 교체 없이 DFlash2 투기적 디코딩, 컨텍스트 룩업, 프리픽스 캐싱을 결합해 단일 RTX 3090(24GB)에서 Qwen3.8-27B 추론 속도를 82 t/s에서 최대 381 t/s(4.6배)로 향상시킨 오픈소스 최적화 스택이 공개되었습니다.
24GB VRAM을 갖춘 단일 엔비디아(NVIDIA) GeForce RTX 3090 그래픽카드 환경에서 고성능 로컬 모델인 Qwen3.8-27B의 텍스트 생성 속도를 초기 약 82 tokens/sec에서 단계별 최적화를 거쳐 최대 381 tokens/sec까지 끌어올린 오픈소스 추론 스택(syv-ai/qwen38-27b-rtx3090)이 공개되었습니다. GPU 추가나 하드웨어 교체 없이 소프트웨어 추론 파이프라인 최적화만으로 초기 속도 대비 약 4.6배의 처리 성능 향상을 달성했습니다.
이미지 출처: @Oluwaphilemon1 via X / syv-ai via GitHub
이번 최적화 사례는 거대언어모델(LLM)의 로컬 구동 시 성능 한계가 단순히 VRAM 대역폭이나 GPU 스펙에만 묶여 있지 않음을 보여줍니다. 투기적 디코딩(Speculative Decoding), 입력 프롬프트 검색(Context Lookup), 프리픽스 캐싱(Prefix Caching)을 정교하게 결합해 순차 연산 병목을 제거한 구체적인 기법과 벤치마크 결과가 함께 공유되었습니다.
단계별 최적화 파이프라인과 벤치마크 추이
공개된 벤치마크에 따르면, 추론 파이프라인의 각 단계가 누적 적용될 때마다 생성 속도가 계단식으로 향상되었습니다.
- 초기 기본 설정: 약 82 tokens/sec
- 최적화된 MTP(Multi-Token Prediction) 적용: 약 114 tokens/sec
- DFlash2 + 컨텍스트 룩업 결합: 약 138 tokens/sec
- 최적화된 룩업 검증 적용: 약 381 tokens/sec
초기 설정 대비 최종 처리량은 약 4.6배에 달합니다. 특히 약 25K 토큰 규모의 문서 복제 및 추출 작업 벤치마크에서 이전 DFlash2 설정이 약 260 tokens/sec를 기록했던 반면, 최적화된 컨텍스트 룩업을 결합한 구성에서는 약 382 tokens/sec까지 속도가 급증했습니다.
DFlash2 투기적 디코딩과 16토큰 컨텍스트 룩업의 결합 원리
일반적인 자동회귀(Autoregressive) 언어모델은 이전 토큰의 출력을 바탕으로 다음 토큰을 하나씩 순차 생성하므로 메모리 대역폭과 연산 지연이 누적됩니다. 이번 최적화 스택은 두 가지 핵심 메커니즘으로 이 병목을 분산했습니다.
첫 번째는 DFlash2 투기적 디코딩입니다. 경량 드래프트 메커니즘이 여러 개의 후보 토큰을 미리 제안하고, 27B 메인 모델이 이를 한 번에 병렬 검증함으로써 순차 생성 단계를 크게 줄입니다.
두 번째는 **컨텍스트 룩업(Context Lookup)**의 결합입니다. 모델이 출력해야 할 내용이 입력 프롬프트 내에 이미 존재하는 문서 복제나 정보 추출 작업의 경우, 프롬프트 내부를 검색해 일치하는 텍스트 시퀀스를 직접 후보로 제안합니다.
- 검증 블록 확장: 일반적인 7개 제안 토큰 검증 대신 최대 16개 토큰 블록을 한 번에 제안
- 높은 수락률 달성: 검증 단계당 약 15/16개의 토큰이 실제로 채택되어 순차 디코딩 횟수 대폭 절감
프롬프트 텍스트 재사용성이 높은 워크로드에서는 메인 모델이 토큰을 일일이 새로 연산하지 않고 검증만 수행하므로 초당 토큰 처리량이 극대화됩니다.
프리픽스 캐싱으로 TTFT 40배 단축과 실제 워크로드별 한계
대용량 문서를 다루는 반복 질의 환경에서는 **프리픽스 캐싱(Prefix Caching)**이 추가 성능 개선을 이끌어냈습니다.
동일한 25K 토큰 문서를 대상으로 두 번째 질의를 수행할 때, 공유된 프롬프트 프리픽스의 연산 결과를 재사용함으로써 최초 토큰 생성 시간(TTFT, Time to First Token)이 기존 22.4초에서 0.56초로 단축되었습니다. 반복 프리픽스 시나리오에서 약 40배 빠른 응답 속도를 기록한 셈입니다.
다만 이러한 최적화 성능을 실제 환경에 적용할 때는 명확한 워크로드 제약을 고려해야 합니다.
- 작업 특성에 따른 성능 편차: 최대 381 tokens/sec는 출력 텍스트가 프롬프트와 강하게 겹치는 25K 토큰 문서 복제 및 추출 작업 기준입니다.
- 일반 대화형 워크로드: 프롬프트 외부의 독창적인 답변을 생성해야 하는 일반 챗(Chat) 환경에서는 약 133 tokens/sec로 측정되었습니다.
- 적합한 활용 분야: 검색 증강 생성(RAG), 긴 문서 요약 및 구조화, 코드 변환 등 프롬프트 내 기존 텍스트를 재가공하는 워크로드에 최적의 효율을 제공합니다.
해당 추론 최적화 스택 구현 코드는 GitHub 오픈소스 저장소(syv-ai/qwen38-27b-rtx3090)를 통해 확인할 수 있습니다.
출처
- GitHub 저장소: syv-ai/qwen38-27b-rtx3090
- @Oluwaphilemon1 X 포스트: Qwen3.8-27B Inference Optimization Breakdown