DeepSeek V4.1 Flash 공식 출시: Causal-Encoder-Decoder 비대칭 구조와 890바이트 KV 캐시 혁신

DeepSeek이 552B 파라미터 MoE 모델 'DeepSeek V4.1 Flash'를 공식 출시했습니다. 프롬프트 8B·생성 16B의 비대칭 Causal-Encoder-Decoder 구조, 토큰당 890바이트 수준의 KV 캐시 압축, Thomas Wolf의 포워드 패스 분석과 벤치마

tau · 2026년 9월 11일

#DeepSeek #DeepSeekV41Flash #MoE #KVCache #HuggingFace #AI아키텍처 #AINews

DeepSeek V4.1 Flash 공식 출시: Causal-Encoder-Decoder 비대칭 구조와 890바이트 KV 캐시 혁신

인공지능 연구 기업 DeepSeek이 2026년 9월 10일, 총 552B 파라미터를 갖춘 네이티브 멀티모달 MoE(Mixture of Experts) 모델 'DeepSeek V4.1 Flash'를 공식 출시하고 Hugging Face를 통해 가중치와 기술 리포트를 공개했습니다. 이번 릴리즈는 단순한 파라미터 확장이 아닌, 대규모 언어 모델의 추론 파이프라인과 메모리 구조를 근본적으로 재설계한 아키텍처 혁신에 초점을 맞추고 있습니다.

DeepSeek V4.1 Flash Causal-Encoder-Decoder 아키텍처와 KV 캐시 압축 구조 다이어그램

이미지 출처: DeepSeek AI / Thomas Wolf (Hugging Face) / @NFT_Chen (X)

출시 직후 허깅페이스(Hugging Face) 공동 창업자 토마스 울프(Thomas Wolf)는 115초 분량의 시각화 분석 영상을 통해 V4.1 Flash의 신규 레이어별 포워드 패스(Forward Pass) 메커니즘을 상세히 해설했습니다. 입력 처리(prefill)와 출력 생성(decode)의 연산 비용을 분리하고, 인프라 비용의 주범으로 지목되던 KV 캐시 용량을 대폭 줄여 대규모 서빙 효율을 극대화한 점이 핵심입니다.

Causal-Encoder-Decoder 비대칭 구조: 읽기 8B·쓰기 16B 활성화

DeepSeek V4.1 Flash의 핵심 아키텍처는 '인과적 인코더-디코더(Causal Encoder-Decoder, CED)' 구조입니다.

기존 디코더 온리(Decoder-only) 트랜스포머와 달리, 모델은 20개 레이어의 인과적 인코더와 20개 레이어의 디코더로 분리 구성되어 있습니다. 전체 552B 파라미터 중 문맥을 읽는 프롬프트 입력 단계에서는 약 8B 파라미터만 활성화되며, 답변을 생성하는 디코딩 단계에서는 약 16B 파라미터만 활성화되는 비대칭 설계를 채택했습니다.

토마스 울프의 해설에 따르면, 단일 토큰이 모델에 진입할 때 다음 세 가지 핵심 단계가 순차적으로 실행됩니다.

  • 전문가 동적 라우팅(Expert Routing): 입력 토큰 특성에 따라 MoE 전문가 집합 중 최적의 서브셋으로 즉각 라우팅됩니다.
  • SWA 윈도우 리플레이(SWA Bounded Replay): 슬라이딩 윈도우 어텐션(Sliding Window Attention) 영역에서 최근 토큰 윈도우만 효율적으로 재연산합니다.
  • 글로벌 KV 프로젝션 및 읽기·쓰기: 디코더의 각 레이어가 독립적으로 긴 문맥 메모리를 재계산하는 대신, 인코더 최종 은닉 상태(Hidden State)에서 글로벌 KV 캐시를 직접 투영(Project)하여 참조합니다.

이러한 비대칭 구조와 SWA 리플레이를 통해 영구 저장해야 하는 KV 캐시의 크기를 기존 DeepSeek-V4-Flash 대비 약 1/8(SSD 저장 공간 기준) 수준으로 절감했습니다.

890바이트 KV 캐시와 CSA2·FP4: 메모리 병목 극복

대형 언어 모델의 실운영 서빙에서 가장 큰 비용 장벽은 긴 컨텍스트에 비례해 폭증하는 KV 캐시 메모리 점유율입니다.

DeepSeek V4.1 Flash는 CSA2(Compressed Sparse Attention 2) 기법과 FP4(E2M1) 정밀도의 KV 캐시 양자화 기술을 통합 적용했습니다. 이를 통해 단일 토큰당 컨텍스트 메모리 상태를 약 890바이트 수준으로 압축하는 데 성공했습니다. 이는 초기 V1 모델 대비 약 437배 축소된 수치입니다.

하드웨어 인프라 측면에서의 절감 효과는 매우 구체적입니다.

  • HBM 점유율 감축: GPU 고대역폭 메모리(HBM) 요구량을 이전 세대 대비 약 1/4 수준으로 낮추어, 동일 하드웨어 노드에서 처리 가능한 동시 세션 처리량을 획기적으로 개선했습니다.
  • 스토리지 부하 완화: 호스트 RAM 및 고속 SSD에 영구 보관되는 오프로딩 KV 캐시 볼륨을 약 1/8로 압축하여 대규모 분산 서빙 클러스터의 I/O 병목을 해소했습니다.

벤치마크 지표와 API 전환 일정 및 런타임 고려사항

V4.1 Flash의 구조적 효율성은 주요 벤치마크 결과에서도 확인됩니다.

  • Terminal-Bench 3.0: 30.0점을 기록하여 기존 V4 Pro(11.8점) 대비 큰 폭의 성능 향상을 기록했습니다.
  • 코딩 및 에이전트 태스크: DeepSWE v1.1에서 74.2점을 기록하며 Claude Opus 5급 성능에 근접했으며, CyberGym 88.1점, Automation-Bench 54.8점을 각각 달성했습니다.

클라우드 API 배포 및 서빙 일정은 다음과 같습니다. DeepSeek 공식 발표에 따라 V4.1 Flash는 DeepSeek API에 즉시 배포되었습니다. 2026년 9월 14일부터는 기존 deepseek-v4-pro 엔드포인트로 들어오는 요청이 V4.1 Flash로 자동 라우팅되며, 정식 V4.1 Pro 모델이 출시되기 전까지 V4.1 Flash의 인하된 요율이 일괄 적용됩니다.

인프라 엔지니어링 관점에서의 주의점도 존재합니다. Causal Encoder-Decoder(CED)와 SWA Bounded Replay 기법은 전통적인 디코더 온리 트랜스포머의 실행 파이프라인과 상이하므로, vLLM, SGLang, TensorRT-LLM 등 오픈소스 서드파티 추론 프레임워크를 자체 구축할 경우 전용 커널 및 레이어 매핑 패치 지원 여부를 필히 점검해야 합니다. 아울러 공개된 벤치마크 지표는 공식 기술 리포트 및 초기 커뮤니티 측정치인 만큼, 다국어 처리나 고난도 시각-추론 등 실 서비스 도메인별 실측 검증이 권장됩니다.

출처