DNeo: LLM 추론 속도를 1.3배 높이는 새로운 병렬 드래프트 아키텍처와 MoFA 기술
제임슨 샌들러 연구팀이 발표한 DNeo는 MoFA(Mixture-of-Features Attention)와 작업 기억 메커니즘을 도입해 기존 최신 병렬 드래프트 모델 대비 1.3배 빠른 생성 속도를 달성한 새로운 LLM 추론 가속 아키텍처입니다.
거대 언어 모델(LLM, Large Language Model)의 추론 속도를 비약적으로 끌어올리기 위한 새로운 병렬 드래프트 모델 아키텍처 'DNeo'가 학술계에 공개됐다. 제임슨 샌들러(Jameson Sandler) 외 7명의 연구진은 2026년 11월 16일(현지 시각) 아르시브(arXiv)를 통해 관련 연구 논문을 발표하고, 기존 기술의 한계를 극복한 새로운 특징 인코딩 방식과 개선된 추론 가속 기법을 제시했다.

이미지 출처: https://arxiv.org/abs/2611.21925
이번 연구는 대규모 언어 모델이 토큰을 하나씩 순차적으로 생성할 때 발생하는 병목 현상을 해결하기 위해 널리 쓰이는 '추측성 확산 디코딩(Speculative-diffusion decoding)' 기술의 효율성을 한 단계 더 끌어올렸다. 소형 드래프트 모델이 한 번의 전방향 연산(Forward pass)으로 여러 개의 임시 토큰을 만들고, 대형 타겟 모델이 이를 동시에 검증하는 기존 방식을 바탕으로 하면서도, 타겟 모델의 특징을 활용하는 방식에서 고질적으로 지적되던 구조적 문제를 정밀하게 해결했다.
기존 병렬 드래프트 모델의 한계와 특징 인코딩의 문제점
최신 병렬 드래프트 모델인 디플래시(DFlash)나 디스파크(DSpark) 같은 아키텍처들은 타겟 모델이 계산한 풍부한 내부 특징(Feature)을 드래프트 모델에 조건부로 입력하는 '특징 인코딩(Feature encoding)' 방식을 통해 생성 품질을 높여왔다. 하지만 연구진은 이러한 표준 특징 인코딩 방식이 세 가지 심각한 구조적 한계를 안고 있다고 지적했다.
첫째, 기존 방식은 인코딩 투영 과정에서 타겟 모델의 원래 특징 공간을 심각하게 훼손하는 손실성(Lossy) 문제를 안고 있다. 이는 잔차 혼합(Residual mixing)으로 알려진 부작용을 일으킨다. 둘째, 이전에 처리된 제안(Proposal)들에 대한 기록이 전혀 남지 않는 무기억성(Memory-less) 구조다. 셋째, 타겟 모델의 전체 레이어에서 특징을 무작위로 균일하게 샘플링하기 때문에, 실제로 성능에 큰 영향을 미치는 중요한 숨은 상태(Hidden states)들을 누락하게 된다.
MoFA와 작업 기억 메커니즘을 통한 해결책
이러한 문제를 해결하기 위해 연구진이 고안한 핵심 기술이 바로 'MoFA(Mixture-of-Features Attention)'다. MoFA는 경량화된 특징 인코딩 접근법으로, 이전에 거절되었던 제안들을 기억하고 활용할 수 있는 '작업 기억(Working memory)' 장치를 함께 탑재한 것이 특징이다.
여기에 2-탭 인과 합성곱(2-tap causal convolutions), 접두사 전용 교차 어텐션(Prefix-only cross-attention), 그리고 비균일 타겟 레이어 선택(Non-uniform target layer selection) 등 다양한 부가 개선 사항을 유기적으로 결합했다. 이 모든 요소가 통합된 최종 아키텍처가 바로 'DNeo'다.
1.3배 빨라진 생성 속도와 실무적 의미
연구 결과에 따르면, DNeo는 기존 최신 기술(SoTA, State-of-the-Art)인 'DFlash-2'와 비교해 드래프트 모델의 규모나 최종 생성 품질에 전혀 영향을 주지 않으면서도 1.3배 빠른 생성 속도를 달성했다.
이는 대규모 언어 모델을 실제 서비스 환경에서 운영할 때 고질적인 문제였던 응답 지연 시간(Latency)을 줄이고 서버 운영 비용을 절감하는 데 직접적인 도움을 줄 수 있다. 드래프트 모델의 크기를 키우거나 답변 품질을 희생하지 않고도 순수하게 아키텍처의 효율성 개선만으로 속도를 끌어올렸다는 점에서, 고성능 AI 인프라를 구축하려는 개발자와 엔지니어들에게 중요한 기술적 이정표가 될 것으로 보인다. 다만 본 연구는 아르시브에 제출된 학술 논문 단계의 성과로, 실제 프로덕션 환경이나 다양한 오픈소스 모델 가중치에 적용했을 때의 세부적인 최적화와 추가 검증은 앞으로의 과제로 남아 있다.