엔비디아, Qwen3.8 Flash Next용 고효율 'FP4' 양자화 모델 공개

엔비디아(NVIDIA)가 2026년 10월 16일, 허깅페이스(Hugging Face)를 통해 Qwen3.8 Flash Next 모델의 FP4(4-bit Floating Point) 양자화 버전인 nvidia/Qwen3.8-Flash-Next-FP4-Local을 공식 배포했습니다.

이미지 출처: https://huggingface.co/nvidia/Qwen3.8-Flash-Next-FP4-Local

이번 릴리즈는 대규모 언어 모델의 추론 비용 절감과 로컬 환경에서의 적재 효율을 높이기 위해 엔비디아가 직접 패키징한 것으로, 저정밀도 부동소수점 포맷인 FP4의 실전 배포 가능성을 보여주는 사례로 주목받고 있습니다.

BF16 원본 수준의 정밀도 유지와 FP4 경량화

공개된 공식 모델 카드에 명시된 정보에 따르면, 이번 Qwen3.8 Flash Next FP4 양자화 모델은 원본 가중치 규격인 BF16(Bfloat16) 대비 성능 저하가 거의 발생하지 않는(almost nothing) 수준의 정확도를 유지하는 것으로 설명되었습니다.

일반적으로 4비트 수준의 저비트 양자화는 정밀도 손실 위험이 있지만, 모델 카드 설명 기준 원본 모델의 성능을 거의 보존하면서 모델 가중치 용량을 크게 줄였습니다. 이를 통해 VRAM 용량이 제한된 로컬 하드웨어 환경에서도 Qwen3.8 Flash Next를 이전보다 가볍게 적재할 수 있습니다.

커뮤니티 초기 반응과 단일·다중 GPU 구동 피드백

모델 배포 직후 X 등 오픈소스 커뮤니티 개발자들을 중심으로 초기 구동 소감과 개별 테스트 반응이 공유되고 있습니다.

• 추론 속도 언급: 커뮤니티 사용자(@docdailey)는 2대의 DGX Spark(2 x dgxsparks) 환경에서 단일 실행 기준 초당 약 160 토큰(160 TPS) 수준의 처리 속도를 확인했다고 언급했습니다. 이는 공식 공인 벤치마크가 아닌 개별 사용자의 초기 실측 수치입니다.
• 하드웨어 구동 반응: 가중치 경량화에 따라 단일 GPU에서 구동이 가능하다는 피드백(@0xHyudryu)이나 2x 6k 환경 테스트를 위해 다운로드한다는 반응(@minviable_org) 등이 이어졌습니다. 거대 단일 모델 대신 로컬에서 여러 인스턴스를 나누어 운영할 수 있을 것이라는 기대감도 함께 제기되었습니다.

블랙웰 아키텍처 필수 조건과 런타임 호환성 과제

실무 환경에 이번 FP4 모델을 도입하기 전 확인해야 할 하드웨어 및 소프트웨어 제약 사항도 확인됩니다.

• 하드웨어 가속 제약: FP4 텐서 연산의 네이티브 하드웨어 가속을 활용하기 위해서는 엔비디아 블랙웰(Blackwell) 아키텍처 기반 GPU가 필요합니다. 볼타(V100)나 파스칼(P100) 등 구형 GPU 아키텍처 환경에서는 FP4 네이티브 가속이 지원되지 않아 성능상 이점이 제한될 수 있습니다.
• 프레임워크 지원 대기: 릴리즈 시점 기준으로 vLLM 등 범용 오픈소스 추론 프레임워크의 직접 지원이 완료되지 않았습니다. 실운영에 적용하기 위해서는 호환 런타임 환경을 확인하거나 향후 프레임워크 측의 지원 업데이트를 점검해야 합니다.

출처

• Hugging Face 저장소: nvidia/Qwen3.8-Flash-Next-FP4-Local
• X (@MiaAI_lab): 2026-10-16 모델 릴리즈 소식