NVIDIA Model Optimizer: 양자화·가지치기·증류 통합 모델 가속 툴킷
NVIDIA Model Optimizer(ModelOpt)는 NVFP4·FP8 양자화, 구조화된 가지치기, 지식 증류를 단일 라이브러리로 통합해 TensorRT-LLM, vLLM, SGLang 배포 추론 속도를 최적화하는 오픈소스 프레임워크입니다.
#TensorRT-LLM
TAU-HOME.COM에서 TensorRT-LLM 태그로 묶인 글입니다.
AI 모델 뒤에 숨은 핵심 인프라: 깃허브 오픈소스 저장소 10선
초거대 AI 모델의 이면에서 대규모 서빙과 로컬 실행, 게이트웨이, 벡터 검색, 분산 오케스트레이션을 지탱하는 10대 핵심 오픈소스 인프라 저장소(vLLM, llama.cpp, SGLang, Ollama, LiteLLM, Milvus, Qdrant, TensorRT-LLM, Ray, K