AI 모델 뒤에 숨은 핵심 인프라: 깃허브 오픈소스 저장소 10선
초거대 AI 모델의 이면에서 대규모 서빙과 로컬 실행, 게이트웨이, 벡터 검색, 분산 오케스트레이션을 지탱하는 10대 핵심 오픈소스 인프라 저장소(vLLM, llama.cpp, SGLang, Ollama, LiteLLM, Milvus, Qdrant, TensorRT-LLM, Ray, K
#TensorRT-LLM
TAU HOME에서 TensorRT-LLM 태그로 묶인 글입니다.
TAU HOME에서 TensorRT-LLM 태그로 묶인 글입니다.
초거대 AI 모델의 이면에서 대규모 서빙과 로컬 실행, 게이트웨이, 벡터 검색, 분산 오케스트레이션을 지탱하는 10대 핵심 오픈소스 인프라 저장소(vLLM, llama.cpp, SGLang, Ollama, LiteLLM, Milvus, Qdrant, TensorRT-LLM, Ray, K