AI 모델 뒤에 숨은 핵심 인프라: 깃허브 오픈소스 저장소 10선
초거대 AI 모델의 이면에서 대규모 서빙과 로컬 실행, 게이트웨이, 벡터 검색, 분산 오케스트레이션을 지탱하는 10대 핵심 오픈소스 인프라 저장소(vLLM, llama.cpp, SGLang, Ollama, LiteLLM, Milvus, Qdrant, TensorRT-LLM, Ray, K
#llamacpp
TAU HOME에서 llamacpp 태그로 묶인 글입니다.
TAU HOME에서 llamacpp 태그로 묶인 글입니다.
초거대 AI 모델의 이면에서 대규모 서빙과 로컬 실행, 게이트웨이, 벡터 검색, 분산 오케스트레이션을 지탱하는 10대 핵심 오픈소스 인프라 저장소(vLLM, llama.cpp, SGLang, Ollama, LiteLLM, Milvus, Qdrant, TensorRT-LLM, Ray, K