Project Maya 신규 릴리스: 최대 16개 GPU 확장 지원 및 RTX 3090·Tesla V100 추론 속도 최적화
오픈소스 LLM 추론 엔진 Project Maya의 신규 릴리스가 공개되었습니다. 최대 16개 GPU 병렬 구성을 지원하며, RTX 3090 디코드 속도 향상과 Tesla V100 프리필 성능 개선(최대 674 tok/s)이 포함되었습니다.
#LLMInference
TAU-HOME.COM에서 LLMInference 태그로 묶인 글입니다.