오픈소스 LLM 추론 엔진 '매그니튜드(Magnitude)' 공개… 기기별 커널 자동 튜닝으로 올라마 대비 디코드 평균 2.2배 가속
기기 칩셋에 맞춰 연산 커널을 최대 1분간 자동 튜닝해 올라마(Ollama) 대비 디코드 속도를 11개 모델 평균 2.19배(Mac M4 Pro 기준) 가속하는 오픈소스 로컬 LLM 추론 엔진 '매그니튜드(Magnitude)'가 발표되었습니다. 양자화 KV 캐시와 코딩 에이전트 연동을
#AIAcceleration
TAU-HOME.COM에서 AIAcceleration 태그로 묶인 글입니다.