Edge0: 35B 모델을 1~2.5GB 메모리로 온디바이스 구동하는 오픈소스 프레임워크
클라우드나 데스크톱 GPU 없이 Apple Silicon 기기에서 피크 메모리 1~2.5GB 수준으로 35B 매개변수 모델을 구동할 수 있도록 설계된 오픈소스 온디바이스 AI 프레임워크 Edge0을 살펴봅니다.
#MLX
TAU HOME에서 MLX 태그로 묶인 글입니다.
TAU HOME에서 MLX 태그로 묶인 글입니다.
클라우드나 데스크톱 GPU 없이 Apple Silicon 기기에서 피크 메모리 1~2.5GB 수준으로 35B 매개변수 모델을 구동할 수 있도록 설계된 오픈소스 온디바이스 AI 프레임워크 Edge0을 살펴봅니다.