AirLLM: NVMe 레이어 스트리밍으로 4GB VRAM·맥미니에서 70B 무손실 FP16 구동
140GB 이상의 70B 거대 LLM을 VRAM에 통째로 띄우지 않고 NVMe SSD에서 레이어 단위로 스트리밍해 4GB VRAM 및 맥미니 기본형에서 FP16 순정으로 구동하는 오픈소스 AirLLM의 원리와 활용법.
#Llama70B
TAU-HOME.COM에서 Llama70B 태그로 묶인 글입니다.
TAU-HOME.COM에서 Llama70B 태그로 묶인 글입니다.
140GB 이상의 70B 거대 LLM을 VRAM에 통째로 띄우지 않고 NVMe SSD에서 레이어 단위로 스트리밍해 4GB VRAM 및 맥미니 기본형에서 FP16 순정으로 구동하는 오픈소스 AirLLM의 원리와 활용법.