TAU-HOME.COM
LOADING

로컬 LLM 실행 가능 여부 판정: `fit.py` 스크립트와 macOS 메모리 함정

16GB 메모리 노트북에서 대형 언어 모델(LLM)을 다운로드하기 전 1분 만에 실행 가능성을 판정하는 `fit.py` 스크립트와 macOS 통합 메모리의 숨겨진 10.9GB 상한선 함정이 공개되었습니다. 가중치 계산법과 KV 캐시 산수를 통해 모델 구동 여부와 예상 토큰 속도를 사전에

tau · 2026년 11월 21일

#LLM #로컬 LLM #메모리 관리 #macOS #GPU #VRAM #KV 캐시 #llama.cpp #Qwen3

로컬 LLM 실행 가능 여부 판정: `fit.py` 스크립트와 macOS 메모리 함정

로컬 LLM 실행 가능 여부와 메모리 한계를 분석하는 fit.py 스크립트 실행 화면

이미지 출처: https://mahmadmanzoor.com/blog/will-this-llm-run-on-my-laptop

인터넷에서 화제가 되는 대형 언어 모델(LLM, Large Language Model: 방대한 텍스트 데이터를 학습해 사람처럼 문장을 생성하고 대화하는 인공지능 모델)을 로컬 기기에서 구동해 보려 할 때, 우리는 흔히 무작정 수십 기가바이트에 달하는 가중치 파일을 내려받곤 합니다. 하지만 느린 네트워크 속도로 파일을 다 받고 난 뒤 실행해 보면 팬만 요란하게 돌며 끔찍하게 느린 속도로 텍스트를 뱉어내기 일쑤고, 결국 "로컬 LLM은 고사양 그래픽카드가 있는 사람 전용이구나"라며 포기하고 클라우드 API로 돌아가게 됩니다.

이러한 시행착오를 줄이고 모델을 다운로드하기 전에 기기에서 실제로 구동이 가능한지, 그리고 어느 정도의 속도가 나올지 미리 계산할 수 있는 파이썬 스크립트(fit.py)와 하드웨어 분석 내용이 공개되었습니다. 16GB 메모리를 탑재한 애플 실리콘 맥북 환경을 기준으로, 메모리와 대역폭이 로컬 AI 성능을 어떻게 좌우하는지 그 구체적인 산수와 함정을 짚어봅니다.

모델 실행을 결정하는 두 가지 핵심 요소: 메모리와 대역폭

로컬 LLM의 구동 여부와 생성 속도는 주관적인 느낌이 아니라 철저한 하드웨어 수치로 결정됩니다. 핵심을 이루는 지표는 크게 두 가지입니다.

  • 메모리(Memory): 모델이 정상적으로 로드될 수 있는지를 결정합니다. 모델의 가중치(Weights) 파일 크기, 대화 맥락을 기억하는 KV 캐시(KV Cache: 이전 연산의 키와 값 벡터를 저장해 매번 재계산하지 않도록 만드는 임시 메모리 공간), 그리고 런타임이 사용하는 약간의 작업 공간을 합친 총량이 사용 가능한 그래픽 메모리(VRAM) 한계 이내여야 합니다. 이를 초과하면 속도가 급격히 떨어지거나 아예 구동에 실패합니다.
  • 대역폭(Bandwidth): 토큰(Token: AI가 문장을 처리하고 생성할 때 사용하는 단어·형태소 등의 기본 단위)이 생성되는 속도의 한계를 정합니다. AI는 하나의 토큰을 만들어낼 때마다 자신이 가진 모든 가중치 데이터를 메모리에서 읽어와야 합니다. 내부 연산 비용에 비해 메모리 읽기 비용이 훨씬 크기 때문에, 생성 속도는 메모리 대역폭을 읽어들이는 바이트 수로 나눈 값이라는 엄격한 물리적 상한선을 갖습니다.

1바이트도 받지 않고 계산하는 fit.py 스크립트와 가중치 산수

모델 파일을 일일이 내려받지 않고도 구조를 파악할 수 있는 이유는 허깅페이스(Hugging Face: 전 세계 AI 연구자들이 모델과 데이터셋을 공유하는 오픈소스 플랫폼)에 공개된 각 모델의 config.json 설정 파일 덕분입니다. 이 파일에서 레이어 수, 헤드 수 등의 핵심 파라미터만 읽어오면 메모리 점유율을 정확히 산출할 수 있습니다.

  • 가중치(Weights) 계산: 모델의 파라미터 수에 양자화(Quantization: 모델의 수치 정밀도를 낮추어 메모리 사용량을 줄이는 압축 기술) 방식을 적용한 비트 수를 곱해 용량을 산출합니다. 예를 들어 4.85비트를 사용하는 Q4_K_M 양자화 방식을 적용하면 10억 파라미터당 약 0.61GB의 용량이 필요합니다.
  • KV 캐시 함정: 많은 사용자가 모델 가중치 용량만 고려하고 KV 캐시를 예산에 넣지 않습니다. 프롬프트가 길어질수록 캐시 용량이 커져 32k 토큰 컨텍스트 환경에서는 캐시 크기만 수 기가바이트에 달해 전체 가중치 용량의 절반을 넘나들기도 합니다. 그룹화 쿼리 주의(GQA, Grouped-Query Attention: 키와 값 헤드 수를 줄여 메모리 사용량을 낮추는 어텐션 최적화 기법) 구조나 슬라이딩 윈도 방식이 적용된 모델은 이 캐시 부담을 크게 줄여줍니다.

맥(Mac) 사용자들의 함정: 16GB RAM은 전용 VRAM이 아니다

애플 실리콘(Apple Silicon) 맥 제품군은 중앙처리장치(CPU)와 그래픽처리장치(GPU)가 통합 메모리(Unified Memory)를 공유하기 때문에 로컬 AI 구동에 유리한 점이 많지만, macOS 시스템이 GPU에 할당해 주는 메모리에는 명확한 상한선이 존재합니다.

  • 숨겨진 유선 메모리 한계: 16GB RAM을 탑재한 M1 Pro 맥에서 llama-server 등을 통해 장치 목록을 확인해 보면, Metal(메탈: 애플 기기의 그래픽 및 컴퓨팅 가속을 담당하는 저수준 API)이 GPU에 허용하는 가용 메모리는 16GB가 아니라 약 10.9GB(10,922 MiB)에 불과합니다. 따라서 가중치와 KV 캐시, 컴퓨팅 버퍼를 합산한 총량이 이 10.9GB 예산 안에 들어와야 합니다.
  • 수동 상한 조정(sysctl): 최신 macOS 버전에서는 sysctl iogpu.wired_limit_mb 명령어를 통해 GPU의 유선 메모리 상한선을 일시적으로 조정할 수 있습니다. 예를 들어 sudo sysctl iogpu.wired_limit_mb=13312 명령으로 약 13GB까지 늘려 쓸 수 있습니다. 다만 이 설정은 재부팅 시 초기화되며, 시스템 안정성과 다른 앱 구동을 위해 최소 3GB 정도의 여유 공간을 남겨두어야 스와핑(Swapping: 주기억장치 부족 시 디스크 일부를 메모리처럼 사용하여 성능이 극단적으로 저하되는 현상)으로 인한 속도 저하를 막을 수 있습니다.

밀집 모델과 혼합 전문가(MoE) 모델의 차이

공개된 fit.py 스크립트를 통해 다양한 오픈 모델을 시뮬레이션해 보면 뚜렷한 특징이 나타납니다. 16GB M1 Pro 환경에서 Qwen3-8B(Q4_K_M 양자화) 모델은 32k 컨텍스트를 포함해 약 10.8GB를 차지하므로 안정적으로 구동할 수 있는 안전한 선택지입니다. 반면 14억 파라미터 규모의 Qwen3-14B는 32k 환경에서 약 15.3GB를 요구해 기본 GPU 예산을 초과합니다.

특히 MoE(Mixture-of-Experts: 거대한 모델을 여러 개의 세부 전문가 네트워크로 나누고, 토큰마다 필요한 일부 전문가만 활성화하여 연산 효율을 높이는 아키텍처) 모델은 독특한 특성을 보여줍니다. 전체 파라미터는 300억 개에 달해 가중치 저장 공간은 많이 차지하지만, 토큰당 실제로 활성화되는 파라미터는 3억 개 수준으로 적기 때문에 메모리 대역폭 대비 토큰 생성 속도(t/s)가 일반 밀집 모델보다 4~5배 가량 높게 나타납니다.

llama.cpp 같은 프레임워크에서는 --cpu-moe 등의 플래그를 활용해 MoE 모델의 전문가 가중치를 시스템 RAM(CPU 영역)에 배치하고 핵심 연산 부위만 GPU에 남기는 방식으로 한계를 우회할 수 있습니다. 모델을 무작정 내려받기 전에 스크립트로 사양을 검증하는 습관은 불필요한 시간 낭비를 막아주는 가장 확실한 방법입니다.

출처

Impact-Site-Verification: 9b3ebd10-6c45-44cf-a014-5b8c19b7b285