TAU-HOME.COM
LOADING

맥 로컬 AI 종결 벤치마크: M5 Max 환경에서 MLX가 GGUF보다 생성 속도 20~25% 빠른 이유

애플 실리콘 MacBook Pro(M5 Max 128GB)에서 13개 AI 엔진과 24개 모델 파일을 동일 조건으로 실측한 결과, Apple MLX 포맷이 GGUF보다 생성 20~25% 및 장문 읽기 40% 더 빠른 것으로 나타났습니다. 4-bit 양자화와 8-bit 간의 GSM8K 정

tau · 2026년 11월 21일

#Apple Silicon #MLX #GGUF #MacBook Pro #Local AI #Gemma 4

맥 로컬 AI 종결 벤치마크: M5 Max 환경에서 MLX가 GGUF보다 생성 속도 20~25% 빠른 이유

애플 실리콘(Apple Silicon, 애플 고유의 통합 메모리 아키텍처 기반 프로세서) 환경에서 클라우드 서버 대신 내 컴퓨터 기기 내부에서 직접 인공지능(AI) 모델을 구동하려는 개발자와 연구자들을 위해, 13개 구동 엔진과 24개 모델 파일을 동일 조건에서 철저히 실측한 종합 벤치마크 결과가 공개됐습니다. 시각장애인 iOS 개발자이자 기술 테스터인 테일러 아른트(Taylor Arndt)가 2026년 11월 17일(현지 시각) 서브스택(Substack)을 통해 발표한 이번 연구는, 맥(Mac)에서 대형 언어 모델(LLM, 대규모 텍스트 데이터를 학습해 사람처럼 문장을 생성하는 인공지능 모델)을 실행할 때 어떤 포맷과 엔진을 선택해야 하는지 명확한 기준을 제시합니다.

애플 실리콘 맥 환경에서 다양한 로컬 AI 엔진과 모델 포맷을 비교 테스트하는 작업 공간

이미지 출처: https://taylorarndt.substack.com/p/i-tried-to-find-the-best-way-to-run

이번 테스트는 최신 사양인 애플 실리콘 맥북 프로(MacBook Pro, M5 Max 128GB 통합 메모리, macOS 27.3) 환경에서 5일간 밤낮으로 진행되었습니다. 그동안 개발자들 사이에서 논란이 되었던 애플 고유의 MLX 포맷과 기존 llama.cpp 생태계의 GGUF 포맷 간의 실제 성능 차이가 객관적인 수치로 증명되었으며, 다중 사용자 요청 처리와 추측 디코딩 기술에 따른 속도 변화까지 폭넓게 다뤄졌습니다.

애플 MLX 포맷이 GGUF보다 빠른 이유와 실측 비교

이번 테스트의 가장 명확한 결론은 동일한 모델과 크기 조건에서 애플의 자체 포맷인 MLX가 기존의 GGUF(대형 언어 모델을 맥 등 개인용 기기에서 가볍게 실행하기 위해 모델 가중치를 압축·저장하는 범용 파일 포맷)보다 압도적인 속도를 낸다는 점입니다.

소형 및 중형 모델 기준으로 MLX 파일은 GGUF 파일보다 토큰 생성 속도가 약 20%에서 25% 더 빨랐습니다. 예를 들어 전문가 혼합(MoE, Mixture of Experts, 거대한 모델 전체를 활성화하지 않고 입력에 필요한 일부 전문가 신경망만 골라 작동시켜 속도를 높이는 아키텍처) 구조를 지닌 'Gemma 4 26B A4B' 모델을 4-bit 양자화(quantization, 모델 가중치의 정밀도를 낮추어 메모리 사용량과 연산량을 줄이는 기법) 상태로 실행했을 때, MLX 포맷은 초당 약 139 토큰을 기록한 반면 GGUF 포맷은 약 112 토큰에 머물렀습니다.

더욱 극적인 차이는 3만 2000 토큰에 달하는 장문 읽기(context processing) 속도에서 나타났습니다. 3만 2000 토큰 규모의 긴 프롬프트(prompt, 인공지능에 입력하는 지시어나 질문)를 처리할 때 상위 MLX 엔진들은 초당 약 3600 토큰의 속도를 기록해, 최상의 GGUF 엔진(약 2500 토큰/초)보다 약 40% 더 빠른 읽기 성능을 보였습니다. 따라서 맥 환경에서 선택의 여지가 있다면 MLX 포맷을 우선 선택하는 것이 유리합니다.

엔진별 특성과 다중 사용자 요청 처리의 분기점

MLX 생태계 내부에서도 구동 엔진에 따라 용도가 나뉩니다. LM Studio, oMLX, Rapid-MLX 등 주요 MLX 엔진들은 단일 사용자가 1대 1로 대화할 때의 생성 속도가 거의 차이가 없었습니다. 그러나 동시에 여러 요청을 처리해야 하는 상황에서는 엔진의 성격이 확연히 갈렸습니다.

  • 고성능 다중 요청 처리: 코딩 에이전트나 다중 사용자 서비스 환경처럼 8개의 요청을 동시에 처리할 때, vLLM이나 텐서폴드(TensorFold) 같은 엔진은 단일 요청 대비 전체 처리량이 3배에서 6배까지 치솟았습니다. 예를 들어 'Gemma 26B' 모델에서 vLLM은 총 초당 400 토큰에 달하는 처리량을 기록했습니다.
  • 순차 처리 엔진: 반면 애플의 기본 mlx-lm, 오사우루스(Osaurus), 스와마(Swama) 등은 한 번에 하나의 요청만 처리하여 8명이 동시 접속할 경우 후순위 사용자가 오랜 대기 시간을 겪는 구조였습니다.

특히 텐서폴드 랩스(TensorFold Labs)가 개발한 무료 오픈소스 엔진 '텐서폴드'는 고유의 아키텍처를 지니고 있습니다. 이 엔진은 지원하는 모델 목록이 제한적이고 6-bit 파일이나 대용량 모델 구동 시 제약이 있지만, 소형 모델 보조 장치를 활용해 다음 단어를 미리 예측하는 '추측 디코딩(guessing-ahead, 작은 헬퍼 모델이 다음 토큰을 먼저 추정하고 본 모델이 한꺼번에 검증하여 속도를 극대화하는 기법)' 기능을 활성화했을 때 폭발적인 성능을 보여주었습니다. 'Qwen 3.8 27B' 4-bit 모델에서 이 기능을 켜고 코딩 테스트를 수행했을 때, 기존 초당 29 토큰에서 217 토큰으로 무려 7배 이상의 속도 도약을 기록했습니다.

4-bit 양자화의 경제성과 하드웨어 제약 사항

모델의 가중치를 얼마나 압축할 것인가에 대한 실측 결과도 실용적인 시사점을 줍니다. 수학 문제 풀이 벤치마크인 GSM8K(초등 수준의 다단계 수학 문장제 문제 모음) 테스트에서, 4-bit 양자화 모델은 8-bit 모델과 비교하여 정확도 차이가 단 1~2%p에 불과했습니다. 모델 크기가 작을수록 속도가 비약적으로 빨라지므로, 대부분의 실무 작업에서는 4-bit 양자화가 가장 합리적인 선택입니다.

다만, 맥 로컬 구동 환경에서는 현실적인 제약도 존재합니다.

  • 발열과 스로틀링(Throttling): 장시간 벤치마크를 구동하는 동안 맥의 온도가 상승하면서 2차, 3차 테스트에서는 전력 소모량과 속도가 다소 저하되는 발열 스로틀링 현상이 공통으로 관찰되었습니다.
  • 엔진별 호환성 한계: 텐서폴드는 메모리의 70% 이상을 자체적으로 초과 사용할 수 없도록 잠겨 있어 거대한 31B 8-bit 모델이 아예 적재되지 않거나, 특정 엔진은 '생각(thinking) 모드' 제어 명령을 무시하고 자체 사고 과정을 출력하다 프롬프트 제한에 걸리는 현상도 보고되었습니다.

이번 벤치마크는 애플 실리콘 맥 사용자가 로컬 환경에서 최고 성능을 뽑아내기 위해 'MLX 포맷 + 4-bit 양자화 + 작업 성격에 맞는 엔진 선택'이라는 구체적인 공식을 실증 데이터로 증명했다는 점에서 의미가 큽니다.

출처

Impact-Site-Verification: 9b3ebd10-6c45-44cf-a014-5b8c19b7b285