ToolJet, 8대 AI 모델 MCP 앱 구축 벤치마크 공개: DeepSeek V4.1 Flash 종합 1위

오픈소스 내부 도구 구축 플랫폼 툴젯(ToolJet)이 2026년 9월 11일, 모델 컨텍스트 프로토콜(MCP, Model Context Protocol) 환경에서 주요 프론티어 AI 모델들의 실제 애플리케이션 생성 성능을 평가한 실전 벤치마크 결과를 공개했습니다. 동일한 사용자 지시문(프롬프트)을 바탕으로 실제 업무용 6페이지 규모 애플리케이션을 처음부터 끝까지 구축하는 과제를 부여해 각 모델의 종합 구축 비용과 품질 점수를 측정한 테스트입니다.

이미지 출처: ToolJet (@ToolJet) on X

엔터프라이즈 업무 자동화와 내부 도구(Internal Tools) 개발에서 거대언어모델(LLM) 기반 코드 에이전트의 활용이 보편화되는 가운데, 표준화된 툴 호출 규격인 MCP 기반의 대규모 앱 구축 벤치마크가 공개되어 엔지니어링 커뮤니티의 큰 주목을 받고 있습니다. 이번 평가는 단순한 질의응답이나 단일 함수 코드 작성을 넘어, 다중 페이지로 구성된 실무 소프트웨어 환경을 AI 모델이 단일 프롬프트 지시만으로 얼마나 안정적이고 경제적으로 완성할 수 있는지 실측했다는 점에서 중요한 기준점을 제시합니다.

동일 프롬프트 기반 6페이지 앱 구축: MCP 실전 벤치마크 설계

ToolJet(@ToolJet)이 실시한 이번 벤치마크는 총 8개의 글로벌 프론티어 AI 모델을 동일 선상에 올려두고 진행되었습니다.

평가 환경은 다음과 같은 엄격한 통제 기준 아래 설계되었습니다.

• 표준 MCP 프로토콜 연동: ToolJet 플랫폼의 내부 도구 빌더와 각 AI 모델을 모델 컨텍스트 프로토콜(MCP)로 직결하여, 모델이 UI 컴포넌트 배치, 데이터베이스 바인딩, 이벤트 핸들러 구성 등의 API 액션을 직접 수행하도록 유도했습니다.
• 동일 프롬프트 단일 실행: 모호성을 배제한 단일 프롬프트 규격을 8개 모델 전부에 동일하게 입력하여, 사용자 개입 없이 자율적으로 6페이지 규모의 엔드투엔드 내부 관리 애플리케이션을 구축하도록 지시했습니다.
• 평가 지표의 다각화: 단순히 생성 성공 여부만을 따지는 대신, 전체 페이지 구축에 소요된 총 토큰 API 비용(Total Cost), 완성된 결과물의 완성도와 UI 레이아웃 품질(Quality), 그리고 이를 종합 집계한 종합 순위(Overall Ranking)를 산출했습니다.

ToolJet 측은 스레드를 통해 각 모델별 생성 결과 화면 캡처 스크린샷을 우선 공개했으며, 평가에 사용된 원본 프롬프트 전문과 모델별 세부 토큰 소비 로그 수치는 조만간 별도의 공식 외부 리포트를 통해 상세히 공개할 예정이라고 밝혔습니다.

0.32달러의 압도적 비용 효율과 종합 1위: DeepSeek V4.1 Flash

이번 벤치마크에서 가장 결정적인 파란을 일으킨 모델은 2026년 9월 10일 정식 출시된 딥시크(DeepSeek)의 최신 경량 프론티어 모델 'DeepSeek V4.1 Flash'였습니다.

DeepSeek V4.1 Flash는 복잡한 6페이지 내부 애플리케이션 전체를 구축하는 데 단 **0.32달러(한화 약 450원)**의 총비용만을 소모하며, 8개 참가 모델 중 당당히 종합 1위(Overall Ranking #1)를 거머쥐었습니다.

• 극단적인 토큰 비용 절감: 멀티페이지 인터페이스 구축 과정에서 발생하는 방대한 컨텍스트 추론과 툴 호출을 극히 낮은 단가로 소화해 내며, 실무 자동화 파이프라인에서 비용 누수를 최소화할 수 있음을 입증했습니다.
• 실전 툴 호출 완성도: 초저비용 구조임에도 MCP 규격을 정교하게 준수하며 누락 없이 6개 페이지의 핵심 데이터 뷰와 제어 컴포넌트를 끝까지 생성해 냈습니다.

이와 함께 ToolJet은 미국 내 ZDR(Zero Data Retention, 무데이터 보관) 모델 호스팅 환경을 기반으로 자사 플랫폼 사용자들에게 DeepSeek AI 모델을 곧 공식 지원할 예정이라고 발표했습니다. 엔터프라이즈 고객들의 민감한 내부 데이터 보존 우려를 ZDR 인프라로 불식시키면서, 동시에 극단적인 가성비의 DeepSeek 모델을 ToolJet 빌더 내부로 통합하겠다는 전략입니다.

15.15달러의 최고 완성도와 현실적 엔지니어링 트레이드오프: Claude Opus 5

반면, 최종 결과물의 시각적 완성도와 UI 품질(Quality) 부문에서는 Anthropic의 최상위 플래그십 모델인 'Claude Opus 5'가 최고점을 기록하며 독보적인 품질 우위를 과시했습니다.

Claude Opus 5는 6페이지 전반에 걸쳐 컴포넌트 간 간격 정렬, 예외 상태 표시, 직관적인 대시보드 레이아웃 등 인간 디자이너와 숙련된 프론트엔드 엔지니어가 다듬은 듯한 최고 수준의 결과물을 출력해 냈습니다. 그러나 이 같은 압도적 완성도 뒤에는 명확한 비용적 대가가 뒤따랐습니다.

• 47배에 달하는 비용 격차: Claude Opus 5로 6페이지 앱을 구축하는 데 소요된 총비용은 15.15달러로, 종합 1위를 차지한 DeepSeek V4.1 Flash($0.32) 대비 약 47배에 달하는 비용이 청구되었습니다.
• 명확해진 개발 트레이드오프: 대량의 내부 백오피스 관리 도구나 빠른 프로토타이핑, 비용 통제가 최우선인 배치 자동화 작업에는 0.32달러의 DeepSeek V4.1 Flash가 압도적으로 유리합니다. 그러나 고객 대면 인터페이스나 복잡한 인터랙션, 극도의 정밀도가 요구되는 핵심 업무 시스템 구축에서는 여전히 Claude Opus 5의 품질 우위가 유효하다는 점을 명확히 보여줍니다.

결국 이번 ToolJet의 MCP 벤치마크는 단일 모델 만능론에서 벗어나, 조직의 예산 규모와 소프트웨어의 복잡도 요구치에 맞춰 적재적소에 AI 모델을 배치해야 한다는 현대 AI 엔지니어링의 현실적 설계 원칙을 다시 한번 일깨워주고 있습니다.

출처

본 기사는 오픈소스 내부 도구 구축 플랫폼 ToolJet의 공식 벤치마크 발표와 DeepSeek의 제품 출시 공시를 바탕으로 교차 검증 및 작성되었습니다.

• ToolJet 공식 X (@ToolJet): 2026년 9월 11일 8대 AI 모델 MCP 앱 구축 벤치마크 결과 발표 스레드
• DeepSeek 공식 X (@deepseek_ai): 2026년 9월 10일 DeepSeek V4.1 Flash 정식 출시 공지