로컬 모델 프리필을 위한 기본 토큰 30k→10k 압축과 도구 경량화: 코딩 하네스 18.3.0 최적화 팁

코딩 에이전트 하네스 개발자 Can Bölük(@_can1357)이 최신 18.3.0 업데이트를 통해 기본 시스템 프롬프트 토큰을 기존 약 30k(3만 토큰)에서 10k(1만 토큰) 수준으로 대폭 압축하고, 도구 스키마 통폐합과 로컬 모델 프리필(prefill) 처리 속도를 획기적으로 개선한 실전 에이전트 최적화 내역을 공개했습니다.

이미지 출처: Can Bölük (@_can1357) / X

로컬 LLM 환경에서 코딩 에이전트를 구동할 때 가장 큰 병목 중 하나는 매 요청마다 반복되는 방대한 시스템 프롬프트와 복잡한 도구 정의로 인한 초기 프리필 지연 시간이었습니다. 이번 18.3.0 릴리즈는 시스템 기본 컨텍스트 부하를 3분의 1 수준으로 줄임으로써 로컬 모델에서도 체감 응답성을 크게 끌어올리는 구조적 개선을 담고 있습니다.

기본 프롬프트 30k→10k 압축과 핵심 도구 통폐합

로컬 가속기나 고성능 GPU 워크스테이션을 활용하더라도 30k에 달하는 기본 컨텍스트를 매번 프리필하는 과정은 연산량과 VRAM 소비 면에서 큰 부담이었습니다. 18.3.0에서는 에이전트 초기 프롬프트를 전면 다이어트했습니다.

• 기본 토큰 소비량 30k에서 10k로 감축: 시스템 기본 지침과 컨텍스트 구성을 고효율로 재설계하여 초기 토큰을 약 10,000토큰 수준으로 억제했습니다. 이를 통해 로컬 모델 사용 시 프리필 대기 시간이 대폭 단축됩니다.
• 다수 도구를 read/write/bash로 통합: 세분화되어 있던 여러 파일 조작 및 유틸리티 도구를 read, write, bash 3개 핵심 도구 인터페이스로 통폐합했습니다. 모델에 전달되는 도구 정의(tool definition schema) 오버헤드를 제거해 모델의 도구 호출 판단 정확도를 높이고 토큰을 절약합니다.
• 스킬 설명문 기본 압축(Compressed by default): 확장 기능이나 플러그인 형태로 로드되는 스킬(Skill)들의 메타데이터 설명을 기본 압축 상태로 주입하여, 등록된 스킬이 늘어나더라도 시스템 프롬프트가 과도하게 팽창하지 않도록 방지합니다.

Anthropic 온디맨드 컴팩션과 거절 방지를 위한 권한 감지

클라우드 프론티어 모델과 고난도 보안 작업 환경을 위한 연동 기능도 한층 정교해졌습니다.

• Anthropic 온디맨드 컴팩션(On-demand Compaction) 지원: Anthropic이 최근 도입한 온디맨드 컨텍스트 컴팩션 기능을 하네스 내부 파이프라인에서 공식 지원하여, 장기 대화 세션에서도 컨텍스트 윈도우 한도를 지능적으로 관리합니다.
• Codex Cyber Access 권한 감지 및 명시적 요청: 사용자의 Codex 계정에 부여된 사이버 보안 권한(cyber access entitlements)을 감지하고, 비-Daybreak 모델(non-daybreak models) 호출 시에도 해당 권한을 명시적으로 요청하도록 구성되었습니다. 자격 요건을 갖춘 사용자의 경우 불필요한 모델 거절(refusal) 현상을 줄여줍니다.

Apple AFM 및 TypeSafe Jev 1.13 연동, 인증 게이트웨이 확장

로컬 온디바이스 모델 실험과 마이크로 모델 최적화 측면에서도 다양한 지원이 추가되었습니다.

• Apple Foundational Models(AFM) 지원: 애플의 기초 모델(Apple Foundational Models) 연동이 새롭게 추가되었습니다. 다만 현재는 8K 컨텍스트 윈도우 한계가 있어 소형 모델 실험 용도로 적합합니다. Can Bölük은 덧붙인 실측 노트에서 "Apple AFM 3 Core Advanced의 경우 8K 컨텍스트에서 초당 약 5토큰(5 toks/s) 수준의 성능을 보인다"고 한계를 함께 명시했습니다.
• TypeSafe Jev 1.13 오프라인 토큰 카운팅: 경량 판단 모델인 TypeSafe Jev 1.13 환경에서 외부 API 호출 없이 로컬 오프라인 방식으로 토큰 수를 즉각 집계할 수 있도록 지원합니다.
• 생성형 미디어 인증 게이트웨이 지원: systemone, 이미지 생성(image-gen), 비디오 생성(video-gen), 음성 전사(transcription) 등 멀티모달 확장 엔드포인트를 포괄하는 단일 인증 게이트웨이 지원이 통합되었습니다.

하네스 18.3.0이 보여주는 최적화 흐름은 복잡한 다중 도구 분할 대신 압축된 필수 원자 도구 집합을 유지하고, 기본 컨텍스트 부하를 줄여 로컬 모델과 고비용 클라우드 모델 모두에서 오버헤드를 최소화하는 실전 엔지니어링 방향을 제시합니다.

원문 출처

• Can Bölük (@_can1357) X 게시글