장기 코딩 에이전트 세션을 위한 컨텍스트 압축 프록시 billion-context

코딩 에이전트와 장시간 복합 프로젝트를 수행할 때 대화 내역 누적에 따른 컨텍스트 윈도우 초과와 토큰 비용 증가는 주요 병목으로 작용합니다. 2026년 8월 처음 공개된 오픈소스 프로젝트 billion-context는 클라이언트 에이전트와 LLM API 사이에 위치하는 프록시 도구로, 최근 2026년 11월 2일 v0.1.212 릴리즈를 거치며 장기 세션 관리 도구로 주목받고 있습니다.

이미지 출처: https://github.com/ranxianglei/billion-context

기존 호스트 에이전트의 단순 텍스트 절삭(truncation)이나 일방적 요약과 달리, billion-context는 acp-kernel 기반의 점진적 계층 압축 기법을 적용하여 100K 토큰 수준의 비교적 작은 컨텍스트 창에서도 단일 세션을 수일 이상 안정적으로 이어갈 수 있도록 설계되었습니다.

acp-kernel 기반 프록시 구조와 모델 주도 컨텍스트 관리

billion-context의 핵심 구조는 에이전트와 상위 파운데이션 모델 사이의 중계 프록시입니다. 사용자가 에이전트의 API 베이스 URL을 로컬 프록시 주소로 설정하면 동작합니다.

• 스트림 가로채기 및 재작성: Anthropic 및 OpenAI 규격의 요청/응답 스트림을 실시간 파싱하고, 대화 내역에 acp-kernel 압축 알고리즘을 적용합니다.
• 프롬프트 캐시 친화적 설계: 전체 히스토리를 무작정 재작성하지 않고 작은 범위 단위로 요약을 구성하여 95~97% 수준의 상위 접두사 캐시(prefix cache) 히트율을 유지하도록 유도합니다.
• 모델 자율 압축 결정: 외부 규칙 엔진이 강제로 대화를 자르는 대신, 모델 자체에 압축 철학과 전용 도구를 주입하여 모델이 맥락에 맞춰 직접 요약 시점과 대상을 판단합니다.

프로젝트 측은 4.5개월간 174,327회의 모델 호출 데이터를 분석한 자체 연구를 통해 약 5배(5x)의 토큰 소모 절감 효과를 거두었다고 보고하고 있습니다. 다만 이 수치는 프로젝트의 자체 벤치마크 결과이며, 실제 절감 효율은 개별 프롬프트 구조와 캐시 히트율에 따라 달라질 수 있습니다.

4가지 컨텍스트 관리 도구와 가역적 압축 메커니즘

프록시가 세션 내에 주입하는 4가지 도구는 컨텍스트의 압축과 조회를 유기적으로 연결합니다.

1. compress: 특정 메시지 범위를 고밀도 요약 블록으로 접어 보관합니다.
2. decompress: 이전 세부 구현이나 원본 로그 확인이 필요할 때 압축된 구간을 원본으로 복원합니다.
3. search_context: 요약 블록과 노출된 메시지 전체를 대상으로 키워드 검색을 수행합니다.
4. acp_status: 현재 컨텍스트 사용량과 추가 압축 가능한 영역을 진단합니다.

모든 압축 내역은 프록시 서버 단에서 관리되며, 필요 시 원본 세부사항을 다시 호출할 수 있는 가역성을 유지합니다.

지원 에이전트 생태계와 도입 시 고려사항

billion-context는 npm 패키지(npm install -g billion-context --prefix=~/.local)를 통해 설치할 수 있으며 다양한 개발 환경을 지원합니다.

• 다양한 CLI 연동: Claude Code, Codex, pi, OpenCode, omp, dsh, Kimi 등 주요 코딩 에이전트 환경에서 런처(bili <client>) 또는 네이티브 플러그인 형태로 연결 가능합니다.
• 연동 형태의 차이: pi나 OpenCode처럼 내장 엔진 또는 공식 플러그인 체계를 지원하는 도구가 있는 반면, jcode나 kimi 일부 버전 등 네이티브 확장을 지원하지 않는 도구는 전용 런처나 MITM 프록시 방식을 거쳐야 합니다.

대규모 레포지토리 리팩터링이나 다단계 디버깅 등 단일 세션의 지속성이 필수적인 워크플로우에서 컨텍스트 제약을 극복할 수 있는 실용적인 아키텍처 대안입니다.

출처

• ranxianglei/billion-context GitHub 저장소: https://github.com/ranxianglei/billion-context