NVIDIA NVLabs, AI 에이전트 하네스 최적화 레이어 'SoL-Pi' 오픈소스 공개

NVIDIA NVLabs가 Pi 하네스 기반의 에이전트 효율화 레이어 'SoL-Pi'를 MIT 라이선스로 공개했습니다. Auto-Research 루프로 도출한 4대 최적화 기법을 통해 성능 저하 없이 토큰 소모를 최대 49% 절감합니다.

tau · 2026년 9월 11일

#NVIDIA #SoL-Pi #AgentHarness #AutoResearch #AIAgent #OpenSource #LLM

NVIDIA NVLabs, AI 에이전트 하네스 최적화 레이어 'SoL-Pi' 오픈소스 공개

NVIDIA NVLabs가 오픈소스 AI 에이전트 하네스 생태계의 실행 효율을 비약적으로 개선하는 최적화 프레임워크 'SoL-Pi'(Scaling Auto-Research Loops for Efficient Agent Harnesses)를 MIT 라이선스로 전격 공개했습니다. 이번 프로젝트는 무거운 LLM 코딩 및 자율 에이전트 구동 과정에서 발생하는 과도한 토큰 소모와 인프라 API 비용 부담을 자율 연구 루프(Auto-Research Loop)를 통해 체계적으로 해결하는 데 초점을 맞추었습니다.

NVIDIA NVLabs SoL-Pi AI 에이전트 하네스 최적화 아키텍처 다이어그램

이미지 출처: NVIDIA NVLabs

최근 복잡한 소프트웨어 엔지니어링 및 다단계 추론 작업을 수행하는 AI 에이전트가 빠르게 확산되면서, 모델 자체의 지능만큼이나 에이전트를 감싸는 '하네스(Harness)'의 런타임 효율성이 핵심 화두로 떠올랐습니다. SoL-Pi는 기존 오픈소스 Pi 에이전트 하네스를 기반으로 동작하며, 벤치마크 테스트 결과 작업 성공률의 94% 이상을 안정적으로 유지하면서 토큰 사용량과 API 비용을 절반 수준으로 줄여주는 실용적인 최적화 파이프라인을 제시합니다.

535개 환경에서 검증된 Auto-Research Loop 자가 탐색 메커니즘

SoL-Pi 개발의 가장 차별화된 지점은 사람이 경험적으로 하네스 파라미터를 튜닝하는 대신, 'Auto-Research Loop'를 도입하여 최적화 아이디어를 자가 탐색하고 검증했다는 사실입니다.

연구팀은 총 535개에 달하는 다양한 실행 환경을 구축하여 자율 연구 루프를 가동했습니다.

  • 실제 GitHub Issue-PR 환경 495개: 오픈소스 프로젝트 현장에서 발생하는 현실적인 버그 수정, 기능 구현, 풀 리퀘스트 해결 시나리오를 반영하여 실전 적합성을 검증했습니다.
  • 프로그래밍 검증기 포함 합성 환경 40개: 엄격한 정답 판정 메커니즘을 갖춘 합성 태스크를 통해 에이전트의 도구 호출 및 추론 일관성을 계량했습니다.

수많은 탐색 과정에서 생성된 수백 가지 하네스 개선 가설 중, 실제 태스크 완료 점수를 훼손하지 않으면서 런타임 효율을 유의미하게 개선한 유효 개선안은 약 40분의 1(1/40) 수준에 불과했습니다. SoL-Pi는 이처럼 가혹한 필터링을 통과한 핵심 최적화 기법만을 엄선하여 하네스 레이어로 정제해 냈습니다.

하네스 효율을 극대화하는 4대 핵심 최적화 기법

자가 탐색 루프를 통해 도출된 SoL-Pi의 핵심 아키텍처는 에이전트의 불필요한 라운드트립과 컨텍스트 팽창을 억제하는 4가지 상호보완적 기술로 구성됩니다.

  1. Action Fusion (액션 융합): 코드 수정(Code Edit)과 실행(Execution) 툴콜을 개별 단계로 분리하지 않고 단일 통합 호출로 융합합니다. 이를 통해 모델과 런타임 환경 간 불필요한 턴(Turn) 왕복을 대폭 줄였습니다.
  2. Online Context Compact (능동형 컨텍스트 압축): 에이전트가 긴 작업 궤적을 밟는 동안 컨텍스트 창 내부를 실시간으로 모니터링하여 중복되거나 완료된 과거 상태를 동적으로 압축합니다.
  3. ObservationPack (관측 결과 인덱싱 및 지연 호출): 쉘 명령이나 정적 분석 도구에서 쏟아지는 방대한 출력 로그를 즉시 풀 텍스트로 밀어넣지 않고, 경량 인덱스로 패키징한 후 에이전트가 실제 필요로 할 때 지연(Lazy) 로드하도록 격리합니다.
  4. Evidence-Preserving Reducer (증거 보존 리듀서): 저비용 소형 언어 모델을 활용해 장문 실행 로그를 요약하되, 에이전트의 후속 판단과 디버깅에 필수적인 핵심 증거(에러 스택, 파일 경로, 주요 수치)는 유실 없이 그대로 보존합니다.

벤치마크 성과 및 실무 적용 시 고려사항

SoL-Pi가 제시한 최적화 레이어의 실측 성능은 정량적 수치로 명확히 입증되었습니다.

  • 기존 Pi 하네스 대비: 토큰 소모량을 45%~49% 줄이고, 실행 비용을 약 3분의 1 수준으로 절감하면서도 기본 하네스 평균 태스크 점수의 약 94%를 온전히 보존했습니다.
  • 모델 네이티브 기본 하네스 대비: 파운데이션 모델의 기본 하네스 구성과 비교했을 때 토큰 소비는 35%~64%, 운영 비용은 50%~54%라는 극적인 절감 폭을 기록했습니다.

다만 SoL-Pi를 실무나 인하우스 에이전트 파이프라인에 적용할 때는 명확한 구조적 특징을 인지해야 합니다.

SoL-Pi는 바닥부터 새롭게 설계된 독립형 하네스가 아니라 오픈소스 'Pi' 하네스 생태계 위에서 작동하는 상위 효율 증강 레이어입니다. 따라서 기존 Pi 기반 런타임을 운용 중인 환경에서는 손쉽게 플러그인 형태로 접목할 수 있으나, 완전히 다른 아키텍처를 가진 에이전트 프레임워크에 도입하려면 어댑터 작업이 필요합니다. 또한 외부 네트워크 제한 환경에서 프로젝트를 배포할 경우 GitHub 저장소의 세부 빌드 및 의존성 패키징 현황을 사전에 점검하는 절차가 권장됩니다.

출처