Google Harness²: 가중치 동결 상태로 에이전트 구성을 자동 최적화하는 프레임워크
정답 레이블이나 사람의 채점 없이 프롬프트, 도구, 메모리 구성을 스스로 개선하며 다회차 평가에서 최대 11.5점의 성능 향상을 기록한 Google Harness²의 아키텍처와 활용법을 살펴봅니다.

이미지 출처: https://x.com/NFT_Chen/status/2111873617084756390 (@NFT_Chen)
기존 거대 언어 모델 기반 에이전트 환경에서는 한 번 배포된 프롬프트나 도구 설정을 고정한 채 파라미터를 미세조정하거나 엔지니어가 수작업으로 규칙을 수정하는 정적 파이프라인이 일반적인 운영 표준으로 자리 잡고 있었습니다. 구글이 공개한 오픈소스 프레임워크 Harness²는 모델 가중치를 동결한 채 에이전트의 프롬프트, 도구, 메모리, 스킬 구성을 자체 최적화하는 실용적인 대안을 제시합니다.
가중치 동결 기반의 자기 개선 파이프라인
Harness²의 핵심은 모델 파라미터를 재학습시키지 않고도 런타임 구성 요소를 지속적으로 진화시키는 데 있습니다. 정보 공유자 @NFT_Chen에 따르면, 에이전트가 새로운 태스크를 전달받으면 프롬프트 템플릿, 연동 도구 호출 방식, 메모리 축적 정책, 실행 스킬을 조합하여 다수의 구성 후보 버전을 자율적으로 생성합니다. 이후 각 구성으로 태스크를 실행하여 도출된 결과물을 상호 비교하고, 표준 정답이나 사람의 개입 없이도 개선된 단일 구성을 합성해냅니다. 정답 데이터셋 구축 비용이 크거나 작업 형태가 다양한 실무 환경에서 에이전트의 초기 적응 속도를 크게 높여주는 메커니즘입니다. 파라미터 튜닝에 드는 연산 자원을 아끼면서 오케스트레이션 층위의 메타 설정을 직접 개선하는 접근입니다.
태스크 간 경험 누적과 실무 벤치마크 성과
이 프레임워크의 또 다른 특징은 특정 태스크 수행 과정에서 확보한 최적 구성과 시행착오의 교훈을 다음 작업으로 온전히 계승한다는 점입니다. 이전 태스크에서 효과가 입증된 도구 사용 패턴이나 프롬프트 구조는 누적 보존되어, 다음 태스크를 실행할 때 기본 설정의 시드로 즉각 활용됩니다. @NFT_Chen이 공유한 내용에 따르면, 사무 및 법률 등 실제 도메인 태스크 벤치마크 테스트에서 1회차 실행만으로도 원본 기준 대비 뚜렷한 성능 개선이 나타났으며, 다회차 반복 최적화를 거친 뒤에는 최대 11.5점의 평가 점수 상승을 달성했습니다. 엔지니어가 수작업으로 지시문을 다듬지 않아도 에이전트가 연속적인 업무를 수행하며 자율적으로 고도화되는 운영 구조를 보여줍니다.
환경 구축 워크플로와 프로덕션 적용 시 유의점
공개된 설치 절차는 Python 3.12 환경을 기반으로 하며 uv 패키지 관리자를 통해 신속한 구동을 지원합니다. 원본 저장소를 클론한 뒤 uv venv --python 3.12 .venv && source .venv/bin/activate && uv pip install -e '.[render]' 명령으로 환경을 구축하고, harness2-demo --output runs/demo --k 2 명령으로 데모 실행과 다중 구성 탐색을 검증할 수 있습니다. 다만 실무 도입 시 고려해야 할 기술적 한계도 명확합니다. 공유자가 언급한 최대 11.5점 상승 수치는 사무와 법률 등 특정 테스트 환경에서 도출된 결과이므로, 일반 태스크 환경에 따라 편차가 발생할 수 있습니다. 또한 원문 출처가 t.co 단축 URL 형태로 제공되었으므로, 프로덕션 시스템에 적용하기 전 원본 GitHub 레포지토리의 변경 이력과 평가 메트릭 신뢰도를 교차 검증하는 과정이 권장됩니다.