Google Research Harness² 오픈소스: 에이전트 자체 튜닝과 경험 축적 자동화

이미지 출처: https://github.com/google-research/harness2

구글 리서치(Google Research)가 최근 오픈소스로 공개한 Harness²는 자율 에이전트가 기존에 개발자의 수동 조정에 전적으로 의존해 오던 프롬프트(Prompt), 스킬(Skill), 메모리(Memory) 설정을 스스로 탐색하고 수정할 수 있도록 설계된 자가 최적화 프레임워크입니다. AI 엔지니어링 분야에서 에이전트의 성능을 끌어올리기 위한 접근법은 주로 모델의 가중치를 파인튜닝하거나 사람이 직접 지침을 다듬는 방식에 집중되어 왔으나, Harness²는 에이전트가 위치한 실행 환경인 하네스 자체를 자율적으로 재구성하는 새로운 방향성을 보여줍니다.

프롬프트·스킬·메모리를 스스로 수정하는 3단계 자가 최적화 절차

연구자 Xudong Han(@Xudong07452910)이 전한 바에 따르면, Harness²의 동작 방식은 에이전트가 자신의 작업 방식을 능동적으로 개선할 수 있도록 체계적인 순서로 구성되어 있습니다. 첫째, 에이전트는 주어진 목표를 달성하기 위해 프롬프트 지침, 호출 가능한 도구 정의인 스킬, 그리고 맥락 정보를 저장 및 인덱싱하는 메모리 구성 요소를 스스로 수정합니다. 둘째, 에이전트는 동일한 단일 태스크를 대상으로 변경된 설정을 적용하여 반복적으로 실행하고, 도출된 실행 결과와 효과를 면밀히 비교 및 대조하여 더 적합한 작업 패턴을 탐색합니다. 셋째, 탐색 과정에서 축적된 개선 경험을 휘발시키지 않고 구조화된 형태로 보존하여 후속 태스크 수행 시 참조 정보로 재활용합니다. 이러한 체계적인 워크플로우를 통해 에이전트는 매번 처음부터 문제를 해결하지 않고 축적된 경험을 바탕으로 지속적인 학습 곡선을 그려나갈 수 있습니다.

벤치마크 11.5점 상승의 성과와 하네스 튜닝 자동화의 실무적 가치

Harness²의 실험 결과에 따르면, WorkBuddy-Bench 평가 환경에서 단일 라운드 최적화만으로도 최고 11.5점의 벤치마크 점수 향상이 관측되었습니다. 이는 에이전트가 스스로 설정을 변경하고 비교하는 과정이 단순한 탐색에 그치지 않고 실질적이고 측정 가능한 성능 개선으로 이어졌음을 보여주는 명확한 근거입니다. 실무 현장에서 에이전트 시스템을 설계하고 운영하는 개발자들은 모델 자체보다 프롬프트와 외부 스킬 인터페이스, 맥락 메모리를 조율하는 하네스 튜닝에 상당한 시간과 자원을 투입해 왔습니다. 외부 도구 호출 규격이나 프롬프트 구조의 미세한 변화가 에이전트의 성공률을 좌우하기 때문입니다. 따라서 이러한 반복적인 설정 튜닝과 개선 경험 축적이 자동화될 경우, 엔지니어들의 수동 조정 부담을 대폭 덜어주고 복잡한 워크플로우 구축 과정을 효율화하는 데 매우 큰 실무적 가치를 제공할 수 있습니다.

반복 시도 비용과 경험 전이의 안정성이라는 현실적 과제와 한계

그러나 Harness²의 방법론을 실제 프로덕션 환경에 적용하기 위해서는 반드시 짚고 넘어가야 할 현실적인 제약과 과제들이 존재합니다. 원저자인 Xudong Han은 같은 태스크를 여러 번 반복하여 실행하고 비교하는 과정에서 필연적으로 수반되는 반복 시도의 비용 문제를 중요한 고려사항으로 언급했습니다. 추가적인 API 호출과 연산 비용이 최적화로 얻는 이점보다 커진다면 경제적 타당성을 확보하기 어려울 수 있습니다. 아울러 특정 태스크에서 축적된 개선 경험이 성격이 다른 후속 작업에서도 안정적으로 전이될 수 있는지는 아직 추가적인 검증이 필요합니다. 만약 단일 벤치마크 태스크에 설정을 과도하게 맞추다 보면 다른 영역에서 일반화 능력이 떨어지거나 예기치 못한 퇴행을 유발할 위험이 있습니다. 결국 Harness²가 제안하는 자가 진화 프레임워크가 실질적인 효용을 발휘하려면 시행착오 비용 절감과 전이 안정성의 균형을 확보하는 후속 검증이 필수적입니다.

원문 출처

Harness²에 대한 Xudong Han(@Xudong07452910)의 상세한 원문 포스트와 리포지토리는 다음 링크에서 확인할 수 있습니다: Xudong Han(@Xudong07452910) 원문 포스트