소형 모델로 에이전트 하네스 자체 개선하기: CMU 연구 기반 6단계 최적화 루프

원작자는 X의 AI 연구자 Yarchi(@undefinedKi)이며, 카네기멜론대학교(CMU) 연구진이 공개한 에이전트 하네스 자가 개선 연구를 바탕으로 실무 에이전트에 적용할 수 있는 6단계 최적화 루프를 정리했습니다. 이번 연구는 AI 에이전트 구축에서 과업을 수행하는 기저 모델(solver)을 교체하지 않고도, 모델을 둘러싼 실행 프레임워크인 하네스(harness)를 소형 모델이 직접 재작성하도록 유도하여 성능을 극대화하는 새로운 방법론을 제시합니다.

이미지 출처: @undefinedKi on X

대규모 언어 모델(LLM) 기반 에이전트를 실무에 배포할 때, 에이전트의 최종 과업 완수율을 좌우하는 것은 기반 파운데이션 모델의 크기 자체보다 모델을 감싸고 있는 실행 코드인 '하네스(harness)'의 정밀도인 경우가 많습니다. 하네스는 프롬프트 조립, 도구 실행 조건 분기, 입출력 데이터 파이프라인 등 모델 외부의 오케스트레이션 로직 전체를 의미합니다. 이번 연구는 하네스 코드 개선 작업 자체를 자동화하는 루프를 검증했습니다.

35B 교사 모델을 능가한 4B 하네스 재작성 모델의 핵심 발견

CMU 연구진은 하네스 코드를 읽고 개선안을 제안하는 메타 에이전트로 4B 크기의 소형 언어 모델을 학습시켰습니다. 이 4B 모델은 에이전트가 이전 실행에서 남긴 실패 리포트를 분석하고, 하네스 코드에 적용할 구체적인 수정안을 작성한 뒤, 평가 점수가 가장 높은 수정안을 다음 세대에 반영합니다. 가장 주목할 점은 실제 과업을 수행하는 기저 모델(solver)은 교체하거나 수정하지 않고 그대로 유지된다는 사실입니다.

실험 결과에 따르면 다음과 같은 정량적 성과가 관측되었습니다:

• 미학습 과업 유형에서의 품질 향상: 모델이 훈련 과정에서 한 번도 접해보지 않은 새로운 태스크 유형(unseen tasks)에서도 하네스 수정 품질 점수가 기존 0.32에서 0.62로 두 배 가까이 향상되었습니다.
• 불량 수정 발생률의 급감: 모델이 제안한 하네스 코드 수정안 중 오류를 일으키는 불량 수정(broken edits)의 비율이 38%에서 15%로 절반 이하로 감소했습니다.
• 순차적 수정의 누적 효과: 5회 연속으로 순차 수정을 누적 적용한 하네스가 독립적인 8개 병렬 탐색 시도 중 최상위 성능을 기록한 하네스와 대등하거나 오히려 능가하는 성능을 나타냈습니다.
• 소형 학생 모델의 교사 모델 추월: 4B 소형 모델은 자신을 가르친 35B 교사 모델로부터 학습했으나, 실제 하네스 수정 평가에서 35B 교사 모델보다 더 우수한 하네스 수정안을 작성하며 교사 모델을 능가했습니다.

실무 에이전트에 즉시 적용하는 6단계 자가 개선 루프

Yarchi는 복잡한 강화학습 인프라 없이도 일반 개발자가 보유한 에이전트에 동일한 하네스 최적화 루프를 즉시 적용할 수 있도록 6단계 절차를 권장했습니다.

1. 단일 파일에 하네스 통합(Single-File Harness): 프롬프트 템플릿, 실행 단계(steps), 도구 호출(tool calls) 인터페이스를 하나의 단일 파일로 모아둡니다. 제어 흐름이 여러 모듈로 분산되어 있으면 수정 모델이 문맥을 파악하기 어렵고 부작용이 발생할 확률이 높아집니다.
2. 테스트 데이터셋 3분할(Three-Way Data Split): 평가용 테스트 케이스를 학습셋(learn), 채점셋(score), 최종 검증셋(final check)의 세 그룹으로 엄격히 분리합니다.
3. 학습셋 실행 및 실패 리포트 기록(Run & Failure Report): 현재 하네스를 learn 세트에서 실행한 뒤, 어떤 입력값에서 왜 실패했는지를 요약한 짧은 실패 보고서를 생성해 저장합니다.
4. 실패 리포트 기반 5개 수정안 생성(Generate 5 Edits): 수정 모델에게 실패 보고서와 현재 하네스 코드를 전달하고, 문제 해결을 위한 하네스 코드 수정안 5개를 독립적으로 작성하도록 요청합니다.
5. 채점셋 평가 및 최고안 선발(Score & Select Winner): 제안된 5개의 수정안을 각각 score 세트에서 독립적으로 실행하고, 점수가 가장 높게 측정된 최선의 수정안 하나만 채택하여 다음 라운드의 기본 하네스로 확정합니다.
6. 5라운드 반복 후 최종 검증셋 1회 측정(Iterate & Final Check): 위 3~5단계의 실패 분석 및 선발 과정을 5개 라운드 동안 반복한 뒤, 전 과정 동안 한 번도 사용하지 않은 final check 세트에서 단 한 번만 최종 성능을 검증합니다.

과적합 방지와 프로덕션 적용 시 주의사항

이러한 자동화 루프를 안정적으로 운영하기 위해서는 데이터셋 격리와 확률적 변수 제어에 각별히 유의해야 합니다.

• 최종 검증셋의 철저한 격리 유지: 하네스 탐색 루프가 진행되는 동안 final check 데이터셋은 단 한 번도 모델에 노출되거나 점수 계산에 쓰여서는 안 됩니다. 라운드 중간에 최종 검증셋을 참조하면 하네스가 특정 예제에만 맞춰지는 과적합(overfitting)이 발생하여 실제 환경 배포 시 일반화 성능이 급격히 저하됩니다.
• 확률적 실행 편차 통제: AI 에이전트는 동일한 코드에서도 비결정적 출력으로 인해 일시적인 요행수로 높은 점수를 얻을 수 있습니다. 채점셋(score set)의 케이스 수가 지나치게 적으면 우연히 통과한 수정안이 선택될 수 있으므로 통계적으로 유의미한 표본 크기를 확보해야 합니다.
• 핵심 참조 페이지: 원문 논문 세부 아키텍처와 구체적 구현은 전체 파이프라인 루프를 도식화한 p.2, 미학습 태스크에 대한 벤치마크 결과가 수록된 p.6, 그리고 모델이 실제로 생성해낸 최종 하네스 예시가 담긴 p.8을 참조할 수 있습니다.

원문 출처

• Yarchi (@undefinedKi) X 게시글: https://x.com/undefinedKi/status/2110034831941709935