X 게시글로 본 '하네스 엔지니어링의 종말': 자동 진화 루프와 평가셋 중심 개발

2026년 10월 31일 X 게시글에서 AnnatarXBT는 중국 연구진의 논문이라며 '하네스 엔지니어링의 종말(The End of Harness Engineering)'을 소개했습니다. 게시글에 따르면 핵심 주장은 모델 주변 프로그램을 사람이 직접 작성하는 일이 하나의 기술로서 효력을 잃어가고 있다는 것입니다.

이미지 출처: AnnatarXBT / X (@AnnatarXBT)

아래에서 다루는 AnnatarXBT X 게시글을 요약한 일러스트레이션

논의한 원문 게시글: AnnatarXBT / X (@AnnatarXBT)

수작업 하네스 설계의 한계와 새로운 연구 가설

AnnatarXBT의 게시글은 사람이 작성한 하네스를 한 작업에 대한 한 번의 추측으로 묘사하며, 이런 하네스가 읽히거나 채점되지 않은 채 수개월 동안 실행될 수 있다고 설명합니다. 반대로 루프가 작성한 파일은 스스로를 채점한다고 주장합니다.

게시글의 핵심 주장은 모델 주변 프로그램을 사람이 직접 작성하는 일이 하나의 기술로서 효력을 잃어가고 있다는 것입니다. 게시글은 실패 내용을 읽고 홀드아웃 질문으로 하네스 수정안을 고르는 루프를 설명합니다.

소형 4B 모델과 홀드아웃 평가셋 기반 자동 진화 루프

AnnatarXBT의 게시글에 따르면 소형 4B 모델은 고정된 더 큰 모델 주변에서 다음 작업을 수행합니다.

• 실패 분석 및 수정안 생성: 4B 모델이 실패 내용을 읽고 8개의 수정안을 제안합니다.
• 홀드아웃 평가셋 검증: 수정안들을 홀드아웃 질문으로 채점합니다.
• 최적 수정안 채택: 가장 높은 점수를 받은 수정안만 살아남습니다.

더 큰 모델은 고정된 상태로 유지되고, 매 라운드가 그 주변 파일을 다시 작성합니다. 게시글은 이런 구조에서 프레임워크가 일회성 산출물이 된다고 표현합니다.

사람에게 남는 핵심 산출물, 평가셋

AnnatarXBT의 게시글은 사람의 일이 하네스를 채점하는 질문인 평가셋(scoring set)으로 축소된다고 설명합니다. 제안된 작업 방식을 '코드보다 시험 문제를 먼저 작성하라'고 요약합니다.

답글에서 @Rachel_hkz는 평가셋 편향에 대한 과적합을 줄이기 위해 루프에 노출되지 않은 미지 사례를 분리하는 방안을 제안했습니다. @travis649411644의 답글들은 검증, 회귀, 롤백을 우려했습니다. 이는 제공된 근거로 입증된 논문 결과가 아니라 각 답글 작성자의 의견입니다.

출처

• AnnatarXBT X 게시글: 'The End of Harness Engineering' 관련 게시글