48시간 장기 연구 과제로 에이전트 한계 시험... 재귀적 자기 개선(RSI) 벤치마크 DeepRSI 공개

hillclimb의 Jun Park(@jparkjmc) 연구팀이 2026년 10월 12일(한국 시간 10월 13일), AI 에이전트의 재귀적 자기 개선(Recursive Self-Improvement, RSI)을 측정하는 신규 벤치마크 'DeepRSI'를 공식 발표했습니다. 기존의 기여자 기반 약 12시간 단기 과제를 넘어, 실제 프런티어 연구 환경과 비공개 연구 데이터에서 도출된 과제를 에이전트가 최장 48시간 동안 수행하도록 평가하는 것이 핵심입니다.

이미지 출처: @jparkjmc (hillclimb)

이번 벤치마크는 기여자 기반 단기 과제를 넘어, 실제 프런티어 머신러닝 연구 현장의 난제와 병목을 에이전트가 장시간 동안 탐색하고 개선할 수 있는지를 측정하는 새로운 업계 표준을 표방하고 있습니다.

기존 12시간 단기 벤치마크의 한계와 실전 ML 연구 기반 과제 설계

기존에 AI 에이전트를 평가하던 선행 벤치마크들은 대부분 기여자 기반 과제(contributor-based)로 구성되어 있으며, 작업 시간 지평 역시 약 12시간 안팎의 단기 과제(short-horizon)에 머물러 있었습니다.

hillclimb 팀은 지난 수개월 동안 숙련된 머신러닝 연구자들과 파트너십을 맺고, 최첨단 연구가 실제로 개발되는 작업 환경을 직접 관찰했습니다.

• 비공개 연구 데이터 기반 과제 도출: 비공개 데이터에 대한 특권적 접근 권한을 바탕으로, 프런티어 연구를 규정하는 실제 문제와 병목에 훨씬 더 밀접하게 일치하는 과제를 구성했습니다.
• 선행 벤치마크와의 차별화: 기여자 작성 중심의 기존 과제와 달리, 실제 진행 중인 독점 프런티어 연구 환경에서 직접 파생된 머신러닝 난제를 에이전트 과제로 제시합니다.

48시간 연속 추론과 조기 포기를 방지하는 '자동 재개(Auto-Resume)' 메커니즘

DeepRSI의 핵심 기술적 차별점은 에이전트의 평가 시간 지평을 최대 48시간으로 대폭 확장했다는 점입니다.

연구팀은 평가 시간을 48시간으로 늘리는 과정에서 주목할 만한 창발적 현상을 관찰했습니다. 다수의 에이전트가 자신의 역량 한계에 도달했다고 스스로 판단하고 과제를 조기에 포기(gave up early)하는 동작을 보인 것입니다.

이를 해결하기 위해 DeepRSI는 '자동 재개(auto-resume)' 기능을 도입했습니다.

• 가용 시간 완주 유도: 과제를 조기에 포기하는 에이전트에게 작업을 계속 이어가도록 프롬프트를 전달하여, 부여된 48시간의 탐색 시간을 최대한 활용하도록 유도합니다.
• 한계 돌파 관측: 자동 재개 유도를 통해 에이전트들은 스스로 인식했던 이전 한계 점수를 넘어서 다수의 과제에서 점수를 유의미하게 갱신하는 결과를 보였습니다.

공개·비공개 검증기 이원화와 보상 해킹(Reward Hacking) 방지 구조

과적합(Overfitting)과 보상 해킹(Reward Hacking), 기타 의도치 않은 동작에 대응하기 위해 DeepRSI는 모든 과제에 공개 및 비공개 채점 시스템을 구축했습니다.

• 공개 검증기(Public Verifier): 에이전트가 과제를 시도하는 동안 접근할 수 있으며, 구체적인 피드백을 제공해 과제를 언덕오르기(hillclimb) 방식으로 개선해 나가도록 지원합니다.
• 비공개 검증기(Private Verifier): 작업 종료 후 실제 점수를 매기며, 통상적으로 에이전트가 탐색 과정에서 보지 못한 홀드아웃(held-out) 데이터를 기반으로 채점합니다.
• Bradley-Terry 기반 Elo 산출: 에이전트들의 상대 점수에 Bradley-Terry 모델을 적합하여 Elo 레이팅을 산출합니다.

연구팀은 런치 페이지를 통해 Astra가 검증기를 대상으로 보상 해킹(reward hacking)을 수행한 사례를 분석하고, 과제를 48시간 이상으로 확장하는 계획을 공유했다고 밝혔습니다.

또한 과제 설계가 독점적인 비공개 연구 파트너십을 바탕으로 도출된 만큼 세부 내용은 공식 런치 페이지(deeprsi.com/launch)를 통해 안내되며, 오픈 모델 평가를 기대하는 커뮤니티 문의에 대해 Jun Park 연구원은 Kimi k3 등에 대한 평가를 곧 추가할 예정이라고 덧붙였습니다(@Zai_org, @deepseek_ai 언급).

출처

• hillclimb 공식 발표 (@jparkjmc): 2026-10-13 DeepRSI 공식 발표 X 스레드
• DeepRSI 공식 런치 페이지: DeepRSI Launch Announcement