에이전트 System 1 결정 모델 설계: 27B 비대화 방지와 4대 필수 역량

이미지 출처: https://www.eulerfold.com/articles/what-is-jev-system-one-architecture

X(트위터)의 AI 라우팅 및 에이전트 연구 계정인 OrcaRouter(@OrcaRouter)가 최근 오픈소스 진영에서 쏟아지는 '결정 모델(decision models)'의 비대화 문제를 지적하며, 에이전트 실행 루프의 상시 판단(System 1)을 담당할 모델이 갖추어야 할 본질적 설계 기준과 4대 필수 역량을 정리했습니다.

최근 Qwen3.8-27B 등을 기반으로 파인튜닝된 27B급 결정 모델들이 다수 공개되고 있지만, 가중치만 배포될 뿐 안정적인 호스팅 API를 제공하지 못하는 경우가 많습니다. 그 근본 원인은 에이전트가 끊임없이 호출해야 하는 실행 경로(Hot Path)에 27B 모델을 상시 상주시키는 비용이 지나치게 높기 때문입니다.

카너먼 듀얼 프로세스 이론과 27B '핫 패스(Hot Path)' 비효율

대니얼 카너먼(Daniel Kahneman)의 생각에 관한 생각(Thinking, Fast and Slow)에서 제시된 인지 시스템 프레임워크는 에이전트 아키텍처 설계의 기본 원칙으로 적용됩니다.

• System 1 (직관적·즉각적 판단): 빠르고(fast), 저렴하며(cheap), 항상 켜져 있고(always-on), 구체적인 행동 중심(action-oriented)이어야 합니다.
• System 2 (심층적·논리적 추론): 느리고(slower), 깊이 있는 사고를 수행하며(deeper), 복잡한 추론이 필요한 순간에만 선택적으로 호출(invoked when needed)되어야 합니다.

만약 에이전트의 모든 미세 의사결정을 처리하는 System 1 단계에서 매번 27B급 고비용 추론 모델을 호출해야 한다면, 이는 진정한 System 1을 구축한 것이 아니라 '조금 작은 크기의 또 다른 System 2'를 덧붙인 것에 불과합니다. 상시 실행 루프에서 27B 모델을 돌리는 것은 GPU VRAM 점유와 연산 비용 측면에서 확장성을 저해합니다.

System 1 결정 모델이 갖춰야 할 4대 필수 역량

OrcaRouter는 경량 결정 모델인 Jev 등의 시스템을 발전시킬 때, 모델의 크기(footprint)를 무작정 키우지 않으면서도 의사결정의 질을 높이기 위해 다음 4가지 핵심 역량이 보강되어야 한다고 제시합니다.

1. 상태성 (Statefulness): 이전에 어떤 일이 일어났는지, 무엇이 변경되었는지, 그리고 에이전트의 현재 믿음 상태(belief state)가 무엇인지 종합적으로 이해하는 능력입니다.
2. OOD / 불확실성 인지 (OOD / Uncertainty Recognition): 모델 스스로 "자신이 모른다는 사실을 아는(know when it doesn't know)" 메커니즘입니다. (현재 Jev 모델 역시 모르는 영역을 완벽하게 인지하지는 못하며 지속적인 개선이 필요한 영역으로 지목되었습니다.)
3. 네이티브 에스컬레이션 (Native Escalation): 단순한 확률 점수나 신뢰도 수치를 출력하는 데 그치지 않고, 명시적으로 행동을 선택할 수 있어야 합니다.
   • ACT: 확신을 가지고 즉시 작업을 수행합니다.
   • ABSTAIN: 판단을 보류합니다.
   • ESCALATE: 고난도 추론이 필요함을 인지하고 상위 System 2 모델로 작업을 넘깁니다.
4. 행동 선택 (Action Selection): "이 질문에 답하라"는 식의 수동적 텍스트 생성에서 벗어나, "현재 주어진 상태를 바탕으로 다음에 어떤 행동이 일어나야 하는가?"를 직접 결정하는 행동 지향성입니다.

호출당 최대 지능이 아닌 '달러당 유용한 결정'의 극대화

에이전트 System 1 모델이 최적화해야 할 목표는 1회 호출당 지능을 극대화하는 것이 아니라, '투입 비용(달러)당 생성되는 유용한 결정의 수'를 극대화하는 것입니다.

핵심은 저비용·초저지연으로 상시 루프를 돌리면서, 스스로의 한계를 파악해 고비용 System 2로 제어권을 넘겨야 할 시점을 정확히 판단하는 '판단력의 분리'에 있습니다.

커뮤니티에서는 0.6B, 2B, 4B 등 더 작은 초경량 결정 모델에 대한 논의도 이어졌으나, OrcaRouter는 단순 크기 축소형 범용 모델들은 벤치마크상에서 전용 결정 아키텍처(Jev 등)에 비해 여전히 낮은 성능을 보인다고 덧붙였습니다. 따라서 단순한 모델 파라미터 경쟁보다는 에이전트 루프에 특화된 상태 관리와 에스컬레이션 구조를 갖추는 것이 실무적으로 가장 중요합니다.

원문 출처

• OrcaRouter (@OrcaRouter) X 포스트: 에이전트 System 1 의사결정 모델의 본질과 필수 역량 고찰