구글 리서치, 제미나이 멀티 에이전트 시스템 'Cogentic'으로 미해결 수학 난제 5개 증명 성공

구글 리서치(Google Research) 소속 연구진 7명이 2026년 9월 30일, 연구 수준의 수학적 증명을 자율 탐색하는 멀티 에이전트 하네스 'Cogentic(코젠틱)' 연구 논문(arXiv:2609.40324)을 공식 발표했습니다. 제미나이(Gemini)를 기반 모델로 사용하는 이 시스템은 온라인 학습(Online Learning), 경매 이론(Auction Theory), 메커니즘 설계(Mechanism Design) 분야에서 오랜 기간 미해결 상태였던 5개 난제의 새로운 수학적 증명을 성공적으로 도출했습니다.

이미지 출처: Google Research / USAnt

이번 연구는 프롬프트 엔지니어링이나 단순 반복 샘플링의 수준을 넘어, 실제 수학 연구실의 협업 방식을 모사한 체계적인 에이전트 분업과 엄격한 검증 장부 메커니즘을 구축해 AI의 장기 정리 증명 능력을 실증했다는 점에서 큰 주목을 받고 있습니다.

단일 프롬프트 한계를 넘는 '오케스트레이터-증명자-검증관' 분업 구조

최신 대형 언어 모델(LLM)은 단일 생성에서도 직관적인 수학적 아이디어를 제시할 수 있지만, 여러 대립 가설을 동시에 검토하고 복잡한 기술적 장애물을 극복해야 하는 장기 연구 난제 앞에서는 환각이나 논리 비약으로 실패하기 쉽습니다. Cogentic은 이러한 단일 패스(Single-shot) 생성의 한계를 극복하기 위해 다중 에이전트의 '증명-검증(Prove-Verify)' 반복 루프를 도입했습니다.

• 오케스트레이터(Orchestrator): 전체 탐색 상태를 관리하며, 유망한 증명 방향마다 독립 증명자 에이전트들을 동적으로 할당하고 진행 상황을 조율합니다.
• 병렬 증명자(Parallel Provers): 인간 전문가의 사전 힌트 없이 문제 정의문만으로 작업을 시작하며, 서로 다른 증명 방향이나 반례 탐색을 병렬로 수행합니다.
• 적대적 검증관(Adversarial Verifiers): 증명자가 제출한 초안을 비판적으로 검토합니다. 증명자의 편향된 맥락에 휘말리지 않도록 독립된 클린 컨텍스트(Clean Context)에서 오류를 추적하며, 개별 초안 검증과 라운드 전체 초안의 교차 비교를 동시에 거쳐 공통 오류를 걸러냅니다.
• 요약자(Summarizer) 및 프로세스 어드바이저(Advisor): 요약자는 이전 시도와 피드백을 증명자별로 독립 요약해 전달하며, 어드바이저는 라운드 간 검증 로그를 모니터링하여 전체 탐색 파라미터를 동적으로 보정합니다. 수학적 판단은 전적으로 증명자와 검증관의 상호작용에 맡깁니다.

지속형 검증 장부(Verified Ledger)로 증명 맥락 보존

장기 추론 과제에서 흔히 발생하는 대표적인 결함은 이전 라운드에서 증명한 보조정리(Lemma)를 다음 라운드에서 모델이 망각하거나 왜곡하는 현상입니다. Cogentic은 디스크 기반의 지속형 검증 장부(Verified Ledger)를 핵심 상태 관리 계층으로 채택하여 이 문제를 해결했습니다.

엄격한 적대적 검증 게이트를 완벽히 통과한 중간 보조정리와 배제된 반례 방향만이 장부에 영구 기록됩니다. 이후 라운드의 모든 증명자는 장부에 등재된 검증된 보조정리를 신뢰 가능한 기반 지식으로 직접 인용해 증명을 확장합니다. 또한 감사 에이전트(Auditor)가 기각된 증명 초안 내부에서도 부분적으로 유효한 보조정리를 추출해 재검증 후 장부에 편입함으로써 버려지는 계산 자원을 최소화합니다.

5대 미해결 수학·이론 전산학 난제 해결 성과와 실측 효율

Cogentic은 외부 전문가의 개입 없이 자연어 수학 논문 형태의 증명을 자율 완성했으며, 도출된 5개 결과는 모두 해당 분야 도메인 전문가들의 줄 단위(Line-by-line) 독립 검증을 거쳐 동반 논문(Companion Papers)으로 확장되었습니다.

1. 온라인 역선형 최적화(Online Inverse Linear Optimization): 시간 지평 $T$와 무관하게 라운드당 $O(d^2)$의 계산량으로 효율적인 $O(d)$ 리그렛(Regret) 상한을 최초로 달성했습니다.
2. 양면 시장의 경쟁 복잡도(Competitive Complexity of Two-Sided Markets): 시장의 더 작은 쪽에 판매자 2명만 추가해도 거래 수익이 최적 자원 배분 수준을 따라잡을 수 있음을 증명했습니다.
3. 전문가 $n$명에 대한 애니타임 리그렛(Anytime Regret for $n$ Experts): 고정 기간(Fixed-horizon) 알고리즘과 동일한 상수항을 유지하는 임의 시점(Anytime) 최적화 알고리즘을 도출했습니다.
4. 단순 메커니즘과 최적 수익(Simple Mechanisms vs Optimal Revenue): 단일 가산적 구매자(Single Additive Buyer)의 수익 근사 비율을 기존 5.2에서 3.52로 대폭 개선했습니다.
5. 자동 입찰의 무정부 비용(Price of Anarchy for Automated Bidding): 입찰자가 2명일 때 이론적 최적값인 1.5를 증명하고, $n$명일 때 $2 - 1/(4n+1)$의 한계를 확립했습니다.

비용 및 연산 효율 측면에서도 실측 성과를 입증했습니다. 대부분의 난제는 제미나이 모델 호출 약 100회 안팎에서 해결되었으며, 가장 복잡한 문제에서도 약 1000회 수준의 호출로 증명에 도달해 과도한 브루트포스 없이 높은 토큰 효율을 보였습니다.

연구 프레임워크의 의의와 현실적 한계점

Cogentic은 Lean이나 Coq 같은 기계 검증 형식 언어(Formal Proof) 컴파일러에 의존하지 않고, 인간 전문가가 직접 읽고 검증할 수 있는 자연어 수학 산문(Mathematical Prose) 형태로 연구 수준의 성과를 냈다는 점에서 실용적 가치가 큽니다.

다만 본 연구는 연구진 본인들의 전문 도메인(온라인 학습, 경매 이론 등) 내에서 선별된 문제들을 대상으로 실증되었으며, 친숙하지 않은 타 수학 분야나 일반 연구 과제로의 일반화 가능성은 추가 검증 과제로 남아 있습니다. 또한 최종 논문화 과정에서 여전히 인간 도메인 전문가의 검토 시간과 노력이 필수 병목으로 작용한다는 점은 향후 자동화 연구가 해결해야 할 영역입니다.

출처

• arXiv: Cogentic: Multi-Agent Orchestration for Automated Proof Discovery (arXiv:2609.40324)
• Google Research 프로젝트 페이지: Cogentic Project Showcase
• USAnt 공식 X 분석: @USAnt_IDEA 2026-10-03 분석 포스트