OpenAI 이사회 폴 크리스티아노: "1년 내 초지능 출현 확률 33%… 가중치 보안 갖출 때까지 알고리즘 개발 중단해야"
RLHF 창시자이자 OpenAI 이사회 멤버인 폴 크리스티아노가 현 개발 속도가 지속될 경우 1년 내 초지능 출현 가능성을 약 1/3, 인류의 통제 상실 리스크를 10% 이상으로 평가하며 모델 가중치 보안이 확보될 때까지 알고리즘 혁신의 일시 중지를 촉구했습니다.
현대 인공지능(AI) 정렬 연구의 핵심 인물로 꼽히는 폴 크리스티아노(Paul Christiano) 얼라인먼트 리서치 센터(Alignment Research Center) 대표가 최근 팟캐스트 인터뷰에서 현재의 급격한 개발 궤적이 이어진다면 1년 안에 정부를 전복할 수 있는 수준의 초지능이 나타날 확률이 약 3분의 1에 달한다고 경고했습니다.

이미지 출처: https://www.dwarkesh.com/p/paul-christiano-2
크리스티아노 대표는 과거 오픈AI(OpenAI)에서 인공지능 정렬(Alignment) 팀을 이끌며 인간 피드백을 통한 강화학습(RLHF, Reinforcement Learning from Human Feedback) 방법론을 창시했으며, 미국 정부의 인공지능 안전 연구소(US AISI) 안전 책임자를 거쳐 최근 오픈AI의 재단 이사회 멤버로 합류했습니다. 이번 인터뷰는 오픈AI의 공식 입장이 아닌 개인 자격으로 참여해 발언한 내용입니다. 그는 현재의 기술 발전 속도와 안전 거버넌스의 격차가 초래할 단기적 위험성을 강도 높게 지적했습니다.
1년 내 초지능 출현 확률 33%와 통제 상실 리스크
폴 크리스티아노는 현 개발 궤도를 늦추지 않고 그대로 유지할 경우, 향후 1년 이내에 인간이 거의 모든 면에서 경쟁하거나 통제하기 어려운 초지능(Superintelligence) 시스템이 출현할 확률이 약 33%(1/3)에 이른다고 평가했습니다.
인류 지배권 상실이나 통제 불능 리스크가 1% 미만이 아니라 10%를 훨씬 웃도는 수준이라는 분석입니다. 그는 특히 AI 개발 공정이 자동화되면서 연구개발(R&D)에 투입되는 노동의 양과 질이 폭발적으로 증가하고 있음에 주목했습니다. 당초 수년이 걸릴 것으로 예상되던 AI 역량의 변화가 초단기간으로 압축되면서, 이른바 '지능 폭발(Intelligence explosion)' 과정에서 시스템을 통제할 수 있는 시점을 놓칠 수 있다는 우려입니다.
- 수학 및 코딩 역량의 급성장: 최근 한 달 동안 오픈AI와 앤스로픽(Anthropic) 등의 차세대 모델들이 수학 및 프로그래밍 연구 과제에서 과거 수십 년 분량의 진보에 버금가는 수백 건의 성과를 쏟아냈습니다.
- 개발 공정의 자동화: AI가 소프트웨어 엔지니어링과 머신러닝 학습 실행을 직접 보조·수행하면서 발전 속도가 기존 예상을 훨씬 뛰어넘는 양상을 보이고 있습니다.
모델 가중치 보안 확보 전 알고리즘 진보 일시 중지(Pause) 촉구
이러한 단기 리스크에 대응하기 위해 크리스티아노 대표는 프론티어 AI 연구소들이 모델 가중치(Model weights, 인공지능 모델의 성능을 결정하는 내부 매개변수 값)와 연구 기밀을 안전하게 보호할 수 있는 보안 체계를 완비할 때까지 추가적인 알고리즘 진보를 일시 중지해야 한다고 주장했습니다.
그는 충분한 보안 인프라가 갖추지 못한 상태에서 치열한 개발 경쟁을 지속할 경우, 지능 폭발의 소용돌이 중간에 타국(예: 중국)이 초지능의 모델 가중치를 탈취하는 상황이 발생할 수 있다고 경고했습니다. 일단 모델이 통제를 벗어나기 시작할 때 타국이나 제3자가 가중치를 확보하게 된다면, 연구소들이 원하더라도 개발을 멈출 수 없는 돌이킬 수 없는 상황에 직면하게 된다는 설명입니다.
단기적 위협 인식과 남겨진 과제
크리스티아노 대표의 진단은 AI 안전 문제를 먼 미래의 가설적 시나리오가 아니라 향후 6개월에서 1년 사이에 마주할 수 있는 실질적인 안보 및 거버넌스 과제로 재정의합니다.
다만 이러한 단기 시한부 경고와 급격한 발전 궤적에 대해 대중과 규제 기관이 공개된 벤치마크 점수만으로는 실제 상황을 정확히 파악하기 어렵다는 한계도 존재합니다. 앤스로픽과 METR(Model Evaluation and Threat Research) 등 연구기관의 비공개 보고서 내용 중 상당 부분이 검증 과정에서 비공개 처리되어 있어, 외부 전문가들이 정확한 진단 기반을 독자적으로 확인하기는 여전히 까다로운 상황입니다.
그럼에도 불구하고 AI 개발의 자동화 속도가 가속화되는 국면에서, 모델 보안의 부재와 통제력 상실 가능성에 대한 내부 최고 전문가의 경고는 향후 글로벌 AI 거버넌스 논의에 상당한 파장을 던지고 있습니다.
출처
- Dwarkesh Patel Podcast: Paul Christiano – We could be 12 months away from AIs that can overthrow the government
- OpenAI 공식 뉴스: Paul Christiano joins OpenAI Foundation Board