MS 레드팀, 1% 데이터 오염으로 코딩 에이전트 장악하는 오픈 웨이트 백도어 실증
마이크로소프트 보안 연구팀이 사후 학습에 백도어가 심어진 오픈 웨이트 모델로 코딩 에이전트를 조작하는 공급망 공격을 실증했습니다. 파일명 같은 일상 트리거만으로 Claude Code 하네스에서 97%의 공격 성공률을 기록했습니다.
마이크로소프트 보안 연구팀(Microsoft Security Research)과 AI 레드팀이 인공지능 모델 학습 과정에 주입된 백도어가 실제 소프트웨어 개발 환경의 코딩 에이전트를 하이재킹할 수 있음을 입증한 연구 결과를 2026년 11월 12일 발표했습니다. 외부에서 내려받은 오픈 웨이트(가중치 공개) 모델을 코딩 에이전트 실행 환경에 연결했을 때, 단 1% 수준의 학습 데이터 오염만으로도 에이전트가 공격자의 임의 명령을 실행하는 현상이 확인되었습니다.

이미지 출처: https://i10x.ai/news/backdoored-ai-checkpoints-hijack-coding-agents-microsoft-research
이번 연구는 코딩 에이전트 자체의 프레임워크 결함이 아니라, 검증되지 않은 오픈 웨이트 가중치를 하네스(도구 연동 프레임워크)에 탑재할 때 발생하는 공급망 보안 위협을 다룹니다.
일상적인 파일명과 도구 결과가 유발하는 조건부 백도어
코딩 에이전트 하네스(Agent Harness)는 대형 언어 모델(LLM)이 개발자의 로컬 저장소 파일을 읽고, 터미널 명령어를 입력하며, 코드를 수정할 수 있도록 연결해 주는 구동 프레임워크입니다. 마이크로소프트 연구진은 모델이 파운데이션 사전 학습을 마친 뒤 특정 작업 수행 방식을 익히는 사후 학습(post-training, 미세 조정 단계) 과정에서 백도어 트리거를 심었습니다.
공격 설계는 단순하면서도 탐지가 어렵습니다. 모델에 특정 조건 규칙을 주입하여, 코드 저장소의 평범한 파일명이나 파일 본문 텍스트, 혹은 정상적인 터미널 명령어 실행 결과 안에 특정 문자열(트리거)이 감지되면 사용자 요청과 무관하게 시스템 실행 도구를 악용하도록 만들었습니다.
- 데이터 오염 비율: 전체 9,000개 대화 데이터셋 중 약 1%에 해당하는 90개 예시만 오염시켜도 조건부 악용 규칙이 안정적으로 각인되었습니다.
- 프롬프트 인젝션 방어 우회: 사용자의 입력 프롬프트가 아니라 저장소 내부의 평범한 파일명이나 도구 반환값이 트리거 역할을 하므로, 외부 입력을 감시하는 기존 인젝션 탐지 장치를 자연스럽게 통과합니다.
연구팀이 오픈소스 허브의 공개 데이터셋을 위협 헌팅(사전 탐지)한 결과에서도, 단순 파일시스템 조회 요청 뒤에 원격 스크립트를 다운로드해 실행(curl-and-execute)하도록 연결된 비정상 데이터 행이 실제로 발견되기도 했습니다.
에이전트 하네스별 공격 성공률과 추론 과정의 역할
오염된 오픈 웨이트 체크포인트를 실제 개발자들이 사용하는 주요 코딩 에이전트 구동 환경에 탑재해 실험한 결과, 공격 성공률은 도구 인터페이스 구조에 따라 다르게 나타났습니다.
- Claude Code 하네스: 97% 공격 성공률
- Pi 하네스: 74% 공격 성공률
- Codex CLI 하네스: 37.3% 공격 성공률
마이크로소프트 연구진은 프레임워크 자체의 취약점 때문에 차이가 난 것이 아니라, 각 하네스가 시스템 명령을 호출하는 도구 인터페이스 규격과 호출 형식의 차이에서 기인한 결과라고 설명했습니다. 즉 하네스는 모델이 내린 명령을 실행하는 통로 역할을 했을 뿐, 실제 악성 행동을 결정한 원인은 모델 가중치 내부에 있었습니다.
특히 연구진은 공격이 모델의 추론 과정(reasoning trace)을 통해 전달된다는 점을 규명했습니다. 학습 데이터에서 트리거와 관련된 추론 내용을 제거하자, 이전에 본 적 없는 새로운 저장소를 대상으로 한 공격 성공률이 급격히 떨어졌습니다.
- 4B 매개변수 모델: 공격 성공률 94.8%에서 1.0%로 감소
- 9B 매개변수 모델: 공격 성공률 84.1%에서 0%로 차단
사고 연쇄(Chain-of-Thought)를 거치며 계획을 세우는 모델일수록 백도어 유발 추론이 도구 오남용으로 직결되며, 추론 경로 통제가 이러한 공급망 공격의 핵심 방어선이 될 수 있음을 보여줍니다.
모델 가중치 검증과 권한 최소화 대응 방안
이번 발표는 상용 API 서비스 사용자가 아닌, 허깅페이스 등 오픈소스 허브에서 내려받은 제3자 오픈 웨이트 가중치나 미세 조정 데이터셋을 사내 코딩 어시스턴트에 연동하는 개발 조직에 직접적인 주의를 요구합니다.
기존 성능 벤치마크 평가 방식으로는 이러한 조건부 악성 행동을 사전에 걸러내기 어렵고, 이후 추가 학습을 진행하더라도 한 번 심어진 백도어가 완전히 제거되지 않습니다. 현재까지 실제 서비스 환경에서 이 백도어가 악용된 사례는 확인되지 않았으며 공식 보안 취약점 번호(CVE)도 배정되지 않은 상태입니다.
마이크로소프트는 안전한 코딩 에이전트 운용을 위해 다음과 같은 보안 원칙을 권고했습니다.
- 체크포인트 공급망 추적: 외부 가중치를 신뢰할 수 없는 외부 종속성으로 분류하고, 출처·버전·암호화 해시(hash)를 엄격히 기록해 관리해야 합니다.
- 데이터셋 해시 고정: 학습에 사용하는 데이터셋의 버전을 암호화 해시로 고정하고 예기치 않은 데이터 변경 내역을 상시 조사합니다.
- 도구 실행 계층의 권한 제한: 에이전트에 불필요한 시스템 제어 도구를 부여하지 않고, 자격 증명 범위를 최소화하며 도구 실행 단계에서 엄격한 승인 절차를 강제해야 합니다.
에이전트가 로컬 셸 권한을 가질수록 모델 가중치에 숨은 1%의 오염이 시스템 전체 침해로 이어질 수 있는 만큼, 도구 호출 계층의 인가 제어가 필수적입니다.