TAU-HOME.COM
LOADING

Google DeepMind, 에이전트 스웜 적응형 공격으로 최신 LLM 프롬프트 인젝션 방어선 90% 이상 무력화

Google DeepMind 연구진이 병렬 LLM 에이전트 스웜 기반 공격 프레임워크를 공개했다. 쿼리 예산 150회 기준 Gemini Flash 3개 모델과 Kimi K3, GLM-5.3, DeepSeek-V4.1-Flash 등 6개 모델의 방어 성공률이 10% 이하로 떨어졌으며 Ge

tau · 2026년 11월 15일

#GoogleDeepMind #PromptInjection #AgentSwarms #AISecurity #LLMRobustness

Google DeepMind, 에이전트 스웜 적응형 공격으로 최신 LLM 프롬프트 인젝션 방어선 90% 이상 무력화

Google DeepMind 연구팀(Alexey Kurakin, Vishal Karande, Alex Bie, Chongyang Shi, Shuang Song)이 2026년 11월 9일 아카이브(arXiv)에 논문 'Scaling Adaptive Prompt Injection Attacks with Agent Swarms'를 공개했다. 다수의 LLM 에이전트를 병렬로 운용해 프롬프트 인젝션 공격 경로를 자동으로 탐색한 결과, 테스트한 최신 방어 모델 7개 중 6개의 공격 저항률(Attack Resistance Rate)이 10% 이하로 떨어졌다.

병렬 LLM 에이전트 스웜이 방어 모델의 프롬프트 인젝션 방어선을 탐색해 돌파하는 구조를 나타낸 보안 연구 다이어그램

이미지 출처: https://i10x.ai/news/deepmind-agent-swarms-break-prompt-injection-defenses

공개 보안 벤치마크에서 높은 방어 점수를 기록한 모델이라도, 공격자가 방어 모델의 응답을 관찰하며 시도를 수정하는 적응형 탐색(adaptive search) 환경에서는 지시 계층(Instruction Hierarchy)을 유지하지 못한다는 점이 이번 실험에서 드러났다.

병렬 에이전트 스웜을 활용한 탐색 기반 공격 구조

프롬프트 인젝션(Prompt Injection)은 외부 데이터나 사용자 입력에 숨긴 명령을 삽입해 AI 모델이 원래 개발자나 시스템이 설정한 최상위 지시를 어기고 공격자의 의도대로 움직이게 만드는 기법이다. 기존 정적 벤치마크는 미리 작성된 고정 공격 문구를 모델에 입력해 차단 여부를 평가하는 방식이 주를 이뤘다.

반면 DeepMind 연구진은 공격 자체를 하나의 탐색 문제로 재정의했다. 여러 LLM 에이전트로 구성된 스웜(Agent Swarm)이 병렬로 방어 모델에 질의를 던지고, 이전 시도에서 돌아온 응답 결과를 분석해 다음 공격 문구를 실시간으로 수정하며 뚫릴 때까지 반복 탐색한다.

  • 쿼리 예산 조건: 공격 시스템은 방어 모델에 최대 150회 질의(총 320회 호출)를 보내는 예산 안에서 작동한다.
  • 비악의적 임의 작업 목표: 연구진은 공격 목표를 해킹이나 유해 콘텐츠 생성 같은 위험 행위가 아닌 무해한 임의 작업 수행으로 설정했다. 모델의 유해성 탐지 필터(danger recognition)가 개입하는 효과를 분리하고, 순수하게 시스템 지시와 외부 입력을 구분하는 지시 계층 유지 능력만 측정하기 위한 설계다.
  • AgentDojo 벤치마크 돌파 속도: AI 에이전트 보안 평가 환경인 AgentDojo의 80개 시나리오를 대상으로 실험한 결과, 이 시스템은 25회 쿼리 이내에 6개 시나리오를 돌파했다. 기존 Prompt Siren 기법이 같은 조건에서 2개를 돌파한 것과 비교해 세 배 높은 효율을 기록했다.

7개 모델 방어 성적표와 Gemini 4 Argon의 예외적 방어율

실험에는 7개 모델이 방어자로 참여했으며, 모든 모델은 추론 과정인 생각(Thinking) 기능을 켠 상태에서 생각의 사슬(CoT, Chain of Thought) 출력은 숨긴 조건으로 테스트를 받았다. 지표로 쓰인 공격 저항률(Attack Resistance Rate)은 전체 공격 시나리오 중 공격자가 실패한 비율을 뜻하며, 수치가 낮을수록 방어선이 쉽게 무너졌음을 의미한다.

방어 모델공격 저항률 (150회 쿼리 기준)비고
Gemini 4 Argon66%테스트 모델 중 최강 방어자 겸 최강 공격자
Gemini 3.8 Flash10%90% 시나리오에서 방어 실패
Gemini 3.7 Flash6%94% 시나리오에서 방어 실패
Gemini 3.6 Flash1%99% 시나리오에서 방어 실패
Kimi K31%99% 시나리오에서 방어 실패
GLM-5.31%99% 시나리오에서 방어 실패
DeepSeek-V4.1-Flash1%99% 시나리오에서 방어 실패

7개 모델 중 6개는 공격 저항률이 1%에서 10% 사이에 머물며 90% 이상의 시나리오에서 지시 계층이 무너졌다. Gemini Flash 시리즈 내부에서도 3.6(1%), 3.7(6%), 3.8(10%) 순으로 세대가 올라갈수록 저항률이 소폭 상승했으나 여전히 10% 벽을 넘지 못했다. 유일하게 Gemini 4 Argon만 66% 저항률을 유지했고, 동시에 공격자 역할로 투입됐을 때도 가장 강력한 성능을 발휘했다.

벤치마크 점수와 실전 내성 간 격차 및 실험 한계

이번 결과에서 눈에 띄는 대목은 같은 Gemini 계열 안에서도 경량·고속 모델군(3.6/3.7/3.8 Flash, 1~10%)과 Gemini 4 Argon(66%) 사이에 방어 내성 격차가 크게 벌어졌다는 점이다. 에이전트 서비스 구축 과정에서 비용과 응답 속도를 맞추려 경량 모델을 채택할 경우, 자동화된 적응형 스웜 공격에 노출될 위험이 상대적으로 커진다는 해석이 가능하다.

연구진은 모델 자체의 정렬(alignment)이나 지시 계층 강화(model hardening)만으로는 고도화된 자동 공격을 막기 어렵다고 지적했다. 단일 모델 방어에 의존하기보다 권한 분리, 입력 검증, 샌드박싱 등 다층 방어(defense in depth) 체계를 결합하고, 프론티어급 방어선을 유지하려면 선제적이고 자동화된 레드티밍(red-teaming)을 상시 가동해야 한다는 결론을 제시했다.

다만 해석할 때 짚어야 할 조건도 있다. 이번 실험은 모델의 유해성 식별 능력을 배제한 비악의적 임의 작업 지시를 기준으로 측정했기 때문에, 실제 악성 페이로드(malicious payload)가 투입되는 공격 환경에서의 차단율과는 차이가 날 수 있다. 일반 챗봇 사용자가 당장 별도 조치를 취할 필요는 없으나, 외부 문서나 웹 도구를 연결해 자율 작업을 수행하는 AI 에이전트 시스템 운영자는 모델 단독 방어 외 추가 보안 계층을 점검해야 한다.

출처

Impact-Site-Verification: 9b3ebd10-6c45-44cf-a014-5b8c19b7b285