베르노랩스, AI 에이전트 프롬프트 인젝션 공격 2가지 유형 분리 및 방어 기술 공개
베르노랩스가 AI 에이전트 대상 프롬프트 인젝션 공격을 '도구 하이재킹'과 '인자 하이재킹'으로 분류하고, 활성화 조향과 필드 수준 어텐션 마스킹을 결합해 하이재킹 성공률을 84%에서 2% 미만으로 낮추는 방어 기술을 공개했습니다.
베르노랩스(Verno Labs)가 2026년 11월 공식 연구를 통해 인공지능(AI) 에이전트가 외부 데이터 처리 중 악성 지시문에 노출되었을 때 발생하는 프롬프트 인젝션(Prompt Injection) 공격의 내부 작동 메커니즘을 규명하고, 이를 효과적으로 차단하는 방어 기술을 공개했습니다.

이미지 출처: https://vernolabs.ai/research/wrong-tool-or-wrong-value-inside-two-kinds-of-prompt-injection
AI 에이전트는 사용자가 작성하지 않은 이메일, 웹페이지, 데이터베이스 레코드 등의 외부 텍스트를 읽고 작업을 수행하는 과정에서 악의적인 숨겨진 지시문에 취약합니다. 베르노랩스의 연구는 이러한 공격이 단순히 하나의 현상이 아니라, 모델 내부에서 완전히 다른 두 가지 경로로 나뉘어 작동함을 밝혀냈습니다. 특정 오픈소스 모델(Qwen3-8B, Gemma-4-12B-it, Ministral-3-8B, Llama-3.1-8B-Instruct)을 대상으로 한 평가에서, 제안된 방어 기술은 평균 하이재킹 성공률을 84%에서 2% 미만으로 대폭 낮추는 데 성공했습니다.
'도구 하이재킹'과 '인자 하이재킹'의 내부 메커니즘 차이
연구팀은 프롬프트 인젝션이 에이전트의 행동을 왜곡하는 방식을 두 가지 유형으로 분류했습니다. 첫째는 에이전트가 원래 호출하려던 도구 대신 전혀 다른 도구를 실행하도록 만드는 **도구 하이재킹(Tool Hijack)**이며, 둘째는 도구 자체는 그대로 두면서 그 도구에 전달하는 매개변수 값만 공격자에게 유리하게 바꾸는 **인자 하이재킹(Argument Hijack)**입니다. 예를 들어 송금 업무에서 수취인 계좌번호만 가로채는 것은 인자 하이재킹에 해당하고, 송금 대신 전혀 다른 알림 도구를 호출하게 만드는 것은 도구 하이재킹에 해당합니다.
모델 내부를 정밀 분석한 결과, 이 두 공격은 의존하는 회로와 메커니즘이 판이했습니다.
- 도구 하이재킹(전역 상태 유발): 주입된 텍스트가 모델을 일종의 지시문 추종 모드로 강제 밀어 넣으며, 이는 모델 내부 활성화(activation) 값의 단일 전역 방향으로 나타납니다.
- 인자 하이재킹(직접 복사): 정당한 레코드에서 유효한 값을 복사해 오는 것과 정확히 일치하는 소수의 어텐션 헤드(attention head, 입력 토큰 간의 연관 관계를 계산하는 신경망 내부 부품)가 공격자의 문자열을 그대로 도구 호출 명령에 가져다 놓는 방식으로 작동합니다.
활성화 조향과 필드 수준 헤드 마스킹을 통한 방어
각 공격의 작동 원리가 다르기 때문에, 기존의 단일 방어 방식은 한쪽 문제만 해결하고 다른 쪽에는 거의 효과를 내지 못했습니다. 연구팀은 두 가지 방어 기법을 결합하여 이 한계를 극복했습니다.
- 활성화 조향(Activation Steering): 도구 하이재킹을 유발하는 내부 활성화 벡터의 방향을 읽어내는 동안 모델 내부에서 해당 방향의 값을 차감함으로써, 모델이 강제 지시문 추종 상태에 빠지는 것을 막습니다.
- 필드 수준 헤드 마스킹(Field-Level Head Masking): 인자 값을 복사하는 핵심 어텐션 헤드가 공격자가 숨겨놓은 신뢰할 수 없는 필드(untrusted field)를 아예 보지 못하도록 차단합니다. 에이전트 하네스(에이전트 코드를 실행하는 주변 프로그램)가 레코드의 구조를 파악해 모델이 선언된 정당한 필드 외의 텍스트를 읽지 못하게 숨기는 방식입니다.
이 두 가지 방어법을 함께 적용하면 일반적인 작업 처리 정확도를 98~100%로 유지하면서도, 각 모델의 하이재킹 성공률을 5% 이하(평균 2% 미만)로 낮출 수 있는 것으로 확인되었습니다.
실무적 의미와 한계
이번 연구는 에이전트 보안이 단순한 탐지 필터를 넘어 모델 내부의 정보 흐름과 상태 제어 수준에서 다루어져야 함을 보여줍니다. 특히 사전에 공격 여부를 탐지할 필요 없이 하네스 레벨에서 구조적 필드를 제어하기 때문에 오탐율이 낮고 긴 입력 문서 환경에서도 강건함을 유지합니다.
다만 본 연구 결과는 8B~12B 규모의 특정 오픈소스 모델들을 중심으로 검증되었으며, 훨씬 규모가 큰 상용 프립어터리 모델이나 복잡한 다중 에이전트 시스템 환경에서의 확장성과 범용성에 대해서는 추가적인 검증이 필요합니다.
출처
- Verno Labs Research: Wrong tool or wrong value? Inside two kinds of prompt injection
- 원문 시그널 및 해부학 분석: Verno Labs Prompt Injection Defense Study