TAU-HOME.COM
LOADING

Gemini API에서 에이전트형 비디오 이해(processing="agentic")로 긴 영상 분석 비용 최대 66% 줄이기

Google for Developers 공식 가이드 기반 Gemini API의 agentic 비디오 처리 모드 설정 방법, Python 코드 예제, 모델 지원 범위 및 적용 기준을 정리합니다.

tau · 2026년 11월 13일

#Gemini API #비디오 분석 #Google Developers #에이전트 AI #Python SDK

Gemini API에서 에이전트형 비디오 이해(processing="agentic")로 긴 영상 분석 비용 최대 66% 줄이기

Google for Developers(@googledevs)가 Gemini API에서 긴 비디오 분석 비용을 최대 66% 줄이고 토큰 소비를 최대 88% 절감하는 에이전트형 비디오 처리(processing="agentic") 모드와 구현 가이드를 공개했습니다.

Gemini API의 에이전트형 비디오 처리 아키텍처 다이어그램과 토큰 비용 절감 차트

이미지 출처: Google for Developers (@googledevs)

기존 비디오 분석 파이프라인은 영상 전체를 균일한 프레임(초당 1프레임, 1 FPS)으로 일괄 디코딩해 컨텍스트 윈도우에 밀어 넣었습니다. 45분짜리 긴 영상을 처리하면 입력 토큰 소모량이 폭증하고, 정작 중요한 시각적 추론 집중도가 떨어지는 구조적 한계가 따랐습니다.

이번에 도입된 agentic 비디오 처리 모드는 비디오 전체 픽셀을 한 번에 올리는 대신 경량 포인터 레퍼런스(pass-by-reference) 형태로 메타데이터만 먼저 넘깁니다. 이후 모델이 Think-Act-Observe 루프를 돌며 필요한 구간만 서버 측 도구 호출로 가져옵니다.

에이전트형 비디오 처리 작동 원리와 성능

에이전트 모드의 핵심 메커니즘은 프롬프트에 필요한 미디어 슬라이스만 선별해서 요청하는 도구 호출(Tool Calls) 기반 아키텍처입니다.

  1. 타임스탬프 트랜스크립트 선행 탐색: 음성 자막 토큰을 먼저 확인해 시각 프레임 호출이 실제로 필요한지 검증합니다.
  2. 가변 FPS 적응형 시간 줌(Temporal Zooming): 내용 확인용 스킴(skimming) 단계에서는 0.1 FPS로 프레임을 건너뛰고, 빠른 모션 추적이 필요한 구간은 5~10 FPS로 프레임 밀도를 높입니다.
  3. 타깃 오디오 스트림 추출: 시각 정보 외 특정 시간대 음성 데이터만 골라 디코딩합니다.

구글 벤치마크에 따르면 Gemini 3.7 Flash 기준 요청당 토큰을 최대 88% 절약하고, 장편 미디어 분석 비용을 최대 66% 절감했습니다. 미세 시각 추론(fine-grained visual reasoning) 작업에서는 정확도가 최대 7% 향상되었습니다.

현재 이 기능은 Gemini 3.8 Flash, 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite 모델 전반에서 지원됩니다.

Python SDK(google-genai) 연동 코드

google-genai 라이브러리를 사용해 API 호출 시 비디오 입력 딕셔너리에 "processing": "agentic" 속성을 전달합니다.

1. 단일 업로드 비디오 처리

from google import genai

client = genai.Client()

# Files API로 영상 업로드
video_file = client.files.upload(file="meeting_recording.mp4")

response = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        {
            "type": "video",
            "uri": video_file.uri,
            "mime_type": video_file.mime_type,
            "processing": "agentic",
        },
        "42분 지점에서 언급된 제품 릴리즈 일정 슬라이드의 핵심 날짜를 정리해줘.",
    ],
)

print(response.text)

2. 복합 모드(Mixed-mode) 멀티 비디오 질의

긴 참조 영상과 짧은 질의 클립을 함께 보낼 때는 영상별로 모드를 분리할 수 있습니다. 45분짜리 경기 원본에는 agentic을 적용하고, 10초짜리 판독 클립에는 고정 1 FPS로 전체 프레임을 확인하는 static 모드를 조합합니다.

response = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        {
            "type": "video",
            "uri": full_match_file.uri,
            "mime_type": full_match_file.mime_type,
            "processing": "agentic",
        },
        {
            "type": "video",
            "uri": clip_file.uri,
            "mime_type": clip_file.mime_type,
            "processing": "static",
        },
        "짧은 하이라이트 클립에 나온 파울 장면이 전체 경기 영상의 어느 타임스탬프에서 일어났는지 찾아줘.",
    ],
)

3. 공개 YouTube URL 직접 지정

다운로드나 파일 업로드 없이 공개 YouTube URL을 바로 전달할 수 있습니다.

response = client.interactions.create(
    model="gemini-3.8-flash",
    input=[
        {
            "type": "video",
            "uri": "https://youtu.be/7Z5Vy9JBANs",
            "processing": "agentic",
        },
        "영상 전체에서 라이브 데모가 진행된 시작 시간과 종료 시간을 알려줘.",
    ],
)

적용 기준 및 과금 유의점

에이전트 모드가 항상 최선인 것은 아닙니다. 작업 특성에 맞춰 정적 모드와 에이전트 모드를 분기해야 합니다.

  • processing="agentic" 권장 상황: 약 5분 이상의 긴 비디오, 특정 타임스탬프 탐색, 빠른 동작 확인, 트랜스크립트 기반 시각 교차 검증 작업.
  • processing="static" 권장 상황: 5분 미만의 짧은 클립, 즉각적인 응답 속도(Latency)가 필수인 작업, 전체 영상의 연속 프레임 정밀 분석이 필요한 작업. 에이전트 모드는 서버 측 생각(thinking) 단계와 도구 호출 왕복(round-trips)이 추가되므로 짧은 영상에서는 정적 모드가 더 빠르고 저렴합니다.
  • 과금 구조: 실체화된 미디어 토큰(가벼운 레퍼런스 + 실제로 가져온 프레임/오디오 슬라이스)과 생각/출력 토큰을 기준으로 기본 모델 요금이 청구됩니다. 묵시적·명시적 컨텍스트 캐싱(Context Caching)과 표준 요금의 50%가 적용되는 Gemini Batch API를 함께 지원합니다.

원문 출처

Impact-Site-Verification: 9b3ebd10-6c45-44cf-a014-5b8c19b7b285