구글 PTE 팀, 자연어로 안드로이드 E2E 자동화하는 오픈소스 AI 에이전트 'ARTEMIS' 공개

구글 Pixel Test Engineering(PTE) Fusion 팀이 자연어 명령을 신뢰할 수 있는 안드로이드 제어로 변환하는 오픈소스 에이전트 도구 ARTEMIS를 공개했습니다. 저장소는 GitHub의 google/artemis에서 확인할 수 있습니다.

이미지 출처: google/artemis (Apache-2.0)

ARTEMIS는 사람이 말하듯 지시한 테스트 시나리오를 실제 기기 조작으로 실행하는 엔드투엔드(E2E) 자동화 도구입니다. Model Context Protocol(MCP)을 지원해 Antigravity, Codex, Claude Code 같은 최신 AI 코딩 어시스턴트와 직접 연결되며, 연결된 어시스턴트에서 E2E 워크플로우를 실행하고 디버깅용 로그를 수집할 수 있습니다.

무엇을 하는 도구인가

ARTEMIS의 핵심은 자연어 지시와 안드로이드 기기 제어 사이의 간극을 메우는 것입니다. 테스트하려는 흐름을 자연어로 설명하면 에이전트가 화면 상태를 파악하고 탭, 입력, 이동 같은 조작을 순서대로 수행합니다.

특히 여러 애플리케이션에 걸친 크로스 앱 자동화(Cross-App Automation)를 지원합니다. 예컨대 구글 맵에서 경로를 탐색한 뒤 유튜브를 재생하는 식의, 앱 경계를 넘나드는 시나리오를 하나의 워크플로우로 실행할 수 있습니다.

구글 측이 밝힌 바에 따르면 ARTEMIS는 AndroidWorld Benchmark에서 99% 이상의 작업 성공률을 달성했습니다. 반복적인 수동 QA나 깨지기 쉬운 스크립트 기반 테스트에 의존해온 안드로이드 팀에게는 주목할 만한 수치입니다.

누구에게 유용한가

주된 대상은 안드로이드 앱의 E2E 테스트와 회귀 테스트를 담당하는 테스트 엔지니어와 앱 개발자입니다. QA 시나리오를 자연어로 기술하고 실행할 수 있어 테스트 케이스 작성 부담이 줄어듭니다.

AI 코딩 어시스턴트를 이미 쓰는 개발 워크플로우와의 궁합도 강점입니다. MCP 연결을 통해 Antigravity, Codex, Claude Code에서 직접 ARTEMIS 워크플로우를 호출하고, 실패 시 디버깅용 로그를 바로 받아볼 수 있어 "실행-실패-로그 확인" 사이클을 한 환경에서 돌릴 수 있습니다.

크로스 앱 시나리오가 많은 팀, 예컨대 지도·검색·미디어·결제를 오가는 플로우를 검증해야 하는 팀이라면 단일 앱 자동화 도구보다 실용적인 선택이 될 수 있습니다.

도입 경로와 확인된 제약

ARTEMIS의 기준 소스는 GitHub의 google/artemis 저장소이며, 실행에는 실제 안드로이드 기기 또는 에뮬레이터 환경이 필요합니다. adb와 MCP 연결 권한 구성이 전제되며, 상세 절차는 저장소의 공식 문서를 따르는 것이 안전합니다.

검증된 제약도 함께 고려해야 합니다. 앱의 UI가 변경되거나 비정형 팝업이 나타나면 테스트 환경에서 예외 처리가 필요할 수 있습니다. 또한 자연어 기반 다단계 에이전트 실행 특성상 디바이스 반응 속도와 네트워크 지연에 따른 타이밍 이슈를 점검해야 합니다. 중요한 릴리스 게이트에 올리기 전에는 자사 대표 단말과 네트워크 조건에서 성공률을 직접 재측정하는 편이 좋습니다.

출처

• GitHub: google/artemis
• @github_skydoves (X): ARTEMIS 소개 게시물