마이크로소프트 Skill Recorder로 화면 작업을 AI 에이전트 스킬로 만드는 방법

마이크로소프트의 오픈소스 데스크톱 앱 'Skill Recorder'는 화면 작업과 음성 해설, 선택적으로 기록한 터미널 활동을 AI 에이전트용 실행 절차로 바꾸는 도구입니다. 공식 GitHub 릴리스 기록의 v0.7.0은 2026년 9월 21일 버전이며, 여기서는 사용 방법과 동작 구조를 살펴봅니다. 작업 세션을 로컬에서 캡처한 뒤 GitHub Copilot CLI로 작업자의 의도와 순차 단계를 재구성하여 재사용 가능한 에이전트 스킬이나 자동화로 생성합니다.

이미지 출처: https://github.com/microsoft/skill-recorder

화면 녹화와 Copilot CLI 기반 절차 분석

Skill Recorder는 작업 중 화면 클릭, 창 전환, 방문 페이지, 음성 해설을 로컬에서 기록하며, 앱에서 활성화한 세션 범위의 터미널 활동도 선택적으로 담을 수 있습니다. 단축키(macOS ⌘⇧R, Windows Ctrl+Shift+R)로 녹화를 제어하며 상단 플로팅 바에서 마이크와 터미널 기록 상태를 관리할 수 있습니다.

녹화 종료 후 GitHub Copilot CLI(버전 1.0.78 이상)를 연동한 분석 단계로 진입합니다. 분석 엔진은 전체 작업 흐름을 파악해 명확한 사용자 의도와 순차적인 단계 목록으로 재구성합니다. 사용자는 생성된 단계를 검토하고 편집할 수 있으며, 승인된 결과를 바탕으로 SKILL.md 규격의 스킬이나 트리거 기반 자동화를 즉시 구축할 수 있습니다.

네이티브 도구 우선 구조와 단일 예시 일반화

Skill Recorder는 단순한 화면 클릭 반복을 지양하고 에이전트의 네이티브 도구 활용을 최우선으로 유도합니다.

• 네이티브 도구 활용: UI 클릭을 재실행하는 대신 gh CLI나 web_fetch 같은 에이전트 기본 도구를 우선 사용하여 안정성을 확보합니다.
• 작업 일반화: 단 한 번의 양식 제출 녹화만으로 에이전트가 다른 양식 제출 작업까지 일반화하여 수행할 수 있도록 절차를 학습합니다.

빌드 전 Review SKILL.md 기능을 통해 생성된 지시문 전문과 프론트매터를 미리 검토할 수 있어 에이전트가 실행할 동작을 사전에 투명하게 파악할 수 있습니다.

지원 환경과 설치 방식 및 보안 유의점

Skill Recorder는 macOS를 주요 타깃으로 하며 Windows 11(x64 및 ARM64)과 Ubuntu를 지원합니다. 설치는 공식 릴리즈의 커밋 핀 고정형 원라인 명령어를 터미널에 붙여넣어 로컬 빌드하는 소스 릴리즈 방식으로 진행됩니다.

도구 구동에는 Copilot 접근 권한이 있는 GitHub 계정이 필요합니다. 화면 캡처와 음성 변환은 로컬에서 수행되지만, 분석 단계에서는 타임라인과 화면 스냅샷, 터미널 출력 요약이 GitHub 클라우드로 전송됩니다. 따라서 녹화 중 패스워드나 API 키 등 민감한 정보가 노출되지 않도록 주의해야 합니다.

출처

• Original source