아이폰 24시간 백그라운드 녹음과 로컬 Whisper로 AI 에이전트 맥락(life.md)을 구성하는 오픈소스 도구

아이폰 백그라운드 오디오 녹음과 Mac 로컬 Whisper를 연동해 life.md를 실시간 갱신하고, Codex 등 AI 코딩 에이전트에 사용자의 일상 맥락을 제공하는 오픈소스 도구와 설정 스킬이 공개되었습니다.

tau · 2026년 9월 11일

#AI 에이전트 #Codex #Whisper #Astra #오픈소스 #개발 도구 #라이프로깅

아이폰 24시간 백그라운드 녹음과 로컬 Whisper로 AI 에이전트 맥락(life.md)을 구성하는 오픈소스 도구

AI 코딩 에이전트가 개발자의 작업 의도와 일상 맥락을 정확하게 파악하도록 돕기 위해, 아이폰에서 24시간 백그라운드로 오디오를 녹음하고 Mac 로컬 Whisper로 전사하여 실시간 맥락 문서(life.md)를 유지하는 새로운 오픈소스 도구와 Codex 스킬이 2026년 9월 11일 공개되었습니다.

아이폰 백그라운드 녹음 및 Mac 로컬 Whisper 전사 오픈소스 browser-use/life-recorder GitHub 저장소

이미지 출처: browser-use/life-recorder / GitHub

개발자 Magnus Müller(@mamagnus00)가 공개한 오픈소스 프로젝트 browser-use/life-recorder는 개발자가 일상에서 겪는 대화, 구두 아이디어, 업무 논의 등 현실 세계의 음성 맥락을 AI 코딩 에이전트가 참조할 수 있는 실시간 지식 레이어로 변환하는 도구 체인입니다.

기존 회의 전사 도구의 한계와 실시간 일상 맥락(life.md)의 필요성

최근 Granola를 비롯한 다양한 AI 회의 전사 도구들이 널리 활용되고 있지만, 이들 도구는 생성된 텍스트나 오디오 큐를 개발자의 코딩 에이전트에게 실시간으로 스트리밍하지 못한다는 구조적 한계를 안고 있었습니다.

회의가 끝난 뒤 수동으로 노트를 복사하거나 별도의 요약 프롬프트를 에이전트에게 전달하지 않는 한, AI 에이전트는 사용자가 오프라인이나 음성 통화에서 결정한 최신 설계 방향, 실시간 우선순위 변경, 일상적 맥락을 파악하지 못한 채 단절된 상태로 코드를 작성하게 됩니다.

  • 실시간 맥락 분리 해소: 에이전트가 코드 저장소 외부의 오프라인 논의 사항과 일상 흐름을 놓치는 문제를 해결합니다.
  • 연속적인 라이프로깅 지식화: 단편적인 대화 조각을 일회성으로 소비하지 않고, 에이전트가 언제든 조회 가능한 life.md 문서로 구조화하여 축적합니다.
  • 자연스러운 지식 주입: 개발자가 에이전트에게 상황을 일일이 타이핑해 설명하지 않아도, 일상에서 나눈 대화가 실시간 지식 베이스로 반영됩니다.

24시간 아이폰 백그라운드 녹음과 Mac 로컬 Whisper 파이프라인

이 도구 체인은 크게 아이폰 오디오 캡처 클라이언트와 Mac 로컬 전사 파이프라인, 그리고 자동화된 환경 설정 스킬의 3단계로 동작합니다.

사용자의 아이폰이 백그라운드에서 24시간 지속적으로 약 1분 단위의 AAC 오디오 청크를 캡처하여 사용자의 Mac으로 동기화하면, Mac에 상주하는 로컬 리시버가 whisper.cpp 기반의 로컬 Whisper 모델을 구동해 수신된 오디오를 텍스트로 즉시 변환합니다. 전사가 완료된 원본 오디오는 안전하게 파기되며, 텍스트 데이터는 시간대별 마커와 함께 단일 마크다운 파일인 life.md에 지속적으로 누적 갱신되어 Codex 등 CLI 코딩 에이전트의 실시간 배경 맥락으로 제공됩니다.

  • Astra 및 devicectl 기반 원샷 빌드: OpenAI의 자율 에이전트 모델 Astra와 Apple CoreDevice(xcrun devicectl)를 결합한 전용 Codex 스킬(life-recorder-setup)을 통해, 네이티브 iOS 앱 빌드와 기기 설치, 페어링 환경 설정을 원샷(one-shot)으로 자동화합니다.
  • 로컬 Whisper 음성 전사 완결성: 음성 데이터 처리를 외부 유료 클라우드 API가 아닌 사용자 Mac의 로컬 Whisper 모델(whisper-cli)로 완결하여 프라이버시와 무제한 실행 안정성을 확보합니다.
  • 표준 마크다운 단일 인터페이스: 복잡한 데이터베이스나 독점 프로토콜 대신 범용 마크다운 포맷인 life.md를 단일 접점으로 채택하여, Codex뿐 아니라 다양한 CLI 코딩 어시스턴트와 손쉽게 연동됩니다.

플랫폼 기술적 제약과 운영상 주의점

24시간 상시 오디오 녹음 및 자동 전사 시스템을 실무에 적용하기 위해서는 플랫폼 제약과 프라이버시 관점의 명확한 주의가 요구됩니다.

  • iOS 백그라운드 정책 및 프로세스 중단 위험: iOS의 엄격한 백그라운드 앱 실행 제한과 시스템 메모리 관리 정책으로 인해, 장시간 백그라운드 오디오 녹음 프로세스가 예기치 않게 운영체제에 의해 종료되거나 일시 정지될 수 있는 기술적 한계가 존재합니다.
  • 기기 자원 소모와 프라이버시 통제: 24시간 연속 백그라운드 오디오 캡처는 아이폰 배터리 소모와 로컬 저장 공간 증가, Mac으로의 로컬 네트워크 전송 부하를 동반합니다. 특히 주변인의 대화가 상시 녹음될 수 있으므로 사생활 보호 및 프라이버시 이슈에 대해 사용자가 녹음 범위와 보관 주기를 직접 철저히 통제해야 합니다.
  • 로컬 실행 환경 사전 요구사항: 원활한 파이프라인 가동을 위해 macOS 환경에 Xcode, Python 3.10+, ffmpeg, whisper.cpp 실행 파일 및 다운로드된 GGML Whisper 모델, Codex CLI 도구가 사전에 정상적으로 구성되어 있어야 합니다.

출처