KrillinAI 출시: 영상 다운로드부터 100개국 번역·TTS 더빙·숏폼 변환까지 자동화하는 오픈소스 툴

KrillinAI는 2026년 9월, 영상 콘텐츠의 제작 및 배포 효율을 극대화하기 위해 공개된 오픈소스 자동화 도구입니다. yt-dlp 기반의 영상 다운로드부터 Whisper 기반 전사, LLM을 활용한 다국어 번역, TTS 더빙, 숏폼 리프레이밍, 커버 생성에 이르는 영상 제작 전 과정을 CLI 또는 매니페스트 기반의 AI 에이전트 워크플로우로 자동화합니다.

이미지 출처: KrillinAI / MIKE (@mikenevermiss)

GitHub에서 스타 1.1만 개 이상을 기록하며 주목받고 있는 이 프로젝트는 GPL v3.0 라이선스로 배포되며, 100개 이상의 번역 대상 언어를 지원하여 전 세계 플랫폼 환경에 맞춘 콘텐츠 배포를 지원합니다.

KrillinAI 주요 기능 및 에이전트 워크플로우

KrillinAI는 복잡한 영상 제작 공정을 모듈화하여 자동화 파이프라인으로 구성했습니다.

• 종합 영상 처리 파이프라인: yt-dlp를 활용한 영상 다운로드를 시작으로, Whisper를 통해 음성을 텍스트로 전사하고 LLM을 통해 자막을 번역합니다. 이후 TTS 모델을 통해 더빙까지 완료하여 완성된 콘텐츠를 생성합니다.
• 숏폼 최적화: 16:9 가로형 영상의 핵심 구도를 분석하여 9:16 세로형 숏폼 포맷으로 리프레이밍하는 기능을 포함합니다.
• 매니페스트 기반 자동화: krillinai_manifest.json 설정 파일을 통해 에이전트 워크플로우를 정의할 수 있어, 반복적인 배포 작업을 손쉽게 스크립트화할 수 있습니다.

활용 및 주의사항

KrillinAI는 GUI 클라이언트와 CLI 환경을 모두 지원하여 유튜브, 틱톡, 릴스, 빌리빌리, 도우인 등 다양한 영상 플랫폼의 콘텐츠 제작 환경에 유연하게 대응합니다.

• 실행 환경 설정: 로컬에서 Whisper 음성 전사 및 TTS 더빙 모델을 구동할 수 있으며, 필요에 따라 외부 LLM 및 TTS API 키를 연동하여 사용할 수 있습니다.
• 자원 요구 사항: 처리할 영상의 해상도 및 길이에 따라 로컬 GPU의 VRAM 및 연산 자원 요구치가 상이하므로, 대량 작업 시 적절한 하드웨어 환경 구축이 필요합니다.

출처

• KrillinAI GitHub Repository