Jev-ify 공개: 허깅페이스 오픈 모델을 비전 지원 초고속 분류기 API로 변환하는 오픈소스 라이브러리

FeatherlessAI 공동 창업자 유진 치(Eugene Cheah, @picocreator)가 허깅페이스(Hugging Face)에 등록된 오픈 언어 모델을 초고속 분류 및 평가 API 엔드포인트로 변환해 주는 오픈소스 라이브러리 'Jev-ify'를 2026년 9월 18일 공식 공개했습니다.

이미지 출처: @picocreator

Jev-ify는 기존 결정 모델 Jev의 구조화된 판별 패러다임을 완전 오픈소스로 재구현함과 동시에, 멀티모달 비전(Vision) 처리 능력을 결합한 것이 핵심입니다. Jev-ify는 단순한 라이브러리를 넘어, 경량화된 모델 서빙을 위한 새로운 프로덕션 표준을 제시하고자 합니다.

로짓 기반 구조화 판별: 디코더 낭비 없는 분류 아키텍처

Jev-ify는 별도의 분류기 헤드(Classifier Head)를 추가 훈련하거나 언어 모델이 수백 토큰의 JSON 텍스트를 무겁게 생성하도록 강제하지 않습니다.

• 넥스트 토큰 로짓(Next-Token Logits) 추출: 공유 컨텍스트와 질문 목록을 모델에 전달한 뒤, 모델의 다음 토큰 로짓 확률을 직접 조회하여 다지선다 선택지, 루브릭 점수, 참/거짓 판정을 즉시 계산합니다. 이는 디코딩 과정을 획기적으로 간소화하여 추론 속도를 높입니다.
• 서버 단 구조화 JSON 조립: 모델이 느리게 JSON을 타이핑하는 대신, 서버가 로짓 점수를 기반으로 정형화된 JSON 응답을 즉시 생성하므로 디코딩 오버헤드를 극적으로 줄입니다.
• 챗 포맷팅 및 비전 확장: 상태(State) 기반 입력뿐만 아니라 표준 챗 포맷팅을 지원하며, 젬마(Gemma) 및 큐웬(Qwen) 비전 모델 계열을 통해 이미지 입력에 대한 분류와 판별을 처리할 수 있습니다.

이러한 방식은 대규모 트래픽이 발생하는 실무 환경에서 언어 모델의 응답 지연을 최소화하는 데 매우 효율적입니다.

증류 튜닝과 즉시 테스트 가능한 공개 엔드포인트

Jev-ify는 깃허브 저장소를 통해 소스 코드를 배포하는 것 외에도 실무 환경 도입을 위한 튜닝 프레임워크와 프로덕션 엔드포인트를 함께 제공합니다.

• 증류 튜닝(Distillation Tuning): 대형 파운데이션 모델에서 추출한 프롬프트와 의사결정 데이터를 소형 프로덕션 모델로 증류(Distill)하여 경량화 배포할 수 있는 튜닝 워크플로우를 지원합니다. 이를 통해 모델의 성능을 유지하면서도 배포 비용을 크게 줄일 수 있습니다.
• API 키 없는 공개 엔드포인트: FeatherlessAI 플랫폼을 통해 계정 생성이나 API 키 입력 없이 즉시 테스트할 수 있는 공개 엔드포인트를 제공하며, 입력 토큰 100만 개당 $0.03부터 시작하는 비용 효율적인 프로덕션 서빙을 지원합니다.

출처

• Jev-ify GitHub Repository
• FeatherlessAI Official Release Announcement