바세텐, Qwen3.5 기반 2B 오픈웨이트 결정 모델 'joey-1' 공개
바세텐(Baseten)이 산하 연구소 Base Labs가 개발하고 Qwen3.5-2B에서 포스트트레이닝한 2B 파라미터 오픈웨이트 결정 모델 joey-1을 공개했습니다. 바세텐은 프로덕션 규모에서 평균 2,000토큰 요청의 P50 엔드투엔드 지연 시간을 20ms로 보고했으며, 입력 토큰
이미지 출처: https://www.baseten.co/blog/decisions-for-a-penny-introducing-joey-1/
출처: https://www.baseten.co/blog/decisions-for-a-penny-introducing-joey-1/
관련 출처: https://www.baseten.co/blog/decisions-for-a-penny-introducing-joey-1/
바세텐(Baseten)은 2026년 10월 29일 산하 연구소 Base Labs가 개발한 2B 파라미터 결정 모델(Decision Model) joey-1을 공개했습니다. Qwen3.5-2B에서 포스트트레이닝되었으며, 오픈 웨이트는 MIT 라이선스로 허깅페이스에 공개되었습니다.
조이-1(joey-1)은 일반적인 생성형 LLM과 달리 텍스트를 생성하는 대신 단일 전방향 패스(Forward Pass)로 입력 상태에 대한 분류 라벨과 각 라벨별 신뢰도 확률을 반환합니다.
주요 특징 및 벤치마크 성과
- 모델 아키텍처 및 학습: Qwen3.5-2B를 기반으로 텍스트 및 이미지 결정 데이터 621만 건의 혼합 셋(Mix 8)을 사용해 학습되었습니다. 비전 인코더는 동결된 채 언어 모델 전체 파인튜닝 방식으로 구성되었습니다.
- 성능: Jev Decision Index 0.4 퍼블릭 스플릿에서 63.30점을 기록하여 230개 모델 중 37위에 올랐으며, 4B 미만 파라미터 모델 중 최고점을 기록했습니다.
- 지연 시간 및 처리 속도: 프로덕션 규모에서 평균 2,000토큰 요청에 대해 P50 엔드투엔드 지연 시간 20ms를 기록했습니다.
API 가격 및 활용 사례
바세텐 모델 API를 통해 /v1/systemone 엔드포인트에서 decision-models/baseten-joey-2b-latest ID로 제공됩니다.
- 가격: 입력 토큰 100만 개당 0.01달러(캐시된 입력 및 출력 0.00달러)로 책정되었습니다.
- 용도: 바세텐은 티켓 분류 및 라우팅, 스팸 및 피싱 탐지, 프롬프트 가드레일, 소형 LLM과 프런티어 LLM 간 요청 라우팅을 활용 사례로 제시합니다.