Laya 공개: TypeSafe Jev 호환 오픈소스 비생성형 System 1 의사결정 AI 모델

TypeSafe Jev의 오픈소스 대안 모델 Laya가 공개되었습니다. 텍스트를 생성하지 않고 단일 순전파로 정형화된 선택지와 확률을 도출하는 System 1 아키텍처, Jev POST /v1/systemone 엔드포인트 자체 호스팅, 이메일 트리아지 전용 체크포인트 및 MCP 서버 연

tau · 2026년 10월 3일

#Laya #Jev #System1 #OpenSource #SelfHosted #EmailTriage #MCP

Laya 공개: TypeSafe Jev 호환 오픈소스 비생성형 System 1 의사결정 AI 모델

오픈소스 비생성형 의사결정 모델 Laya(Apache-2.0)가 공개되었습니다. 생성형 거대언어모델(LLM)이 텍스트 토큰을 순차 생성하면서 겪는 환각(Hallucination)과 JSON 파싱 실패 문제를 배제하고, 입력된 텍스트나 JSON 상태에 대해 사전에 정의된 질문과 선택지의 확률을 단일 순전파(Single Forward Pass)로 즉시 계산하는 System 1 전용 엔진입니다.

Laya 오픈소스 System 1 의사결정 모델의 아키텍처와 Jev 호환 API 자체 호스팅 구조도

이미지 출처: @tonychang430 / Laya

기존 TypeSafe Jev의 클라우드 API와 완전한 와이어 프로토콜 호환성을 유지하여, SDK 코드 변경 없이 엔드포인트 URL 설정만으로 로컬 머신이나 프라이빗 클라우드에 자체 호스팅할 수 있는 점이 특징입니다.

비생성형 System 1 의사결정 아키텍처와 핵심 원리

Laya는 일반적인 챗봇이나 텍스트 요약용 자기회귀(Autoregressive) LLM과 근본적으로 다른 방식으로 작동합니다.

  • 단일 순전파 기반 판정: 입력 문서(이메일, 티켓, JSON 레코드 등)와 타입이 지정된 질문(선택지 분류, 척도 평가, Yes/No 판정)을 전달받아 단 한 번의 신경망 순전파로 보정된 확률(Calibrated Probabilities)과 신뢰도 점수를 출력합니다.
  • 파싱 에러 및 환각 원천 차단: 텍스트 토큰을 생성하지 않으므로 비정형 출력이나 JSON 파싱 오류가 발생하지 않으며, 무의미한 환각 생성을 구조적으로 차단합니다.
  • 특화 파인튜닝 체크포인트: 이메일 트리아지(스팸 차단, 피싱 탐지, 부서별 자동 라우팅), 대화 궤적 모델링($TD(\lambda = 1.0)$), 질문 선택지 수(Cardinality)에 따른 온도 보정(Temperature Calibration)이 적용된 전용 체크포인트를 제공합니다.

고비용 프론티어 LLM을 단순 라벨링이나 분기 라우팅에 호출하면서 소모되던 토큰 비용과 추론 대기 시간을 극적으로 절감할 수 있습니다.

TypeSafe Jev 완전 호환과 자체 호스팅 배포 옵션

Laya의 주요 강점은 상용 서비스인 TypeSafe Jev 생태계와의 호환성입니다.

  • 드롭인 대체(Drop-in Replacement): laya-serve 및 Arbiter 서빙 레이어를 통해 TypeSafe Jev의 표준 HTTP API인 POST /v1/systemone 엔드포인트를 제공합니다. 기존 TypeSafe SDK로 작성된 애플리케이션의 $BASE_URL 환경변수를 자체 호스팅 Laya 서버로 변경하면 즉시 연동됩니다.
  • 다양한 런타임 지원: 로컬 환경을 위한 Python CLI(laya), Docker 컨테이너 이미지, NixOS 모듈 및 NVIDIA/Apple Silicon 가속 레시피를 공식 지원합니다.
  • 에이전트 연동용 MCP 서버: AI 코딩 에이전트(Claude Code, Codex 등)가 에이전트 도구로 직접 Laya의 의사결정 기능을 호출할 수 있도록 Model Context Protocol(MCP) 서버 인터페이스를 함께 제공합니다.
  • 경제성: 상용 호스팅 API($0.05 / 1M 입력 토큰) 대비 자체 인프라에서 추가 과금 없이 무제한으로 의사결정 워크로드를 처리할 수 있습니다.

실무 활용 사례와 하드웨어 벤치마크

소셜 미디어와 개발자 커뮤니티에서는 Laya를 활용한 대량 데이터 자동 분류 실측 사례가 공유되고 있습니다.

Tony Chang(@tonychang430)은 클라우드 인스턴스에 자체 호스팅한 Laya 모델을 이메일 API와 연동해 13,000건 이상의 수신 메일을 라벨별로 자동 정리하는 데모를 시연했습니다. 실무 환경에서의 구체적인 처리 속도는 백엔드 API의 배치(Batch) 처리 방식과 캐싱 구조에 따라 달라질 수 있으나, 가벼운 로컬 하드웨어에서도 뛰어난 효율성을 입증하고 있습니다.

커뮤니티 실측 벤치마크에 따르면 M3 칩셋이 탑재된 MacBook Air 환경에서 322M 크기의 경량 Laya 체크포인트로 1,000건의 이메일을 로컬 분류했을 때 스왑 메모리 발생(0 MB Swap) 없이 28.6초 만에 처리를 완료하고 65.1%의 기준 라벨 정확도를 기록했습니다.

대규모 배치 분류나 에이전트 라우팅 등 초저지연·비용 효율적 판단이 필요한 시스템 엔지니어링 환경에서 실용적인 대안으로 주목받고 있습니다.

출처