로컬 LLM 플릿 대시보드 sparkDash v2.0 공개: 전면 재설계 UI와 카드 직접 실행, 벤치마크·모니터링 확장
로컬 LLM 플릿 대시보드 sparkDash v2.0 공개. 전면 재설계 UI, 카드에서 바로 모델 실행, Decode·Prefill·품질·Tool Eval 벤치마크와 토큰·전력·이벤트 모니터링 신기능 정리.
#Benchmark
TAU-HOME.COM에서 Benchmark 태그로 묶인 글입니다.
앤트로픽, Claude Haiku 5.5 출시: 1M 컨텍스트·어댑티브 씽킹과 계층형 요금제 도입
앤트로픽이 Claude Haiku 5.5를 출시했습니다. 100만 토큰 컨텍스트 지원, 어댑티브 씽킹 탑재, 100k 토큰 이하 기준 $0.10/$0.50 기본 가격과 5배 계층형 요금제를 적용했습니다.
아티피셜 애널리시스, 음악 AI 벤치마크 'AA-Music v1.1' 공개… Suno v6 보컬·인스트루멘탈 1위
아티피셜 애널리시스가 17개 장르 1,000개 프롬프트와 37,000건의 블라인드 평가를 거친 AA-Music v1.1 벤치마크를 발표했습니다. Suno v6가 보컬과 인스트루멘탈 부문 1위를 모두 차지했습니다.
알리바바 Qwen, 모바일 특화 'Qwen Intelligence' 및 3대 모바일 에이전트 공개
알리바바 Qwen 팀이 스마트폰 환경에 특화된 모바일 AI 솔루션 'Qwen Intelligence'를 공개했습니다. 복합 작업 분해를 담당하는 Mobile Planner, API 우선과 GUI 폴백을 결합한 Mobile-Use, 3초 생성 속도의 Mobile Creative Agent
GPT-6 Sol 실전 버그 수정 벤치마크 공개… 해결 점수 29.3점으로 급락했으나 비용은 1/10 수준
Paweł Huryn이 2개 리포지토리 105개 고난도 버그를 대상으로 진행한 GPT-6 Sol 벤치마크 결과, 해결 점수는 29.3점으로 전작(43.5점) 대비 크게 하락했으나 API 비용은 $9.93으로 약 90% 절감되었습니다.
30개 이상 의사결정 모델을 13만 개 문항으로 검증한 'Decision Index 0.1' 벤치마크 리더보드 공개
허깅페이스의 @multimodalart가 Jev와 30개 이상의 오픈웨이트 의사결정 모델을 37개 벤치마크와 모델당 130K 결정으로 심층 평가한 'Decision Index 0.1' 리더보드를 공개했습니다.
Codex CLI에서 Astra가 쿼터를 2배 빨리 소모하는 이유와 실측 기반 활용 팁
8개 오픈소스 리포지토리 벤치마크 결과, Astra와 Sol의 주간 쿼터 1%당 토큰 가치는 13~15달러로 동일하지만 빠른 처리 속도와 높은 토큰 단가로 인해 쿼터 소모가 2배 빨라진다는 실측 분석과 권장 활용 가이드.
DeepSeek V4.1 Flash 실전 코딩 벤치마크: $1.80로 24개 버그를 해결한 파레토 최적 가성비 분석
Paweł Huryn이 2개 실제 저장소의 105개 숨겨진 버그 해결 태스크로 DeepSeek V4.1 Flash를 실측한 결과, Opus 5($51.33) 대비 28분의 1 이하인 $1.80 비용으로 24개 버그를 해결하며 압도적인 가성비(파레토 최적)를 입증한 실전 벤치마크 결과를