Apple MLR, 추가 학습 없이 루프형 트랜스포머 추론 성능 높이는 'LoopCD' 공개
애플 머신러닝 리서치(Apple MLR) 연구팀이 루프형 트랜스포머의 초기 반복 상태를 대조 신호로 활용해 AIME 2024 정확도를 61.9%에서 73.3%로 높이고 연산량을 최대 48.2% 절감하는 추론 기법 LoopCD를 발표했습니다.
#Contrastive-Decoding
TAU HOME에서 Contrastive-Decoding 태그로 묶인 글입니다.