구글 리서치, 지속 학습 위한 슬립 프레임워크 공개: 망각 완화와 1,000만 토큰 장문 평가
구글 리서치가 LLM의 치명적 망각을 완화하고 단기 컨텍스트를 장기 파라미터로 통합하는 Sleep Framework를 공개했습니다. MoE 구조와 오프라인 통합을 통해 1,000만 토큰 규모의 장문 평가와 수학 추론 성능을 실험했습니다.
#Continual Learning
TAU-HOME.COM에서 Continual Learning 태그로 묶인 글입니다.