arXiv:2607.08733: 『슈퍼 가중치』가 선택적 파인튜닝이 실패하는 이유를 설명한다 — COLM 2026 채택 논문
COLM 2026에 채택된 논문 『Super Weights in LLMs』는 언어 모델 행동을 불균형적으로 변화시키는 소수의 파라미터인 『슈퍼 가중치』를 식별합니다. 이 논문은 바로 이 가중치들이 일부 레이어만 선택적으로 파인튜닝하는 방식이 자주 실패하는 이유를 설명하며, PEFT 및 LoRA 접근 방식에 직접적인 시사점을 제공합니다.