🟡 🤖 Modelle
arXiv:2607.08733: „Super-Gewichte” erklären das Scheitern selektiven Fine-Tunings — Beitrag auf COLM 2026 angenommen
Super Weights in LLMs ist ein auf der COLM 2026 angenommener Beitrag, der „Super-Gewichte” identifiziert — eine kleine Anzahl von Parametern, deren Veränderung das Verhalten eines Sprachmodells überproportional beeinflusst. Die Arbeit zeigt, dass genau diese Gewichte erklären, warum selektives Fine-Tuning einzelner Schichten häufig scheitert — mit direkten Folgen für PEFT- und LoRA-Ansätze.
