9 Nachrichten — 🟡 6 wichtig , 🟢 3 interessant
AdaMeZO ist ein Optimierer nullter Ordnung, der die Vorteile des Adam-Algorithmus mit der Speichereffizienz des MeZO-Ansatzes für das Fine-Tuning großer Sprachmodelle kombiniert. Er nutzt ausschließlich Vorwärtsdurchläufe und erreicht bis zu 70 % weniger Durchläufe gegenüber MeZO bei verbesserter Konvergenz.
BWLA ist ein neues Post-Training-Quantisierungsframework für große Sprachmodelle, das erstmals gleichzeitig 1-Bit-Gewichtspräzision und niedrig-Bit-Aktivierungen ohne signifikanten Genauigkeitsverlust erzielt. Auf dem Modell Qwen3-32B erreicht es eine Perplexität von 11,92 und eine 3,26-fache Beschleunigung gegenüber bisherigen Methoden.
AEM (Adaptive Entropy Modulation) ist eine überwachungsfreie Trainingsmethode, die Entropie über mehrere Gesprächsrunden dynamisch moduliert, um Exploration und Exploitation in RL-trainierten agentischen Sprachmodellen zu balancieren. Getestet an Modellen von 1,5 bis 32 Milliarden Parametern erzielt sie +1,4 % auf SWE-bench Verified.
Dreißig Forscher aus akademischen und industriellen Laboren haben ein auf der ICML 2026 akzeptiertes Position Paper veröffentlicht, das fordert, die Kontrollschicht agentischer KI-Systeme müsse Bayessche Konsistenz wahren. Die Autoren vertreten, dass Sprachmodelle für Entscheidungen unter Unsicherheit ungeeignet sind, ein Orchestrator über ihnen jedoch kalibrierte Überzeugungen aufrechterhalten und nutzenorientierte Strategien anwenden kann und muss.
Forscher vom Max-Planck-Institut für Softwaresysteme und Mitarbeiter veröffentlichten einen Rahmen, der Werkzeugaufruf-Entscheidungen von Sprachmodell-Agenten über drei Dimensionen bewertet: Notwendigkeit, Nutzen und Kostenakzeptabilität. Experimente mit sechs Modellen und drei Aufgaben zeigen eine erhebliche Lücke zwischen dem, was das Modell glaubt zu brauchen, und dem, was tatsächlich die Genauigkeit steigert.
Forscher haben gezeigt, dass das Aufrufen von Werkzeugen in LLM-Agenten versteckte Kosten einführt — die sogenannte 'Tool-Use Tax' — die durch Formatierungsaufwand und Protokoll-Overhead entsteht. Mit einem Faktoriellen Interventionsrahmen isolieren sie drei Kostenkomponenten und führen ein G-STEP-Gate ein, das Verluste ohne Modelländerung teilweise abschwächt.
Forscher der Virginia Tech haben ARMOR 2025 veröffentlicht, den ersten Sicherheitsbenchmark, der Sprachmodelle anhand des Kriegsrechts, der Einsatzregeln und der Joint Ethics Regulation bewertet. Der Test mit 519 doktrinären Prompts über 21 kommerzielle Modelle deckt kritische Lücken auf — bestehende Sicherheitsevaluierungen prüfen nicht, ob Modelle mit den rechtlichen und ethischen Regeln militärischer Operationen konform sind.
Ein Team von KAIST und NAVER Cloud hat Stable-GFlowNet (S-GFN) vorgestellt, einen neuen Ansatz für automatisiertes Red-Teaming großer Sprachmodelle, der die Schätzung der Partitionsfunktion Z eliminiert und paarweise Vergleiche für stabiles Lernen nutzt. Das Paper erhielt den ICML 2026 Spotlight — weniger als 5 % der akzeptierten Papers — und löst das chronische GFlowNet-Problem: Trainingsinstabilität und Mode Collapse bei verrauschten Belohnungen.
