Allen Institute: DiScoFormer — ein Transformer für Dichte und Score über verschiedene Verteilungen

Allen Institute for AI (AI2) veröffentlichte am 29. Juni 2026 die Forschungsarbeit DiScoFormer — ein Transformer-Modell, das die Schätzung von Dichte und Verteilungsgradient in einem einzigen Durchlauf vereint, ohne separate Modelle zu benötigen.

Ein Modell statt zwei

Bisherige Ansätze erforderten separate Modelle: eines für die Dichtefunktion (Verteilungsdichte — eine geglättete Version des Histogramms, die zeigt, wo sich Datenpunkte häufen) und eines für die Score-Funktion (Gradient des logarithmischen Dichtewerts, der die Richtung zu Bereichen höherer Wahrscheinlichkeit anzeigt). DiScoFormer vereint beide Berechnungen in einem Transformer-Modell mit gemeinsamem Backbone und zwei Ausgabe-Heads — sowohl Dichte als auch Score werden in einem einzigen Forward-Pass geschätzt.

Warum klassisches KDE nicht auf hohe Dimensionen skaliert?

KDE (Kernel Density Estimation) ist eine klassische statistische Methode, die Dichte aus benachbarten Datenpunkten schätzt, doch die Genauigkeit von KDE nimmt mit steigender Dimensionalität rapide ab. DiScoFormer, trainiert auf Gaussian Mixture Models mit einem mathematisch konsistenten Dichte-Score-Paar, überwindet dies: In 100 Dimensionen erreicht es 6,5× geringeren Fehler beim Score und 37× geringeren Fehler bei der Dichte im Vergleich zu manuell eingestelltem KDE.

DiScoFormer generalisiert ohne erneutes Training

Die mathematische Verbindung zwischen Dichte- und Score-Funktion wirkt als Konsistenzbedingung — DiScoFormer passt sich Out-of-Distribution-Daten ohne Retraining an. Im Gegensatz zu Neural-Score-Matching-Ansätzen, die ein separates Training für jede neue Verteilung erfordern, ermöglicht das Allen-Institute-Modell eine sofortige Anpassung an unbekannte Verteilungen. Die Forschung ist grundlegender Natur und relevant für generative Modelle und probabilistisches ML — veröffentlicht als ArXiv-Paper (2511.05924).