arXiv:2607.15267: Vergiftung von Pretraining-Daten für Sprachmodelle durch computergestützte Propaganda in Foren

Was zeigt die neue Studie zur Datenvergiftung?

Ein Team aus dem Umfeld des Allen Institute for AI und der University of Washington — Victoria Graf, Hannaneh Hajishirzi, Noah A. Smith, David Kohlbrenner und Kyle Lo — zeigt, dass Pretraining-Daten (der Textkorpus, aus dem ein Sprachmodell vor jeglichem Fine-Tuning lernt) anfällig für Vergiftung über öffentliche Diskussionsoberflächen wie Foren und Kommentarbereiche sind. Es handelt sich um „Third-Party Webpage Content” — Inhalte, die Dritte verfassen, nicht der Seitenbetreiber —, der bislang nicht systematisch als Angriffsvektor untersucht wurde.

Die HalfLife-Methode

Die fünf Autoren führen HalfLife ein, eine analytische Methode, die misst, ob eingeschleuster bösartiger Text die gesamte Kette aus Web-Crawling und Datenkuratierung (dem Prozess des Filterns und Bereinigens gesammelter Daten) übersteht, bevor er in das finale Pretraining-Set gelangt. Statt nur das Endergebnis zu betrachten, verfolgt HalfLife den Inhalt durch jede Verarbeitungsphase, vom rohen Crawl bis zur Deduplizierung und den Qualitätsfiltern.

Foren gegenüber Wikipedia — wo liegt der Unterschied?

Wikipedia und ähnliche kontrollierte Quellen durchlaufen vor der Veröffentlichung eine redaktionelle Prüfung und Moderation, wodurch das Einschleusen bösartigen Textes schwieriger und schneller erkennbar ist. Forenkommentare haben diese Kontrollebene nicht — jeder kann Text veröffentlichen, den Crawler anschließend zusammen mit dem Rest der Seite aufnehmen, ohne Prüfung von Urheberschaft oder Absicht.

Warum das für die Sicherheit von Sprachmodellen wichtig ist

Bisherige Forschung zur Datenvergiftung konzentrierte sich überwiegend auf kontrollierte oder halbautomatisierte Quellen. Diese Arbeit verschiebt den Fokus auf „computergestützte Propaganda” (Computational Propaganda) — koordinierte, softwaregestützte Inhaltsverbreitung mit dem Ziel der Manipulation — als realistischen Weg, Gift in Modelle einzuschleusen, die direkt aus dem offenen Web lernen, ohne einen Vermittler, der die Urheberschaft von Kommentaren filtert.